---
title: "可接受的二手卡妥协：一次完整走查"
url: https://memory.wiki/YowtDF1H
updated: 2026-11-17T21:52:27.988Z
source: "memory.wiki"
---
# 可接受的二手卡妥协：一次完整走查

## 「可接受的二手卡妥协」背后的真正问题

外观可以；散热膏失修不行。很多本地大模型的硬件讨论一上来就问买哪张卡。更好的起点是工作负载：你真正要跑哪些模型、能接受的量化等级、用户平时粘贴的上下文有多长、同一时间有几个人在用。把这几件事写清楚，购物清单才有意义。

## 先算内存预算

模型权重只是一部分。KV 缓存会随上下文长度和并发会话增长，推理程序自己也要占缓冲区，桌面环境在你加载模型前可能已经吃掉一部分显存。请记录冷启动后的实际可用显存，而不是包装盒上的数字。如果模型加上真实上下文放不下、还留不出余量，就会溢出到系统内存，变得很慢，任何参数都救不回来。这时可以对照[整机定制方案](https://microaione.com/builds/)，按参数量和量化等级来推算，而不是按营销档位。

## 平台和显卡一样重要

好显卡配弱平台是最常见的后悔。重点检查：

- 电源的额定功率和品质，为瞬时峰值留足余量，不只看标称功耗。
- 物理空间：显卡长度、厚度，以及供电线的弯折半径。
- 如果以后想加第二张卡，主板插槽的通道分配。
- 风道：侧板装上、室温偏高时依然通畅。
- 系统内存：足够同时放下系统、推理服务和嵌入模型，不触发交换。

## 新卡、二手卡还是统一内存

二手卡可以很划算，但要验：螺丝缺失、换过风扇、接口变色、短时间负载下温度异常，都是放弃的理由。苹果芯片走另一条路：统一内存意味着模型和系统共用一个池子，要给 macOS 和其他软件留足余量。迷你主机跑小模型、做展台没问题，前提是接受它的散热上限。无论选哪种，装机当天都要记录序列号、发票和照片。

## 合理的采购顺序

1. 用一段话写清工作负载：模型、上下文、用户数、使用时段。
2. 换算成带余量的内存需求。
3. 先定平台（电源、主板、机箱、内存），再定显卡。
4. 烤机至少半小时，同时看温度和日志。
5. 用自己的小评测集跑一遍，再宣布装机完成。

## 采购前要问的问题

- 系统、驱动和运行时各自占用之后，需要的模型还放得下吗？
- 大家真实粘贴的文档有多长，同时有几个人在粘贴？
- 工作时间持续负载的噪音和发热，房间能接受吗？
- 风扇或电源坏了谁来换，团队能接受机器停多久？
- 有没有清晰的升级路径，还是下一步就得换整个平台？

只要有一个问题答不清，就先租用或借用类似的硬件试一周。一周的真实使用比一个月看参数表更有用，也能让采购建立在自己的工作负载之上。

另见[硬件测评](https://microaione.com/hardware/)。


## 速记要点

- 离线演示准备纸质备用方案。
- 引用速度之前，用自己的提示词实测。
- 先限并发，再考虑降量化。
- 每次请求都记录模型名称和版本。

*作者：[本地AI 1号网](https://microaione.com/)，深圳团队，专注本地大模型软硬件、装机与私有化部署。*

---

## Summary
购买本地大模型硬件应先明确工作负载与内存需求，再根据实际可用显存和平台兼容性进行配置。相比盲目追求显卡参数，通过真实负载测试和预留系统余量才能确保硬件方案的有效性。

## Themes
- Local AI hardware procurement
- Memory budget planning
- System platform stability
- Second-hand GPU validation

## Key takeaways
- Model weights are only one component of memory usage, as KV cache and system overhead must also be accommodated to prevent performance-killing memory swapping.
- Second-hand GPUs require inspection for physical signs of wear like missing screws, replaced fans, or discolored ports to ensure reliability.
- The recommended procurement sequence prioritizes defining the workload and platform stability before selecting the specific graphics card.
- Apple unified memory systems require reserving significant capacity for macOS and background software to maintain performance.
- Testing hardware with a personal evaluation set and a 30-minute stress test is necessary before finalizing a build.

## Insights
- The true capacity of a GPU for LLMs is determined by the remaining memory after accounting for OS overhead, KV cache, and concurrent user sessions, not just the raw VRAM figure.
- A high-end GPU is frequently undermined by an inadequate platform, making the power supply, motherboard lane allocation, and physical chassis airflow as critical as the card itself.
- Real-world usage testing via rental or borrowing is superior to theoretical parameter analysis for determining hardware suitability.

## Open questions / gaps
- The document does not provide specific benchmarks or quantitative formulas for calculating the exact KV cache size relative to varying context lengths.

