---
title: "Mac 统一内存跑本地大模型：实操清单"
url: https://memory.wiki/_XJZy1-n
updated: 2026-11-19T21:54:40.428Z
source: "memory.wiki"
---
# Mac 统一内存跑本地大模型：实操清单

## 「Mac 统一内存跑本地大模型」背后的真正问题

统一内存是共享的；给系统与向量留余量，合适时优先 MLX。很多本地大模型的硬件讨论一上来就问买哪张卡。更好的起点是工作负载：你真正要跑哪些模型、能接受的量化等级、用户平时粘贴的上下文有多长、同一时间有几个人在用。把这几件事写清楚，购物清单才有意义。

## 先算内存预算

模型权重只是一部分。KV 缓存会随上下文长度和并发会话增长，推理程序自己也要占缓冲区，桌面环境在你加载模型前可能已经吃掉一部分显存。请记录冷启动后的实际可用显存，而不是包装盒上的数字。如果模型加上真实上下文放不下、还留不出余量，就会溢出到系统内存，变得很慢，任何参数都救不回来。这时可以对照[3000 元档配置](https://microaione.com/hardware/budget-3000/)，按参数量和量化等级来推算，而不是按营销档位。

## 平台和显卡一样重要

好显卡配弱平台是最常见的后悔。重点检查：

- 电源的额定功率和品质，为瞬时峰值留足余量，不只看标称功耗。
- 物理空间：显卡长度、厚度，以及供电线的弯折半径。
- 如果以后想加第二张卡，主板插槽的通道分配。
- 风道：侧板装上、室温偏高时依然通畅。
- 系统内存：足够同时放下系统、推理服务和嵌入模型，不触发交换。

## 新卡、二手卡还是统一内存

二手卡可以很划算，但要验：螺丝缺失、换过风扇、接口变色、短时间负载下温度异常，都是放弃的理由。苹果芯片走另一条路：统一内存意味着模型和系统共用一个池子，要给 macOS 和其他软件留足余量。迷你主机跑小模型、做展台没问题，前提是接受它的散热上限。无论选哪种，装机当天都要记录序列号、发票和照片。

## 合理的采购顺序

1. 用一段话写清工作负载：模型、上下文、用户数、使用时段。
2. 换算成带余量的内存需求。
3. 先定平台（电源、主板、机箱、内存），再定显卡。
4. 烤机至少半小时，同时看温度和日志。
5. 用自己的小评测集跑一遍，再宣布装机完成。

## 一个不编数字的例子

设想一个五人办公室，想做一个用于起草和文档检索的私有助手。他们先写下测试过的模型系列、在中英文问题上仍然表现良好的量化等级，以及平时粘贴的最长文档。据此估算出带充足余量的内存需求，并决定一张显存足够的卡比两张小卡更稳妥，因为后者会让配置复杂化。他们选了留有余量的优质电源、前进风通畅的机箱，以及足够同时运行嵌入模型的系统内存。装好后先烤机，检查温度和日志，再跑评测提示词。之后对外分享的每个数字都来自自己的实测，并在旁边写明方法。

另见[显存与模型尺寸速查表](https://microaione.com/match/vram-table/)。


## 速记要点

- 合侧板前给走线拍照。
- 商用前先读模型许可证。
- 离线演示准备纸质备用方案。
- 演练恢复，而不只是做备份。

*作者：[本地AI 1号网](https://microaione.com/)，深圳团队，专注本地大模型软硬件、装机与私有化部署。*

---

## Summary
运行本地大模型时应优先根据工作负载和上下文长度计算内存需求，并确保为系统与缓冲区留出充足余量。硬件采购应以平台稳定性为基础，通过实测验证模型与内存的匹配度，避免因内存溢出导致性能大幅下降。

## Themes
- Local LLM Hardware Planning
- Unified Memory Strategy
- Workload-Based Procurement
- System Stability Optimization

## Key takeaways
- Model memory requirements must include weights, KV cache, and system overhead to avoid swapping to slow disk memory.
- Platform components like power supply and chassis airflow are as critical as the GPU itself for long-term reliability.
- Unified memory on Mac requires careful management of shared resources between the model and the macOS environment.
- Procurement should follow a sequence starting with workload definition, then platform selection, and finally GPU acquisition.
- Verification through stress testing and custom evaluation sets is necessary before declaring a deployment complete.

## Insights
- Hardware selection should be driven by specific workload requirements like context length and concurrency rather than marketing specs.
- Unified memory architectures require reserving significant overhead for the operating system and background processes to prevent performance degradation.
- System stability is often compromised by neglecting power supply quality and thermal management rather than just GPU capacity.

## Open questions / gaps
- Specific technical methods for calculating exact KV cache size based on varying context lengths and model architectures.

