统一内存
Unified Memory
CPU、GPU 或其他处理单元共享同一内存资源与地址空间的架构,可减少数据复制,并影响本地大模型可加载规模与推理性能。
也称:共享内存、Apple统一内存、Unified Memory Architecture
Apple Silicon 等平台使用统一内存,使 GPU 可以访问较大的共享内存池,因此常被用于运行量化大模型。但“统一内存容量足够”不代表推理一定快,内存带宽、GPU 核心、上下文长度、运行时和散热同样重要。
比较设备时,应同时记录可用内存而非标称总内存、加载后的内存峰值、首 Token 延迟、稳态速度和长时间运行是否降频。