模型观察12 分钟
2026 端侧模型与本地部署指南：从 Qwen 27B、Gemma 4 到 Ling-3.0-tiny
系统比较 Qwen、Gemma 4、Ling、Ministral、Phi、Llama、GPT-OSS、Granite、Nemotron 与 DeepSeek 蒸馏模型的本地部署层级、内存误区和企业选型方法。
端侧模型研究文章
端侧与本地部署模型
从设备层级、内存、运行时、许可和企业任务判断，而不是只比较参数量。
Ling-3.0-tiny
百灵 / inclusionAI · 7.9B 总参数 / 1.3B 激活参数 · 轻薄本与普通 AI PC
Qwen3.6-27B
阿里云 Qwen · 27B · 高配笔记本与单卡工作站
Qwen3.5-27B
阿里云 Qwen · 27B · 高配笔记本与单卡工作站
Qwen3.5 小型系列
阿里云 Qwen · 0.8B / 2B / 4B / 9B · 嵌入式与手机
Qwen3.5-35B-A3B
阿里云 Qwen · 35B 总参数 / 3B 激活参数 · 高配笔记本与单卡工作站
Gemma 4 E2B / E4B
Google · E2B / E4B 有效参数档 · 嵌入式与手机
Gemma 4 12B Unified
Google · 12B · 轻薄本与普通 AI PC
Gemma 4 26B-A4B / 31B
Google · 26B 总参数 / 4B 激活；31B Dense · 高配笔记本与单卡工作站
先理解这些概念
本地推理
在用户设备、企业自有服务器或受控边缘环境中运行模型推理，而不是将每次请求发送给外部托管 API。
端侧模型
部署在手机、PC、边缘设备或现场服务器附近，能够在弱网、离线或数据不出域条件下完成推理任务的 AI 模型。
模型量化
使用更低数值精度表示模型权重或激活，以减少内存、存储和计算成本，使模型更容易在本地或端侧设备运行。
统一内存
CPU、GPU 或其他处理单元共享同一内存资源与地址空间的架构，可减少数据复制，并影响本地大模型可加载规模与推理性能。
小语言模型
参数规模、激活计算量或部署资源明显低于大型通用模型，面向低延迟、低成本、端侧运行或特定任务优化的语言模型。
GGUF
llama.cpp 生态常用的模型文件格式，可封装权重、量化信息和运行元数据，便于在 CPU、GPU 与统一内存设备上进行本地推理。