端侧模型正在从“能运行”进入“能工作”
过去谈本地大模型，问题往往是“我的电脑能不能把权重加载起来”。2026 年更值得问的是：模型能否在本地完成稳定的结构化输出、工具调用、知识检索和多轮任务，并在延迟、内存、功耗与维护成本之间形成可持续的业务闭环。
百灵最新开源的 Ling-3.0-tiny 是这个趋势的一个代表。其官方文章给出的规模是 7.9B 总参数、每 Token 激活 1.3B 参数，并提供 BF16、FP8、INT4 三种版本。厂商展示的场景不再只是聊天，而是 DGX Spark 上的移动设备自动化，以及 Mac mini 上的本地阅读和写作助手。需要注意，这些速度和设备结果属于厂商指定条件下的自测，不能直接外推到其他硬件和企业任务。
与此同时，Qwen、Google、Mistral、Microsoft、Meta、OpenAI、IBM、NVIDIA 与 DeepSeek 都形成了不同的本地部署路线。端侧模型已不再等于“参数最小的模型”，而是覆盖手机、嵌入式设备、AI PC、Mac、单卡工作站和企业本地服务器的一整组技术选择。
先分清四个概念
端侧模型通常指在手机、PC、边缘盒子、车载设备或现场服务器附近运行的模型，重点是低延迟、弱网或离线可用，以及数据不必离开设备边界。
本地部署模型范围更广。一个在办公室多卡服务器运行的 70B 模型也属于本地部署，但它并不是手机意义上的端侧模型。
开放权重只表示模型参数可以下载。它不自动等于开源软件，许可可能限制商用、再分发、衍生模型或特定地区使用。Gemma、Llama 与 NVIDIA Nemotron 都有各自的许可体系，企业需要逐项审阅。
量化模型通过降低权重精度减少内存和计算，例如 INT8、INT4、GGUF 或厂商专用格式。量化可以让大模型进入消费级硬件，但也可能改变生成质量、工具调用稳定性和运行时兼容性。
本地模型的四个设备层级
1. 手机、嵌入式与边缘设备
这个层级优先考虑 0.8B—4B 左右的小型模型，以及厂商明确提供的移动优化检查点。
Google 在 Gemma 4 官方文档中把 E2B 定位于移动设备，把 E4B 定位于移动设备与笔记本。两者支持文本、图像与音频输入，但“E”表示有效参数，不等同于完整静态权重占用。Meta 的 Llama 3.2 1B 与 3B也是明确面向移动和边缘文本任务的型号。
NVIDIA 的 Nemotron 3 Nano 4B更贴近 Jetson、GeForce RTX 和 DGX Spark 生态，适合本地角色、语音助手后端和 IoT 自动化。它的优势来自模型与 NVIDIA 软硬件栈的协同，而不是“4B”这个数字本身。
2. 普通笔记本、Mac 与 AI PC
这个层级大致覆盖 4B—14B 量化模型，但统一内存、显存带宽、CPU/GPU/NPU 支持和散热会造成很大差异。
Qwen3.5 的 0.8B、2B、4B、9B 型号为企业建立分级路由提供了连续档位。Microsoft 的 Phi-4-mini 为 3.8B 参数，覆盖通用指令、函数调用和数学推理；Phi-4-multimodal则以 5.6B 参数统一处理文本、图像和音频，但多模态运行时的内存与兼容性不能按纯文本模型估算。
Mistral 在 Ministral 3 中提供 3B、8B、14B 三个尺寸，每个尺寸又有 Base、Instruct 与 Reasoning 版本。它们名称相近，但用途不同：Base 更适合继续训练，Instruct 面向交互，Reasoning 会用更多生成 Token 换取复杂任务能力。
3. 高配笔记本与单卡工作站
24GB 级显存或更大的统一内存设备，让 20B—35B 量化模型成为可能。这里最容易出现“激活参数陷阱”。
Qwen3.5-35B-A3B每次计算只激活约 3B 参数，但部署时通常仍需容纳 35B 总权重。A3B 主要降低计算量，不会把权重内存自动变成 3B Dense 模型。Qwen3.5-27B 与更新的 Qwen3.6-27B则是 Dense 路线，更容易理解但权重计算更直接：4-bit 权重理论下限约 13.5GB，实际还必须加入 KV Cache、运行时和视觉组件。
OpenAI 的 gpt-oss-20b是另一条路线。官方给出的规模是约 21B 总参数、3.6B 激活参数，并通过原生 MXFP4 把内存要求控制在约 16GB。它有 Ollama、LM Studio、vLLM、Transformers 与 Apple Metal 的官方部署指引，但 Harmony 提示格式和硬件对 MXFP4 的支持仍需正确适配。
Gemma 4 的 26B-A4B、31B，NVIDIA Nemotron 3 Nano 30B-A3B，以及 DeepSeek-R1-Distill-Qwen-32B，也属于高配工作站或本地服务器候选。它们的比较重点已经不只是“能否加载”，而是并发、长上下文、吞吐和稳定性。
4. 企业本地服务器
企业私有化部署需要把问题从单人 Demo 提升到持续服务：多用户并发、身份权限、日志审计、模型升级、故障回退、硬件监控、补丁和容量规划都会进入总拥有成本。
IBM 的 Granite 4.0把 3B Micro、7B 总参数/1B 激活的 H-Tiny，以及 32B 总参数/9B 激活的 H-Small 分成不同企业层级。Micro 与 H-Tiny可以成为 Agent 工作流中的低延迟函数调用节点，H-Small则更接近完整的本地企业模型服务。
DeepSeek 的 R1 Distill从 1.5B 延伸到 70B，为本地推理研究提供了常用基线。但蒸馏模型不是完整 DeepSeek-R1：它们继承不同 Qwen 或 Llama 基座，尺寸、知识、许可和运行特征也不同。
为什么不能只看参数和公开榜单
第一，参数量不等于运行内存。Dense 模型可以粗略从精度估算权重，但视觉编码器、KV Cache、批次、上下文和运行时都会额外占用内存；MoE 还必须区分总参数与激活参数。
第二，能生成答案不等于能完成岗位任务。数字员工需要稳定输出 JSON、正确选择工具、填对参数、处理超时，并在高风险动作前请求审批。公开知识或数学榜单无法覆盖这些要求。
第三，单次运行速度不等于生产吞吐。首 Token 时间、稳态解码、并发、热启动、降频、功耗和长时间内存峰值都需要记录。
第四，本地部署不自动等于安全。模型权重、量化文件、运行时、容器和扩展都是供应链组件；提示注入、越权工具调用、日志泄漏和恶意模型文件仍需治理。
企业端侧模型的五步选型法
- 先定义不能出域的任务。 只有当隐私、弱网、延迟或调用规模带来明确价值时，本地部署才值得承担运维复杂度。
- 按设备建立候选池。 手机与嵌入式优先移动优化小模型；AI PC 优先 4B—14B；工作站再进入 20B—35B 量化模型。
- 固定运行条件。 记录具体设备、精度、运行时版本、上下文、并发与功耗，避免留下无法复现的“能跑”结论。
- 使用真实任务评测。 同时测任务成功率、结构化输出、工具参数正确率、端到端延迟、人工接管率与每次成功交付成本。
- 保留模型路由。 端侧模型处理隐私敏感、低风险和高频任务；复杂推理或高风险决策升级到本地高能力模型、云模型或人工审批。
对数字员工平台的意义
端侧模型让数字员工从“每次都调用外部云 API”变成分层运行：设备端可以完成分类、提取、唤醒、简单问答和隐私预处理；本地工作站处理知识检索、文档理解与常规工具调用；高能力模型只接管困难任务。
这种架构的核心不是选择一个永远最强的本地模型，而是建立可审计的模型路由：什么数据可以发送到哪里，什么任务由哪个能力档位承担，失败时如何回退，成本和质量如何持续测量。
ClawSphere 的端侧模型研究站会继续跟踪各家开放权重型号、精度版本、官方运行时、设备适配和企业实测方法。型号页只把厂商信息作为候选事实，最终选型仍以官方许可、真实硬件和企业样本为准。