Liquid AI · 嵌入式与手机

LFM2.5 Encoder

Liquid AI 的多语种双向编码器家族,面向检索、重排序、语义相似度和分类等下游任务,不是通用生成式对话模型。

查看官方资料 官方源核验于 2026/10/05
参数规模230M / 350M
架构LFM2 双向编码器 · Masked Language Model
模态文本编码、多语种语义表示、检索、重排序、语义相似度、分类
上下文8K(官方模型卡)
Local deployment verdict

部署判断

官方提供 230M 与 350M GGUF 权重,适合把检索、重排序或分类前置到本地网关、浏览器和 CPU;实际内存仍取决于 F16/Q4/Q8 选择、批量和服务进程,不能用参数量直接承诺手机端持续运行。

推荐起点
嵌入式与手机
常见运行时
llama.cpp embeddings、GGUF、WebGPU(官方模型卡描述)、Python fill-mask 示例
许可
LFM 1.0(模型卡标注;需企业法务核对)

型号与精度版本

230M F16 GGUF
230M Q4_0 / Q8_0 GGUF
350M F16 GGUF
350M Q4_0 / Q8_0 GGUF

同一模型家族中的基础、指令、推理、量化或多模态检查点用途可能完全不同。下载前应核对模型卡、提示模板、分词器、量化方法和运行时版本。

适合放进哪些本地工作流

本地 RAG 检索与重排序
企业文档语义相似度
轻量分类与路由
浏览器或边缘网关语义编码

端侧模型更适合边界清楚、输入可控、失败可回退的任务。涉及客户承诺、财务写入、生产控制或复杂多步工具调用时,应保留云端高能力模型与人工审批作为升级路径。

进入数字员工路由前怎么测

  1. 加载测试记录具体设备、精度、运行时、上下文与首 Token 时间,避免只写“能跑”。
  2. 任务测试用脱敏企业样本测任务成功率、结构化输出和工具参数正确率。
  3. 压力测试加入长上下文、并发、热启动、内存峰值、功耗和降频观察。
  4. 治理测试验证模型许可、日志、更新、漏洞响应、人工接管与云端回退。

当前研究限制

  • 它是编码器与 Masked LM,不应当作聊天或代码生成模型
  • 官方吞吐与设备端描述属于厂商模型卡信息,企业仍需用中文业务语料、批量和目标硬件复测
  • 8K 是模型卡上下文口径,检索系统还需评估切片、索引与批处理开销
  • LFM 1.0 许可不是 Apache/MIT,采购前必须核对权重、代码和下游服务条款

本页是官方资料索引与企业选型分析,不构成速度、显存、质量、许可或合规承诺。社区量化与第三方运行时应作为独立供应链组件审计。