小语言模型
Small Language Model
参数规模、激活计算量或部署资源明显低于大型通用模型,面向低延迟、低成本、端侧运行或特定任务优化的语言模型。
也称:SLM、小模型、轻量语言模型
小语言模型通常用于分类、提取、摘要、命令理解、轻量问答、函数调用或特定领域任务。它的价值不一定是全面替代大型模型,而是成为模型路由中的低延迟、低成本执行层。
参数少并不自动意味着速度快。模型架构、量化、内存带宽、运行时优化、提示长度和输出长度都会影响端到端性能。
Small Language Model
参数规模、激活计算量或部署资源明显低于大型通用模型,面向低延迟、低成本、端侧运行或特定任务优化的语言模型。
也称:SLM、小模型、轻量语言模型
小语言模型通常用于分类、提取、摘要、命令理解、轻量问答、函数调用或特定领域任务。它的价值不一定是全面替代大型模型,而是成为模型路由中的低延迟、低成本执行层。
参数少并不自动意味着速度快。模型架构、量化、内存带宽、运行时优化、提示长度和输出长度都会影响端到端性能。