Topic Research

基座模型

跟踪大语言模型、推理模型、多模态模型及企业选型方法。

4 篇研究11 个核心词条14 个模型家族76 个规格端点

基座模型研究文章

基座模型决策地图

从研究判断进入家族、端点、价格和实验验证,不把品牌名当成固定规格。

全球与中国主流模型家族

各条目的资料核验日期与待复核状态见模型观察站。

打开完整观察站

先理解这些概念

本地推理

在用户设备、企业自有服务器或受控边缘环境中运行模型推理,而不是将每次请求发送给外部托管 API。

大语言模型

以大量文本和代码为主要训练数据,能够理解、生成和转换自然语言,并支持推理、结构化输出与工具调用的模型。

端侧多模态模型

在手机、AI PC、工作站或企业边缘环境本地处理文本、图像、视频或音频中至少两种模态的模型。

端侧模型

部署在手机、PC、边缘设备或现场服务器附近,能够在弱网、离线或数据不出域条件下完成推理任务的 AI 模型。

基座模型

在大规模数据上训练、可以适配多种下游任务的通用模型,是大语言模型、多模态模型和企业智能体的重要能力基础。

检索增强生成

在模型生成答案前,从企业知识库或外部数据源检索相关材料,并把证据作为上下文提供给模型的方法。

模型幻觉

生成式模型输出看似合理、实际缺乏依据或与事实不符的内容,包括编造来源、数字、事件和因果关系。

模型量化

使用更低数值精度表示模型权重或激活,以减少内存、存储和计算成本,使模型更容易在本地或端侧设备运行。

模型路由

根据任务类型、质量要求、延迟、成本、数据敏感度和可用性,将请求动态分配给不同模型的机制。

小语言模型

参数规模、激活计算量或部署资源明显低于大型通用模型,面向低延迟、低成本、端侧运行或特定任务优化的语言模型。

GGUF

llama.cpp 生态常用的模型文件格式,可封装权重、量化信息和运行元数据,便于在 CPU、GPU 与统一内存设备上进行本地推理。