AI 算力基础设施研究文章

模型观察12 分钟

Kimi K3 NVFP4 私有化部署：8 张 B300 为何仍不是即装即用

基于 NVIDIA、Moonshot AI、vLLM 与 SGLang 官方资料，拆解 Kimi K3 NVFP4 的 1.6TB 权重、8×B300 配方、上下文、运行时成熟度和企业采购边界。

2026/08/30阅读全文

企业 AIAI Agent本地部署

模型观察12 分钟

新款 Mac Studio 发布：M5 Ultra 512GB 能否成为企业本地 AI 工作站

分析 M5 Max 与 M5 Ultra Mac Studio 的统一内存、带宽、Thunderbolt 5 集群和本地大模型能力，以及企业采购前必须验证的边界。

2026/08/25阅读全文

端侧模型AI 算力基础设施企业 AI

模型观察18 分钟

2026 端侧模型大全与本地部署指南：48 个模型家族怎么选

系统比较 Qwen、Gemma、MiniCPM、LFM、GLM、ArmorOCR、InternVL、Llama、Mistral 等端侧模型的设备层级、工作负载、内存误区和企业选型方法。

2026/08/14阅读全文

端侧模型基座模型AI 算力基础设施

企业实践13 分钟

NVIDIA、AMD 与国产 AI 算卡：企业采购到底该比较什么

从芯片、软件栈、模型适配、集群、功耗、供应与迁移成本比较 NVIDIA、AMD、昇腾、寒武纪、昆仑芯、壁仞和摩尔线程。

2026/08/09阅读全文

AI 算力基础设施基座模型企业 AI

先理解这些概念

本地推理

在用户设备、企业自有服务器或受控边缘环境中运行模型推理，而不是将每次请求发送给外部托管 API。

端侧模型

部署在手机、PC、边缘设备或现场服务器附近，能够在弱网、离线或数据不出域条件下完成推理任务的 AI 模型。

模型量化

使用更低数值精度表示模型权重或激活，以减少内存、存储和计算成本，使模型更容易在本地或端侧设备运行。

统一内存

CPU、GPU 或其他处理单元共享同一内存资源与地址空间的架构，可减少数据复制，并影响本地大模型可加载规模与推理性能。

GGUF

llama.cpp 生态常用的模型文件格式，可封装权重、量化信息和运行元数据，便于在 CPU、GPU 与统一内存设备上进行本地推理。

相关平台与产品

寒武纪 MLU 与 NeuWare

寒武纪 · 国产算卡 · 覆盖云端与边缘 AI 加速卡，并以 NeuWare、MagicMind、运行时和算子库支撑模型开发部署。

AMD Instinct 与 ROCm

AMD · AI 算力平台 · 由 Instinct 数据中心 GPU 与 ROCm 开放软件栈构成的训练、推理和高性能计算平台。

壁仞科技壁砺 GPU

壁仞科技 · 国产算卡 · 以壁砺系列通用 GPU 为核心，面向 AI 数据中心、训练、推理和行业智算基础设施。

华为昇腾与 CANN

华为 · 国产算卡 · 以昇腾 AI 处理器、Atlas 产品和 CANN 异构计算架构组成的端、边、云 AI 计算生态。

昆仑芯 XPU

昆仑芯科技 · 国产算卡 · 面向数据中心与边缘场景的通用 AI 芯片、加速卡、加速器组和全栈软件工具。

摩尔线程 MUSA

摩尔线程 · 国产算卡 · 以全功能 GPU、MUSA 统一架构和 SDK 为基础，覆盖 AI 训练推理、图形、视频与科学计算。

NVIDIA AI Enterprise

NVIDIA · AI 算力平台 · 覆盖云、数据中心与边缘的企业 AI 软件平台，连接 NVIDIA GPU、驱动、容器、NIM 与运维组件。