小语言模型才是Agentic AI的未来？

作者认为，小型语言模型（SLMs）在很多场景下比大型语言模型（LLMs）更适合用于构建“代理式人工智能系统”（Agentic AI Systems），因为它们：

1. 能力足够：在许多实际任务中，小模型已经足以胜任，甚至能匹配更大模型的效果。

2. 操作更高效：运行成本低、响应更快、更适合模块化系统。

3. 更经济可持续：部署成本、能耗更低，更适合大规模应用和边缘设备部署。

1. 背景介绍

Agentic AI 是指能够自主执行任务的 AI 系统，比如智能客服、代码代理、办公自动化助手等。虽然目前主要依赖大型语言模型（如 GPT-4），但作者认为这不是最优方案。

2. 提出立场

作者定义 SLM 为“能在普通消费级设备上低延迟运行的模型”（通常参数量低于 10B），并提出立场：

小型语言模型在能力、适配性和成本方面，普遍优于 LLM，是 Agentic AI 的未来。

3. 论据支持

• 能力足够（如 Phi-2、Phi-3、NVIDIA Nemotron-H、DeepSeek 等 SLM 与 LLM 对比表现）；

• 更便宜（推理成本更低，易于边缘部署和快速微调）；

• 更灵活（适合定制化、多模型组合、快速响应业务需求）；

• 任务需求有限：多数代理任务需求单一、可预测，没必要动用复杂模型；

• 行为一致性要求高：SLM 更容易精准输出固定格式，更利于系统集成；

• 多模型组合自然：代理系统本身就可使用多个模型，SLM 用于基础任务，LLM 用于复杂推理更为合理。

4. 反对观点及回应

• 有人认为 LLM 具有更强的通用理解能力，但作者反驳说这种泛化能力在具体、重复的代理任务中用处不大；

• 有人认为 LLM 推理成本会因规模化而变低，作者指出最新的推理框架和边缘部署能力已使 SLM 更具优势；

• 市场惯性与投资方向暂时让 LLM 占主导，但这不是长期最优方案。

5. 现实障碍

• 当前基础设施投入更偏向 LLM；

• 评估标准仍偏向通用任务，而非代理任务；

• 市场对 SLM 的关注和认知不足。

6. 转换建议

文章最后提出了一个具体的“LLM → SLM 转换算法”，帮助开发者将现有使用 LLM 的代理系统迁移到 SLM，包括数据收集、任务聚类、模型选择、微调等步骤。

7. 案例研究

作者分析了三个开源代理系统（MetaGPT、Open Operator、Cradle），并估计它们有 40%–70% 的任务可用 SLM 替代 LLM，有效降低运行成本。