大模型在小爱同学应用实践

AI资讯 2个月前 charles

310 0 10

导读本文将介绍大模型在小爱同学产品上的应用，分享在意图分发、意图理解、回复生成等方面的实践。

主要内容包括以下几大部分：

1. 小爱同学概要介绍

2. 大模型意图分发

3. 大模型垂域意图理解

4. 大模型回复生成

01

小爱同学概要介绍

小爱同学是一个无处不在的 AI 助手。目前我们的产品线包括小爱建议、小爱语音、小爱视觉、小爱翻译和小爱通话，支持的设备涵盖了手机、音箱、电视以及小米汽车。

从 ChatGPT 发布，引爆了大模型浪潮，国内外公司纷纷发力开展大模型相关工作，我们也在思考如何让小爱同学用上并用好大模型。通过多轮讨论，我们达成共识，即利用大模型重新构建小爱同学。在大模型的支持下，产品体验和用户留存得到了大幅提升，活跃用户次日留存提升了 10%，中长尾 query 满足率提升了 8%。

上图展示了小爱同学的整体架构，采用的是分而治之的思想。一个 query 来了之后，首先会有一个意图分发的大模型去做意图分发，将 query 分发到下游各个垂域的 Agent 上去，每一个垂域 agent 会有一个专门的意图理解大模型进行意图的理解。

02

大模型意图分发

1. 意图分发介绍

意图分发的目的是判断用户 query 的意图归属，然后将 query 路由到指定的垂域 agent 上去做一个深度的理解。因为这个垂域的 agent 只关注于自己垂直的意图理解，整个模型迭代的难度会更小，迭代效率会更高，可以更好地满足用户的需求。

意图分发主要有两个难点：

（1）模型是需要知识才能正确理解的。比如打开设置 vs 打开空调，需要模型知道设置是系统项，空调是设备；

（2）耗时的要求高，小爱场景意图分发需要控制在 200ms 以内。

2. 大模型尝试

首先做意图分发模型是需要知识，大模型通过了海量的数据预训练，我们认为它是具有知识的，自然而然想到就是用 prompt engineering，设定一个任务，然后直接请求大模型去输出这个用户请求中蕴含的意图。

实践中存在以下两个问题：

大模型输出的意图跟我们预定义的意图不一致。
大模型没有办法有效地遵循指令。在实践过程中发现，只有百亿级或者千亿级的模型才会遵循指令，更小的模型会倾向于直接去回答问题。

为了处理上面的问题，我们采用 few-shot 方法，在 prompt 中定义意图，并给一些示例 query。这种方法在一定程度上缓解了上述问题，但又带来一个新的问题就是输入的 token 太多。再加上对耗时的要求，Prompt engineering 的方法无法走通。因此我们尝试大模型的微调。

登录查看剩余 70% 内容

版权声明：charles 发表于 2026年5月1日 pm2:32。
转载请注明：大模型在小爱同学应用实践 | AI工具大全&导航

相关文章

ContextCite: 探究模型生成内容与上下文引用的关系

charles

0 30

🧠 解码大语言模型的记忆力：上下文长度的前世今生

charles

6K 5

群体智能到来：浅谈Kimi K2.5之Agent Swarm

charles

0 5

🧠 解码大语言模型的记忆力：上下文长度的前世今生

charles

7.9K 20

🧠 大模型到底厉害在哪？看完这篇你就懂了！

charles

4.7K 10

数据驱动+AI 赋能，解码国企集团高质量发展新路径

charles

6.1K 10

最实用、最热门的AI 工具大全AI 工具导航，帮助你在工作与学习上更轻松有效率。在网路上众多 AI 与 ChatGPT 工具中，我们亲自试用并挑选了最有有用的，分成 20多个大类别，让你轻松找到所需的 AI 工具。

AI工具大全&导航