:
AI 技术极大地丰富了人类获取信息的渠道,显著提升了信息分发与获取的效率。随着大语言模型(LLM)能力的持续提升,用户获取信息的方式是否正面临又一次革命性变革?
在奇绩 2022 年春季创业营校友深言科技创始人岂凡超看来,如今 AI 的生成与理解能力使内容朝着 “按需生产、个性定制、动态交互、多种模态” 的方向演进;信息获取也不再只是依靠点击与关键词搜索,而开始转向通过自然语言与系统 “提出问题、进行交互,并根据个人需求动态呈现内容” 的新模式。
本文摘选自岂凡超在第七季奇绩潜空间的分享,探讨了对 AI 原生的信息获取和分发的思考与实践。
本文提纲:
-
关于 AI 与信息的三点预测
-
信息获取和分发市场的思考
-
如何用 “5W1H” 定义信息的获取和分发?
-
AI 时代下,信息的获取和分发会如何变化?
-
AI 原生的信息获取和分发的挑战
-
深言科技的技术与产品实践:解决幻觉和可信度问题
岂凡超是深言科技创始人兼 CEO,清华大学计算机系博士,曾任北京智源人工智能研究院 “基于大模型的文本处理创新中心” 主任。并获得福布斯亚洲/中国 30U30、全国研究生人工智能创新大赛总冠军等荣誉。打造了 AI 原生的个性化信息助手语鲸等产品。
「奇绩潜空间」欢迎大模型时代创业者、科研学者、高校学生来现场面对面交流。此外我们创建了创业者交流群,添加小助手加入群聊以及获取更多奇绩潜空间往期内容。
-
五年内,人获取的信息中, 90% 将会来自于 AIGC ,其中一半是个性化内容。
-
-
提供内容逐渐演变成提供内容服务,80% 的职业内容生产者将不再去生产内容本身。
信息获取和分发市场的思考
如何用“5W1H”定义信息的获取和分发?
第一,谁参与了信息获取和分发(Who)?
答案显而易见,有内容的生产者,分发平台和消费者。我认为消费者应该被放在首位,因为这是从最近到未来会越来越最重要的一个角色。
第二,什么是信息获取和分发(What)?
首先要明确信息和内容的区别。我认为,内容只是信息的一个很重要的载体。
信息分发和获取的链路本质上是编码和解码的过程。具体来讲,就是把创作者想要表达的信息,通过内容的方式包装起来。比如写文章、拍视频、录播客。有了这样一个实体的容器作为载体之后,信息可以被更好地分发。比如发到各种内容平台上,消费者就可以去进行消费。
消费内容的过程是一个解码的过程。比如对于消费者来讲,看到一个视频,一篇文章,或者一个人的分享时,他的大脑会进行思考。通过大脑处理文字符号、声音和图像信号并存储到大脑里。在这个过程中,会产生一些信息的损耗,导致消费者接收到的信息会和创作者一开始表达的信息有所不同。
一开始,人的大脑里其实有网状的、抽象的信息,要通过序列化的文字符号,将它们一个一个地表达出来。这就是信息和内容的区别,明确了当我们谈信息获取和分发时,到底在谈什么。
第三,为什么要获取信息(Why)?
我认为获取信息不是目的,而是手段。通过信息获取达到的目的主要分为两类。首先是功能性的需求,包括我们要获取知识、解决问题、做出决策。比如做一个 PPT ,就必须得去查相关的资料。查资料的过程中,有非常强的目的性需求。底层看,功能性需求影响的是大脑的区域。比如建立新的突触,包括海马体会在获取信息的过程中发生一些变化。其次是情感性的需求,不论是为了获得喜悦,还是缓解压力和孤独的情绪。在这样的需求下,人们也会去进行信息的获取。情感性需求底层改变的是激素和神经递质。最典型的就是多巴胺分泌。
第四,什么时候需要去获取信息(When)?
主要分成两种类型。一是主动获取,即有意识或有目的地获取信息。很多功能性的需求会驱动消费者主动获取信息——要学习某个知识,要做研究,或者要做决策,在这之前可能需要去主动地收集一些信息。二是被动获取,即无意识或者无目的地获取信息。比如休闲社交时,与人闲聊或被动地参加了某个活动,被动地听到了某些信息。
这两者有时会交织进行。比如我今天没有目的地打开抖音,看到了一个视频。发现里面提到的有个问题没解释清楚,我想去查一下相关的资料。抖音提供的看后搜功能,就是把被动获取信息转变成主动获取信息的方式,在这个过程中,主动和被动交织进行。
第五,在哪里进行信息获取和分发(Where)?
在有了电子设备之后,信息获取的媒介发生了非常大的变化。过去更多需要通过物理媒介,如看书、看报纸等方式来获取信息。但有了数字化的设备之后,就变成了数字化地获取信息。同时,我们可以通过不同终端获取和分发信息,包括 PC 、手机、VR 、AR 等各种新兴的硬件设备。另外,还有多样的内容平台,如微信、小红书、抖音、B 站等。
第六,如何获取信息(How)?
我们可以从信息的主动获取和被动获取这两个角度,分别分析在有了互联网之后信息获取是如何实现的。
主动的方式包括两类。一是黄页或导航网站,这是早期的信息分发平台。最早是雅虎把互联网上的内容分门别类地放到页面上。通过层级化整理,让用户能比较方便地找到想要的内容。二是搜索引擎,它的出现让主动获取信息的方式发生了很大的变化。从 1998 年谷歌成立到现在为止,搜索引擎都是最主流的主动获取信息的方式。
被动的方式,在门户网站的时代,有专人对内容进行筛选分类、定期更新。但后来出现了两个变化。
一是社交的分发。从 2006 年 Facebook 推出了 News Feed 功能之后,每个用户可以通过自己的人际关系链获取内容。二是推荐引擎。2012 年开始,以头条为代表的推荐引擎分发平台不再利用人际关系链做分发,而是基于用户的点击行为和浏览历史对用户进行画像建模,从而判断哪些内容用户可能会感兴趣。推荐引擎发展至今已有十三年,我认为如今已经到了演变的时间点。
AI 时代下,信息的获取和分发会如何变化?
回答这个问题,可以从信息的需求侧、供给侧和获取分发方式三个方面分析变化的底层驱动力,以及预测未来将会如何变化。
在需求侧,信息获取和分发变化的底层驱动力是消费者对达成高效价值获取的追求,包括功能性和情感性目的。用户希望通过获取信息来更快地解决问题、做出决策,或者在单位时间内获得更多的价值。比如短视频产品的设计,沉浸式的界面、更高效的内容推荐算法和内容生态都是为了更高效地让用户获取信息。
-
关键洞察 1: 目前的内容消费存在价值低谷,持续稳定的高价值体验是消费者信息获取的理想状态。
图为现实和理想的信息获取价值曲线。左图是当前的情况,右图是理想的情况。横轴是用户消费的内容进度条。
左图反映了三个问题。第一,人在消费内容时,不论是情感性需求还是功能性需求,获取的信息价值是变化的。比如我看一个讲历史的视频,有些内容对我来讲有点乏味,有些片段我觉得特别精彩。
第二,同一个人在不同时期看相同内容曲线获取到的价值不同,有高有低。
第三,不同人看相同内容有不同曲线。比如同样的视频可能这个片段我不感兴趣,但是你可能就会感兴趣。同样的一篇论文,小白可能关注背景,行业专家则可能更关注技术创新和实验结果。
更理想的状态是如右图,用户从内容开头到结尾获取到的信息价值始终都非常高。比如看一篇论文,它能根据我在领域内的掌握程度个性化地呈现。但这个曲线是完全理想的情况,我们只能从现实不断地去逼近它。
那么如何提高信息价值低的的片段,或者减少它的数量就成了未来信息获取和分发的发展方向。让用户从全部内容中获取到的价值变得更高,不论是功能型需求还是情感型需求,都能够更高效地去得到满足。
在供给侧,技术进步是最核心的驱动,可以在内容生产和分发两端带来变化。
一是在生产端,技术进步能不断地降低内容生产的门槛。早期没有互联网时,记者和编辑这样的话语权是非常强的。因为只有他们能够去生产内容,而且生产内容对于知识、设备和技术的要求都非常高。但有了移动互联网之后,生产内容和发布内容的成本被极大地降低了。有手机就可以随时随地拍和发,而且发的内容也不需要很长。门槛降低之后,自然生产端就越来越多,供给就越来越多,相应地生产端的话语权就变弱了。
在 AI 时代,AI 能让生产效率变高、成本降低。原来可能在生产内容时需要查资料、写稿子、拍视频,这些耗时的步骤现在用 AI 很快就能搞定。随着 AI 的算力和技术逐渐成熟,使用 AI 生产的成本会越来越低。
技术生产侧的进步会带来信息供给侧的产能过剩,而且过剩极高。因为 AI 的边际成本是不变的,甚至在变低。在这样的情况下,人能创作的内容带宽是有限的,但是 AI 却有无限的产能,无限的产能会导致供给侧爆炸式的增长。
二是在分发端,AI 能够更好地理解用户的意图,提高内容分发效率。过去,推荐引擎只能通过用户的点击、浏览、停留时长等行为对用户的画像进行建模,以找合适的内容。但现在 AI 的能力可以理解用户抽象的语言描述,还能根据过往聊天记录对用户画像建模,进而对内容做更高效的分发。
-
关键洞察 2: 基于上述技术的演变,我认为 AI 原生的信息获取和分发有四个核心特点:按需生产、个性定制、动态交互、多种模态。
一是分发从库存逻辑到订单逻辑。原来的内容都是预先生产好,然后通过这个分发平台分发给特定的消费者。但有了 AI ,有了无限的产能和无限的生产能力后,内容将变成按需生产。对于内容来说,它只涉及数字世界,信息只影响比特,不影响原子。所以在这个情况下信息迭代效率极高,能真正实现无限产能。
二是生产从批量到个性化定制。因为生产端过剩,话语权就会越来越朝着消费者倾斜。比如早期能看的书很有限,但随着书越来越多,就变成我需要什么就看什么,而且每个内容都可以尽可能地满足我的个性化需求。
三是内容从静态转向动态。早期的内容是静态的,比如音频、视频、图文等,这些内容被生产出来之后,就会以固定的内容形式去传播。它是一个单向的信息传递方式,即用户只能被动地去接收特定书籍或视频的信息。有了 AI 内容后,信息就变得可交互了。例如,当用户看到一篇文章,并对文章内容产生疑问,那么他可以直接进行提问。现在的做法是借助模型本身的能力来提炼信息以解答用户的问题。
另外,未来的 AI 内容本身也会发生变化。比如,内容会附带很多参考资料,即呈现出来的是一篇文章,但内容背后是海量的参考资料和知识库。用户可以和内容本身进行交互。用户提出问题,AI 会基于所在的知识域去进行回答。同时,每个内容可以通过不同的形态去呈现。比如用户认为当前呈现内容难以理解,希望变得更易读。这个需求就会触发 AI 内容发生调整和变化。
四是信息从单一形态到多种形态。目前的内容平台有很强的媒介或模态标签,比如视频平台就是视频平台,图文平台就是图文平台,因为这几种内容的模态其实有各自的技术,供给侧技术的分发、生产等方式也不太一样。同时,用户的消费场景也不尽相同,所以会分化出很多的产品去承载这种不同类型的内容消费需求。
但 AI 可以让模态之间的这种壁垒或者边界变得模糊,这得益于其强大的生产改造能力。
我认为将来分发的内容是 Meta 信息,即根据用户的当前需求及时地变成他们想要的形式。比如开车时用户需要音频内容,吃饭时用户需要视频内容。相同的信息可以通过各种各样的媒介和模态去呈现出来,满足用户当下的需求。
AI 原生的信息获取和分发的两种方式主动和被动,将会如何变化?
-
关键洞察 3: AI 搜索将变成主动信息获取的核心方式,而 AI 个性化融合的信息点将成为被动信息获取的主要趋势。
主动方式从目录索引到搜索引擎,再到 AI 搜索是目前共识的趋势。在 21 年底 OpenAI 推出的 WebGPT 是 AI 搜索的尝试,但 22 年的 Perplexity 无疑是让 “ AI 搜索”这一概念广为人知的产品。可以确定的是,AI 搜索相比于传统搜索对于用户功能性需求的满足效率是更高的,在单位时间内能够获取更多的有效信息,或者能更直接地解决问题。
在被动的信息获取场景下,未来的趋势还不甚明朗。目前推荐引擎还是存在一些问题,用户在消费时并不是每时每刻都对推荐内容满意的。这也是深言科技一直在探索和尝试解决的问题。
从更大的演进图谱上来看,在过去的二十多年里,被动获取信息的确有一些影响很大的产品出现。我认为,底层的变化是信息颗粒度。信息分发的颗粒度在变小,因为只有变得更小的颗粒度才有可能去实现更高的效率。
在 AI 大模型时代,内容的颗粒度会变得更小。这是因为 AI 对内容的理解和解构能力大大提升了。过去我们分发和推荐的文章、视频、音频像是一台组装好的机器。但在现在这个阶段,AI 可以把这个“机器”拆解成一个个零件,也就是内容中的具体信息点。
因此,平台在进行内容分发时,不再只是简单地推送一个完整内容,而是可以根据用户的兴趣和需求,把不同的“零件”重新组合起来,形成更符合用户个性化的信息组合。这种变化会让用户体验更加个性化,也能让内容的价值被更充分地利用和呈现。
AI 原生的信息获取和分发的挑战
挑战 1:模型幻觉
想要达到理想的“信息获取的价值曲线”仍然面临着非常多的问题和挑战,最主要是技术挑战。
模型幻觉是目前 AI 内容生成的核心技术问题。对于提供 AI 内容加工服务的产品,及格线应该是内容的真实性。SuperCLUE-Faith 中文大模型忠实性幻觉测评榜单中,表现最好的模型是 doubao-1.5-pro-32k ,有 4.11% 的幻觉率(幻觉率指的是有幻觉的句子数量占总生成句子数量的比例))。这个比例比想象中要高很多,这说明用户在日常使用 AI 大模型交互时,100 句话里有 4 句话存在幻觉问题。但验证哪些句子出现幻觉的成本很高。
另外,推理模型的幻觉比非推理模型的幻觉要更严重。比如 OpenAI 的 o3 ,o4 的 System Card 里提到,o1 模型的幻觉是最低的, o3 和 o4 的幻觉要明显更高。
从第一性原理角度来讲,AI 大模型是概率模型,想要根除幻觉是不可能的。因为模型的创作能力和幻觉是一体两面的,想让模型完全没有幻觉就要放弃它具备的一些优势,所以幻觉只能被缓解和抑制。
在模型幻觉问题无法完全避免的前提下,如何让用户真正信任 AI 生成的内容?这一点其实也极具挑战性。正如前面提到的,验证 AI 是否产生幻觉的成本是非常高的。如果我是相关领域的专家,AI 犯的错误我能识别出来,但如果我对这个领域了解有限,那我真的可能会认为 AI 所说的就是正确的。
挑战 3:成本
想要做 AI 原生内容的个性化分发,成本有多高呢?我们做了非常粗略的估算,假如每人每天要从 200 篇文章中获取信息,每篇内容 1000 字,每天就有 20 万字的信息量。按照最新的 Claude 4 计算,每人每天要 4.41 元的成本去加工这些内容。这对于内容分发供给方是高额成本,这个例子甚至没有考虑音频、视频等其他模态的内容的处理成本。但从内容消费者端来看,通过抖音等内容平台接收这些信息,所耗费的流量成本每天只需要 0.1 元,相差 40 多倍。
在这样高的成本下,即使技术可行,建立商业模式也会是一个挑战。因为抖音的商业变现效率是极其高的,然而分发与接收的成本相对来讲是 1 / 40 ,对于 AI 原生的内容有非常大的挑战。
如今各家公司筑起数据高墙的情势下,怎么获取用户个性化的偏好数据也是很有挑战的问题。
深言科技的技术与产品实践:
解决幻觉和可信度问题
技术实践
针对上文提到的挑战,我们在实践中有如下的三个洞察和对应的解法。
第一点观察就是在内容分发和个性化加工领域,AI 内容生成任务和通用大模型想要去解决的问题有所不同。它本质上是一个条件生成(conditioned generation)任务,即根据用户提供的内容或者材料,来生成相应的内容,并且生成的结果必须严格基于这些给定的材料。比如,用户要求总结一篇文章,系统会先搜索,再通过 RAG 基于检索结果生成回答。条件生成任务中,用户不希望模型自由发挥,与开放式生成任务不同。这两者的区别为深言提供了一个切入点:将原始内容加工,生成符合用户个性化需求的内容,是一个非常典型的“条件生成”任务。
在条件生成任务中,大参数模型更容易坚持自己过去学到的内容。我们在实验中发现,当给定内容与模型训练数据冲突时,GPT-4o 往往会倾向于相信自己的“记忆”,而非输入的新内容。这在某些应用场景下反而不太匹配。因为我们每天接触的信息很多都是新的,这些信息之所以有价值,正是因为和我们已有的认知不同。因此使用一个对自己过于自信的模型,反而可能带来更多幻觉问题。
面对条件生成类的任务场景,有必要专门设计一个更加适配的模型。通过更小的参数规模,也完全有可能实现更低的幻觉率。围绕这一目标,深言团队投入了大量时间和资源进行技术研发与持续迭代,并自建了一套高质量的数据集,投入了非常高的标注成本。同时针对产品的应用场景,采用强化学习专门设计了以“幻觉”为核心的 reward 函数,也包括其他多个辅助性的 reward 指标。通过这套技术方案,能够将一些参数量较小的模型(比如 7B、14B 级别的模型)在效果上做到优于 DeepSeek R1、GPT-4o、Claude 3.5 Sonnet 等主流大模型,尤其在幻觉率指标上表现更优,幻觉发生率显著更低。
从文章颗粒度评估各大模型的幻觉率时,语鲸的模型在文章总结这个任务下的无幻觉率是最高的,比更大参数、更通用的模型要更好。
这是一个非常典型的现象,图中可以看到随着模型生成文本的长度的增加,生成内容忠实度得分的整体趋势是一直下降的。
基于这一观察,我们的技术方案是把内容化整为零。在文章总结这类任务中,我们引入了更精细的语义切分机制。通常来说,一篇稍长的文章本身是有结构的。我们利用文章的结构性特征,如一级标题、二级标题,将整篇文章拆分成多个模块分别处理,最后整合输出,从而有效降低幻觉风险并提升生成质量。
我们自研的技术方案是通过一个专门的模型反向地将线性文字重新映射为具有层次结构的树状篇章结构。得到这棵树之后,每一个节点分别由一个生成模型进行处理。由此,每个模型能看到的内容就被限制在一个相对局部的范围内。同时,宏观的压缩信息能帮助模型有更准确的全局把握。
-
观察 3 : 模型遗漏和内容可行度问题可以通过对原文分段式加工与双向对应机制解决。
除了幻觉,生成内容不完整也是常见问题。比如在总结一篇关于固体物性的论文时,原文中涉及量子态的片段里提到了多个理论。但 GPT-4o 在总结时只提到了两个——泡利顺磁性理论和自旋波理论,剩下的理论都遗漏了。
而语鲸的模型在做类似任务时,基本不会出现遗漏问题。因为语鲸是一段一段地基于原文进行总结,天然避免了信息丢失。并且语鲸实现了双向对应机制,用户可以把鼠标悬停在某段总结上,就能看到它是来自原文的具体片段;同样,用户也可以从原文的某个片段追溯到它在总结中对应的哪一部分。确保了内容的完整性和可溯源性。
这部分技术之前一直是支持深言科技内部的产品,现在已经达成了阶段性的成果,团队近期也会通过 API 的方式把该技术能力向大众开放。目前,经我们测试,“小参数模型 + 语义分解”的方法能显著降低模型幻觉和遗漏问题。
产品实践——语鲸
我们最近新发布了一款产品语鲸。它的定位是提效 10 倍的个性化的信息助手,也是团队朝着 AI 时代下被动信息获取方向做的产品探索。上图展示了目前被动获取信息的一些问题以及语鲸的解决方案。
第一是超低幻觉,极致遵循原文的结构化总结。语鲸为每篇文章都生成了 200 字以内的全文速览,并能完全遵循原文进行结构化总结,条级总结准确率 99%,最大程度对抗幻觉,让用户不错不漏原文任一观点,快速判断信息价值、按需阅读。
举个例子,我们现在可以把一篇原始的英文文章,甚至是学术论文,自动转化为一个层次清晰、结构明确的中文总结,而且每个段落都支持点击回溯到原文对应位置。原本看起来令人头疼的英文长文或 PDF 论文,可以直接变成简短、易懂、结构化的中文摘要,大大提升了信息获取的效率。无论是日常阅读还是科研学习,这种体验的提升都非常明显。
第二是订阅全网信源。语鲸 APP 支持多语言、多内容形态的聚合阅读,覆盖微信公众号、中英文网站、论文、研报等多种信源,并允许手动添加 RSS,实现多渠道信息的一站式管理,告别多平台切换的繁琐。语鲸可以将英文原文、甚至学术论文自动转化为结构清晰、层次分明的中文摘要,幻觉率低、支持双向溯源,大大提升了信息获取效率,无论是日常阅读还是科研学习,体验都更加高效轻松。
此外,用户还可以一键分享自己的订阅列表,让他人便捷获取并同步追踪关注的内容源,非常适合知识共享、团队协作和优质信息推荐。
第三是智能聚合专题。语鲸能自动聚合同主题文章并生成专题,将关于同一话题的多来源、多角度信息整合在一起,让用户从“读 10 篇”变成“读 1 篇”,高效掌握关键信息,做到不重不漏。对于像 “Claude 4 发布”这样的热议事件,语鲸会将相关多篇文章自动合并总结,生成低幻觉率的内容,每篇、每段信息都支持溯源回原文,确保准确可查。
第四是支持创建自定义频道。创建自定义频道主要是围绕用户的个性化需求打造的,可以通过自然语言描述,从指定信源中精确筛选所需信息,实现对订阅内容的更细粒度管理,有效过滤掉冗余内容。
例如,“产品老王帮你聊技术”这一频道就是用户自定义创建的,它会按照用户需求自动精选最新的技术类文章,并以产品经理能够理解的语言与结构重新加工,呈现出更易读的解读视角。用户只需订阅该频道,即可从产品经理的角度,直接获取对技术论文或文章的精要分析。
第五是个人专属日报。个人专属日报的核心价值在于帮助用户应对信息过载的问题。日报相当于一个智能“秘书”,每日 8 点自动生成个性化资讯简报,把用户在过去一天里所有关注的信息源内容进行整合,生成一篇结构清晰的总结,而且每条内容都支持双向回溯。即便用户没有时间逐一阅读所有内容,也能通过日报在5分钟内掌握领域内的最新动态。
-
过去探索过 3000 多款产品,你最大的收获是什么?
-
AI 时代的产品 PMF 是什么?跟过去相比会有什么不同?
-
当模型能力继续扩展,通用型 Agent 产品是否能够完全取代垂类 Agent 产品?
-
目前长上下文(多轮对话)推理能力逐渐成为模型训练的主流趋势,这种潮流会对于 AI 产品的定义产生什么影响呢?
-
如何评估什么是好的数据?
-
AI 内容生成领域的强化学习奖励模型是什么样的,是以结果奖励为主,还是同样采用过程奖励?
感兴趣的小伙伴可以扫描文末二维码,添加小助手获取完整分享文档,以及更多奇绩潜空间往期内容。
(全文完)
【奇绩潜空间】是 GenAI 时代冲得最快的一批科研学者/从业者/创业者聚集的 AI 人才社区,我们定期邀请大模型前沿创业者分享产品实践探索,如杨植麟、吕骋等,邀请前沿科研学者分享最新技术进展,如姚顺雨、蔡天乐等。
扫描创业营二维码,提交奇绩创业营申请表,即可【免费】加入社区,【滑动】查看并免费领取创业社区独家资源: