首 token 延迟降 3.25 倍！小红书联合北大、上交提出 HYPIC，让混合注意力大模型用上「位置无关缓存」

AI资讯 1小时前 charles

165 0 45

首 token 延迟降 3.25 倍！小红书联合北大、上交提出 HYPIC，让混合注意力大模型用上「位置无关缓存」

引言：随着 RAG（检索增强生成）和 Agent 成为大模型服务的主流形态，一条请求的 prompt 往往由几十到上百个独立文本片段拼接而成，长度动辄十万 token，prefill（预填充）阶段的算力开销成为服务成本与延迟的最大来源。业界为此发展出两条路线：一边是「位置无关缓存」（Position-Independent Caching, PIC），让共享片段的 KV 缓存可以在任意位置复用；另一边是「混合注意力」模型，用线性注意力（linear attention）替换大部分全注意力（full attention）层来压低算力复杂度。问题在于——两者无法共存：PIC 依赖的是逐 token 的 KV 缓存原语，而线性注意力层只暴露一个「整段压缩后的循环状态」，没有任何逐 token 的抓手。为此，小红书大模型推理团队联合北京大学、上海交通大学提出 HYPIC，这是首个在混合注意力大模型上实现位置无关缓存的服务系统。在 4 个生产级混合注意力模型、5 个工作负载上，HYPIC 将首 token 延迟（TTFT）平均降低 3.25 倍、同 SLO 下可持续 QPS 提升 1.66 倍，而任务质量与「完全重算」仅相差1.71 分。

论文标题：

HYPIC: Accelerating Hybrid-Attention LLM Serving with Position-Independent Caching

论文链接：

https://arxiv.org/abs/2607.01299

代码链接：

https://github.com/redai-infra/HYPIC

关键词：

大模型推理，位置无关缓存，混合注意力，线性注意力，KV Cache

大模型服务正从单轮聊天，转向检索增强问答、多文档摘要、长程 Agent 等新形态。这类负载有一个共同特征：prompt 由若干语义独立的片段拼装而成（检索到的文档、技能说明、记忆文件、历史轮次等），最终组装成数万乃至数十万 token 的超长上下文。

在这样的长度下，prefill 主导了单请求的算力开销，成为服务商最显著的成本来源之一；更糟的是，一旦发生缓存未命中（cache miss），尾部 TTFT 可高达数十秒，直接损害交互体验。

为压低这项成本，许多工作提出了位置无关缓存（PIC）：放开严格前缀约束，让每个语义独立的片段只缓存一次、可拼接到任意前缀之后，正好匹配 RAG / Agent 的 prompt 组装方式。现有 PIC 方法尽管策略各异，本质都归结为两个原语——沿 token 轴直接拼接的splice，以及重算少量 token 以恢复跨段上下文的 correction。

与此同时，模型架构也在变。线性注意力把注意力的二次复杂度降到线性，并将无界的 KV 历史压缩成一个固定大小的循环状态。近来的生产模型（如 MiniMax-M1、Ring-2.5、Qwen3.5、Kimi-Linear）并不完全抛弃全注意力，而是把 75% 以上的层线性化、保留少量全注意力层，形成混合注意力（Hybrid-Attention）这一主流设计。以 Qwen3.5-35B-A3B 为例，40 层里有 30 层是线性层。

冲突就此产生：现有 PIC 操作的是逐 token 的 KV 缓存，而线性注意力层只暴露一个 per-request 的循环状态——没有逐 token 的抓手可供 splice 或 correction。结果是，混合模型里的大部分层都落在了现有 PIC 的能力范围之外。在此之前，没有任何系统能为混合注意力大模型提供 PIC。

HYPIC 的核心思想，是针对混合注意力模型里两类层「分而治之」，再用一层系统级并行把冷请求也一并加速。它由三个环环相扣的机制组成。

2.1 线性层：缓存「转移算子」，实现常数时间的状态组合

对线性注意力层，最直接的 PIC 稻草人方案是把两段各自的「零初值末状态」直接相加。在朴素线性注意力下这恰好成立，但在带衰减、门控、delta 擦除的进阶线性注意力（RetNet、Mamba2、GLA、DeltaNet、GDN、KDA 等）下就会失效。

我们发现，真正被漏掉的是一个关键量——段累积转移算子（segment-cumulative transition operator）T_C，即一段内所有 token 转移矩阵的连乘。真实的末状态应为 S(C1·C2) = T(C2)·S(C1) + S(C2)，朴素相加恰恰丢掉了 T(C2) 这一项，导致结构性误差（实测 RetNet 慢衰减头在 256 token 时误差已达状态范数的 22%）。

关键洞察是：T_C 和零初值末状态 S(C|0) 都只由片段内部的 token 决定，与前缀无关。因此 HYPIC 在片段首次 prefill 时，把二元组 (T_C, S(C|0)) 一并缓存下来；复用时按组合律左乘 T_C、再相加，即可在常数时间内近乎精确地还原任意前缀下的末状态，且天然覆盖全部线性注意力家族。实测在 Qwen3.5-35B-A3B 上，组合后的状态在第 0 层与完全重算相差仅 6×10⁻⁵——落在 FP16 噪声内。

对于带因果卷积、带 RoPE 的变体，HYPIC 分别用「卷积状态热身」和「状态重旋转」两个补丁做了严格对齐。

2.2 全注意力层：用「缝合窗口」修复跨段注意力

混合注意力模型中少数的全注意力层仍需要 PIC，但以往工作的选择性重算无法直接迁移——因为下方的线性层只保留末状态，非末尾 token 无法向上穿过全注意力层。两种退路（逐 token 存循环状态、或从零重新递推）在存储或算力上都不可接受。

我们的观察是：KV 拼接后的偏差，高度集中在每个复用片段的开头，其余部分几乎不受影响（这与全注意力模型里的 attention sink 现象一致，并在混合注意力模型里同样成立）。

据此，HYPIC 为每个内部片段的开头 w 个 token构造一个缝合窗口（seam window）：缓存时这几个 token 不入缓存，复用时在完整前缀下重算它们，从而修复跨段注意力。默认 w=8——由于实际片段长度通常大于 512 token，缝合窗口只占极小一部分，重算开销可控。为支持段首 KV 重算，linear-attention 层在复用时需即时算出缝合窗口自身的 T 和 S，一边推进 running state，一边把每个 seam token 的逐层输出前传给上层的全注意力层。

2.3 段并行：把「长冷请求」变成可加速的负载

缓存未命中不可避免（语料持续更新、低频文档被淘汰），而长冷请求正是尾延迟的主因。现有系统仍把整条 prompt 当作一个整体、在单实例上串行 prefill 所有冷片段，TTFT 随 O(n·|C|) 增长；张量并行等实例内并行虽能加速单次前向，但扩展性有限（100k token 请求在 TP-8 下仍需 17.7 秒）。

但 PIC 已经让每个片段「自包含」——其 prefill 结果只由内部 token 决定。HYPIC 顺势提出段并行（Segment Parallelism）这一实例间并行方案：Router 探测每段命中状态，把冷片段并行分发给多个 scatter worker，再由一个 combine worker 把各段结果组装成完整运行状态。它把冷 prefill 从 O(n·|C|) 降到 O(⌈n/m⌉·|C|+c)。

为把这条路径跑满，HYPIC 还做了两件事：用LPT（最长处理时间优先）贪心策略均衡各 worker 负载；把每段的计算与传输流水线重叠，避免 combine worker 被同步的传输突发拖住。段并行与实例内并行（TP/DP/SP）作用在正交的轴上，可无缝叠加。

我们在 SGLang 上实现了 HYPIC（约 14k 行 Python / Triton），在 8×H20 节点上，选取 4 个生产级混合注意力模型（Ring-mini/flash-linear-2.0、Qwen3.5-35B-A3B / 122B-A10B）、4 个公开数据集（HotpotQA、TriviaQA、MultiNews、GovReport）与 1 条生产 RAG trace 进行评测。

端到端延迟与质量：全量预热后，HYPIC 相比 Prefix Cache 将 p50 TTFT 平均降低3.25 倍（各模型 2.77×–4.05×）；而任务质量几乎无损——16 个「模型×数据集」单元平均只落后完全重算 1.71 分，在 Qwen3.5-35B 上甚至反超 0.47 分。作为对照，不缓存转移算子的「朴素相加」直接损失了 66.9% 的分数，印证了 T_C 的必要性。

吞吐与 QPS：在生产 RAG trace 上，同 1 秒 TTFT SLO 下，HYPIC 把可持续 QPS 相比 Prefix Cache 提升 1.66 倍（1.49×–1.85×），峰值单卡吞吐提升约 1.3–1.5 倍。

段并行加速冷请求： 在纯冷未命中路径上，一条 32k token 请求的 TTFT 从单 worker 的 2.83 秒，降到 8 worker 的 0.49 秒——5.7 倍加速，且几乎全部收益来自可近线性扩展的 scatter 阶段；面对不均匀分片，LPT 相比 Round-Robin 把 TTFT 从 1.26 秒压到 0.84 秒（3.6× vs 2.4×）。

开销可控：构造 (T_C, S(C|0)) 的一次性开销，在最重的稠密转移模型上也仅为主前向的 5.2%–6.7%，且一次构造、多次复用摊薄。

HYPIC 首次把「位置无关缓存」带到了混合注意力大模型上：用缓存的段累积转移算子实现线性层的常数时间状态组合，用小小的缝合窗口修复全注意力层的跨段对齐，再用段并行把长冷请求也变成可加速的负载。它让 RAG / Agent 这类长上下文服务，在拥抱高效混合架构的同时，也能享受到片段级缓存复用的红利。

未来，我们将进一步探索分布式的位置无关缓存管理与调度、多级缓存分层管理，推动大模型推理向「更快、更省、更可扩展」持续演进。

我们是小红书大模型基建部（RAI Studio），负责公司级 AI 大模型全链路基础设施建设（Github主页https://github.com/redai-infra）。团队完整闭环「算力 - 框架 - 平台」，致力于解决产业级大模型生产效率问题，构建了 Relax RL训练框架、RedSlim 压缩工具、rLLM 推理框架、DirectLLM MaaS 系统和 QuickSilver 大模型平台等核心产品。我们致力于打造小红书面向 AI 时代的生产力底座，在训练、推理、压缩、MaaS、算力和 Agent 等方向持续建设领先、可靠、易用的 AI Infra 能力，让模型能力像水电一样稳定、普惠、低成本地服务社区、大商业、国际化、审核、企业智能等核心业务场景，并推动小红书在大模型 Infra 领域形成清晰的行业辨识度与长期技术影响力。

重点建设及探索方向：

长文多图千卡 RL 训练：面向长上下文、多模态与 Agentic 任务，探索万亿参数模型在千卡集群上的高稳定、高效率训练。
Agentic 长文高效推理：面向 DeepResearch、多轮 Agent 等复杂推理场景，优化 KV Cache、PD 分离、请求调度与端到端成本。
Efficient LLM 加速算法：探索量化、稀疏化、低秩压缩、蒸馏等技术，让大模型以更低显存、延迟和成本服务核心业务。
大模型 Token Hub：建设统一承载开源、商用、自研模型的公司级 MaaS 系统，实现多模型接入、智能路由与高可用服务。
AI Native 大模型平台：构建覆盖算力管理、大模型生产、Agent 开发、工具调用、应用编排与业务接入的 AI Native 一体化平台。
万卡集群异构算力调度：面向 GPU / NPU / 多地域多卡型环境，建设统一算力底座，探索万卡训推混部、弹性伸缩、潮汐调度技术。