这项由中国科学院自动化计议所、中国科学院大学与腾讯微信结伙完成的计议，于2026年5月发布在arXiv预印本平台，编号为arXiv:2605.06221。关于扫数使用过AI助手处理长篇文档、进行多轮对话或调用智能客服的东谈主来说，这项计议触及了一个每天齐在发生却鲜少被关爱的服从瓶颈。
每当你向一个AI助手粘贴一篇几万字的条约条目它摘录，或者条目它阅读一份长达百页的阐发后修起问题，AI在给出第一个字之前时常需要恭候非常长的时候。这段恭候时候在技艺上称为"首字延迟"（Time-To-First-Token，简称TTFT），它取决于AI处理你输入的全部内容需要多久。输入越长，恭候越久，这险些是铁律。计议团队将这个问题比作藏书楼里一位辛苦的管制员：不管你问什么问题，他齐要把藏书楼里每一瞥书架、每一册书、每一页纸齐认稳健真地翻阅一遍，才肯启齿修起。澄莹，如若管制员能聪惠地判断哪些书架根底与你的问题无关，跳过那些不紧要的部分，他给出谜底的速率就会大幅栽培。
UniPrefill恰是基于这一直观打算的框架。计议团队在实验中讲解，这套步调能让AI处理长文本的速率最高栽培2.1倍，况兼不会对修起质地变成彰着亏本。更关节的是，当同期有好多用户在使用褪色台AI干事器时，这个加快扫尾会变得愈加显赫——恰好对应了着实寰宇中AI干事最弥留的使用场景。
一、为什么"读完再说"会成为大问题
要会通这套步调的价值，需要先理解当代AI助手在处理长文本时究竟濒临如何的辩论挑战。刻下最主流的大型说话模子，其中枢辩论机制叫作念"自矜重力"（Softmax Self-Attention）。这个机制的责任边幅，不错用一场相配特殊的圆桌会议来类比：假定输入的每一个词齐是一位与会者，而"自矜重力"条目每位与会者在发言之前，必须与会议室里扫数其他东谈主齐捏一次手，充分了解相互的关系，才智决定我方说什么。这意味着与会者越多，捏手总次数就会以平方倍数暴增。输入1000个词时需要100万次捏手，输入10000个词时则需要1亿次捏手——辩论量呈爆炸式增长，恭候时候天然也随之急剧拉长。
面对这个问题，AI鸿沟的计议者们频年来开导出一批"搀和架构"模子，试图支配这种辩论包袱。一类作念法是将部分"全体捏手"层替换成服从更高的"线性轮回"层，让复杂度从平方级降回线性级；另一类作念法是让大多数层只与隔邻的邻居捏手，仅保留少数几个"全体捏手"的全局层来捕捉长距离信息。前者的代表是Qwen3-Next-80B-A3B这么的模子，后者的代表则是Gemma-3-12B。这些搀和打算大幅支配了表面辩论量，并已被多家主流厂商用于分娩级模子。
关联词，现存的加快步调却有一个根人性的局限：它们险些清一色地聚焦于优化"全体捏手"这一步，关于其他类型的辩论层目大不睹。以MInference、FlexPrefill、XAttention等代表性责任为例，它们通过识别矜重力矩阵中疏淡的、不错跳过的部分来提速，在纯全矜重力模子上如实能已毕惊东谈主的加快扫尾。但当这些步调被移植到搀和架构上时，问题就暴深切来了：在一个四层轮回中唯有一层是"全体捏手"层的模子里，即便把那一层的捏手加快到极致，其余三层的辩论时候仍是纹丝未动。就像一回包含飞机、火车和公路三段的资料旅程，你只优化了飞机这一段，对全体耗时的改善天然相配有限。实验数据也印证了这少量：在处理128K长度文本时，MInference在Gemma-3-12B上的加快倍数仅为1.03倍，险些莫得任何匡助。
与此同期，这些疏淡矜重力步调还有另一个硬伤：它们与工业级推理引擎的中枢调度机制不兼容。当代AI干事器使用一种叫作念"流畅批处理"（continuous batching）的计谋来同期干事多个用户——不同用户的肯求被打包在一起处理，就像一辆公交车一起高下乘客，而非每次只送一位乘客。FlexPrefill之类的步调假定每次只处理一个固定的肯求，无法妥当这种乘客随时高下车的动态场景，因此经久停留在计议原型阶段，从未信得过参预分娩环境。
二、藏书楼管制员的聪惠剪枝法
UniPrefill的中枢念念路不错用前边那位藏书楼管制员的比方来延迟会通。这位管制员目放学聪惠了：在运行稳健阅读之前，他先用一分钟快速扫一眼扫数书架，判断哪些区域根底和你的问题不要紧，然后顺利跳过那些区域，只稳健阅读信得过紧要的部分。更妙的是，一朝他决定跳过某个书架，这个决定对整栋藏书楼剩余的每一层楼齐成功——他不仅在刻下楼层跳过，后续扫数楼层也不异跳过阿谁书架。这么一来，省下的时候就不仅仅一层楼的扫描时候，而是扫数楼层重叠起来的省俭。
技艺层面，UniPrefill的运作边幅分为三个紧密衔尾的步调。
第一步叫作念"紧要性揣测"。每当处理到一个包含"全体捏手"的层时，系统不会坐窝让扫数词之间齐相互辩论，而是先只取输入序列末尾的一小部分词（默许取临了128个词）动作"发问者"，让这些发问者与序列中的扫数词作念一次快速捏手，得到一份初步的"紧要性分数"——即每个词关于生成下一个字来说简略有多紧要。这个操作的辩论量远小于齐备的全体捏手，因为发问者只占总词数的一小部分。
这里有一个值得极度确认的细节：UniPrefill的紧要性揣测与另一个广为东谈主知的步调SnapKV有名义上的相似之处，但两者的实质见地富有不同。SnapKV在处理完扫数这个词输入之后，才用这个评分来压缩后续生成阶段需要存储的缓存，并不减少处理输入时的辩论量；而UniPrefill是在处理输入的过程中就运用这个评分来决定跳过哪些词，省俭的是当下正在进行的无数辩论，两者根底不在褪色个时候点阐述作用。
第二步叫作念"Top-p词块筛选"。系统将扫数这个词输入序列按照固定大小（默许64个词一组）分红若干"词块"，并把刚才算出的紧要性分数在每个词块内取平均，得到每个词块的概括紧要性。然后，系统按照紧要性从高到低胪列这些词块，保留紧要性之和刚好达到总紧要性99%的最小词块聚合，其余词块一律丢弃。
之是以选拔"Top-p"而不是顺利保留固定数目的词块（即"Top-k"），有其深刻的统计原因。矜重力的分散因文本内容而异：未必高度蚁合在少数几个关节词上，未必则均匀分散在无数词语中。如若固定保留50个词块，在前一种情况下会保留无数无关内容，在后一种情况下则可能丢掉紧要信息。而Top-p会自动妥当：矜重力蚁合时保留少，矜重力分散时保留多，经久保证丢弃部分的矜重力质地占比不超越1%，形成一个严格的信息亏本上界。
此外，有两类词块不管评分险峻齐会被强制保留：序列最来源的128个词（这些词在矜重力机制中饰演特殊的"锚点"变装，AI计议者将其称为"矜重力千里淀"）和序列末尾的128个词（即刚才参与揣测的"发问者"自己）。
第三步叫作念"疏淡性跨层传播"。这是UniPrefill与扫数前代步调最实质的分离方位。被判定为不紧要而丢弃的词块，不仅在刻下这个"全体捏手"层被跳过，况兼在刻下层之后的扫数层——不管是线性轮回层、滑动窗口层，照旧前馈神经鸠合层——齐被永远性跳过，直到下一个"全体捏手"层再行作念一次评估为止。跳过的词的荫藏气象被冻结在丢弃时刻的数值，不再参与任何辩论，但会被保留住来传递给后续层，以便在需要时"回生"。
这个打算的辩论收益是重叠的：假定某次丢弃操作保留了60%的词，那么后续每一个辩论层齐只需要处理60%的词，省俭的辩论量与后续层数成正比。在一个有几十层的深度模子中，这意味着早一层作念出丢弃决定，就能省下更多的辩论资源。计议团队的表面分析也讲解，在序列极长的情况下，UniPrefill能省俭的辩论量与疏淡矜重力步调能省俭的辩论量之比，跟着序列长度的增长趋向无尽大——也即是说，文本越长，UniPrefill联系于疏淡矜重力步调的上风越悬殊。
三、把这套逻辑塞进工业级干事器
算法打算再精妙，如若无法在着实的分娩环境中运行，开云(中国)2026世界杯IOS/Android手机通用版app也仅仅一纸空文。计议团队在系统工程层面不异付出了无数致力，将UniPrefill深度集成进了目下工业界使用最平淡的推理引擎vLLM。
率先，整套紧要性揣测和词块筛选的经由被已毕为四个紧密交融的GPU辩论核（kernel），富有在显卡上实行，不需要在GPU和CPU之间往来传输数据。具体经由是：先辩论末尾128个词与扫数词的矜重力得分矩阵，然后用在线softmax算法对其归一化，接着在每个词块内作念空间团员得到词块级别的分数向量，临了用一个排序加阈值的操作细则保留哪些词块，生成一个二值掩码。
在处理多GPU并行辩论时，不同的GPU各自只负责部分矜重力头，因此每个GPU看到的紧要性分数仅仅一个局部视角。计议团队的处置决策是在作念筛选决定之前，先把扫数GPU的局部分数加总，得到全局分数，再作念结伙的筛选。这么能确保扫数GPU关于哪些词块该留、哪些词块该丢，达成富有一致的决定，幸免出现"张三留着第5号词块、李四却丢掉了第5号词块"这种繁杂场合。
更复杂的问题在于如何与vLLM的流畅批处理调度器协同责任。vLLM会同期处理多个用户肯求，不同肯求被打包成一个批次，用一套结伙的数据结构管制扫数词的位置信息、KV缓存（即AI存储已处理词的"记挂"）的物理地址、每个肯求的序列长度等等。当UniPrefill丢弃了某些词之后，这套数据结构中的每一项齐需要相应更新，不然后续辩论就会出错。
计议团队为此打算了缜密的气象休养机制。每次发生丢弃操作时，系统会记载下丢弃发生的层编号和丢弃后保留的词数，形成一份"丢弃历史账单"。在随后的生成阶段，AI需要回头查阅我方在处理输入时写下的"记挂"（KV缓存），此时系统会笔据这份账单，告诉每一层它在处理输入时施行写入了些许条记挂——因为不同的层写入的记挂条数可能不同，全局矜重力层和滑动窗口矜重力层管制的缓存致使相互孤立。这扫数这个词过程不需要修改模子权重，也不需要篡改vLLM底层的内存分派器，不错像一个透明的加快插件一样无缝镶嵌。
四、在着实测试中的阐扬究竟如何
计议团队选定了一个名为RULER的长文本会通基准测试来评估UniPrefill的质地，同期在vLLM框架内测量了施行的处理速率。RULER粉饰了检索、多跳推理、信息团员、问答等多种任务类型，高下文长度从4K膨胀到128K，被合计是目下评估长文本AI智商最全面的测试之一。
在三个模子上，UniPrefill的阐扬齐彰着优于其他加快步调所能达到的最好精度-速率衡量点。以纯全矜重力架构的LLaMA-3.1-8B为例，在128K高下文长度下，UniPrefill的RULER分数为79.87，与未加快的基准版块76.89比较致使略有栽培（这是因为保留了最紧要的词之后，矜重力反而愈加聚焦），同期已毕了2.26倍的首字延迟裁汰。比较之下，LazyLLM在不异长度下分数跌至49.71，精度亏本惨烈；MInference天然保住了78.21的分数，但加快倍数仅为1.34倍。
在搀和架构模子上，UniPrefill的上风愈加杰出。关于Qwen3-Next-80B-A3B（线性与全矜重力以3:1搀和），MInference在128K上的加快倍数唯有1.05倍，而UniPrefill达到了1.68倍。关于Gemma-3-12B（滑动窗口与全矜重力以5:1搀和），MInference的加快倍数仅1.03倍，UniPrefill则达到1.49倍。这印证了计议团队的中枢判断：当全矜重力层在模子中的占比越来越小时，只优化矜重力层的步调效益越来越差，而UniPrefill的跨层疏淡传播机制让它在这些场景下仍然灵验。
在vLLM内的隐晦量测试则展示了另一个维度的加快效益。单用户使用128K文本时，LLaMA-3.1-8B的处理隐晦量从21013个词每秒栽培到43672个词每秒，栽培幅度达107%。当同期有16个用户时，栽培幅度进一步扩大到109%。Qwen3-Next-80B-A3B在128K单用户场景下栽培48%，16用户场景下栽培68%。Gemma-3-12B的栽培幅度相对较小，128K单用户42%，这与它的架构中全矜重力层占比最低（仅六分之一）顺利干系。
一个略显反直观的景观是，在极短的文本（4K）和极小的批次（单用户）下，Qwen3-Next-80B-A3B的隐晦量反而下跌了3%到5%。计议团队对此的解释是：在极漫笔本中，险些莫得什么词块能被信得过丢弃，紧要性揣测自己的辩论支出反而成为了非凡包袱。这确认UniPrefill的上风区间主要在长文本和多用户并发场景下——而这恰好是分娩环境中最常见、最进击的情形。
五、微调参数时的端正与弃取
计议团队还系统地测试了两个关节超参数对性能的影响，提供了选拔它们时的直不雅依据。
词块大小G截至了丢弃操作的粒度，不错会通为藏书楼管制员每次跳过的最小单元是"一层书架"照旧"一瞥书架"。G=64（默许值）是精度与速率之间的均衡点。G=32（更缜密）能让管制员跳过更小的单元，在长文本下丢掉更多不紧要的内容，但判断自己的辩论支出也更大；G=128（更粗粒度）相宜漫笔本，判断快但机动性低。实验数据自大，G=32在LLaMA-3.1-8B的128K场景下能达到121%的隐晦量栽培，代价是4K场景下精度从96.53略降至93.42。
末尾查询数目n决定了紧要性揣测时"发问者"的数目。n过少时（n=32），用于揣测的样本太少，揣测扫尾方差大，容易误判紧要性，RULER平中分从90.45下滑至87.77。n过多时（n=512），揣测精度栽培但辩论支出也随之加多。n=128在精度与支出之间达到最优，成为默许建筑。
说到底，UniPrefill作念的事情并不复杂：它让AI在稳健处理输入之前，先作念一次快速的"紧要性预扫描"，然后在接下来的每一层辩论中，齐只处理那些信得过巧得关爱的部分。这个念念路的好意思妙之处在于，它绕开了"只可加快矜重力层"的局限，把一次判断的收益扩散到了扫数这个词模子的扫数层，在搀和架构模子上仍是奏效。而通过与vLLM的深度集成，这套步调得以在着实的多用户干事场景中施交运行，而非停留在实验室阶段。
关于普通用户而言，这意味着明天使用AI处理长篇文档时，恭候第一个字出现的时候有望裁汰一半致使更多，尤其是在干事器勤苦、同期有好多东谈主在使用的时候。关于AI干事提供商而言，不异的硬件资源不错干事更多用户，或者在不加多干事器的前提下救济更长的输入文本。
天然，这项计议也坦承我方的领域：UniPrefill目下专注于"读入阶段"的加快，关于AI生成每一个字的"输出阶段"，以及模子熟悉自己的服从，目下尚未波及，计议团队将其列为明天的探索标的。有钦慕深入了解技艺细节的读者，不错通过arXiv编号2605.06221查阅齐备论文，代码已在GitHub开源。
Q&A
Q1：UniPrefill是如何决定哪些词不错被跳过的？
A：UniPrefill在每个全矜重力层处，先用序列末尾的128个词快速扫描扫数这个词输入，为每个词块打出一个紧要性分数，然后保留紧要性之和达到99%的最小词块聚合，其余全部跳过。序列来源的128个词和末尾的128个词不管分数险峻齐会被强制保留。
Q2：UniPrefill加快长文本处管待不会让AI的修起质地变差？
A：在RULER长文本基准测试中，UniPrefill与不加快的基准版块比较，精度亏本极小，部分情况下致使略有栽培。比较之下，LazyLLM和SlimInfer等其他加快步调在同等加快比下会出现彰着的精度下跌。
Q3：UniPrefill对搀和架构模子（比如Qwen3或Gemma-3）灵验吗？
A：灵验，况兼这恰是UniPrefill的中枢上风方位。由于UniPrefill会将丢弃决定传播到全矜重力层之后的扫数层（包括线性层、滑动窗口层和前馈层），它在搀和架构上仍是能取得可不雅的加快开云(中国)2026世界杯IOS/Android手机通用版app，而纯疏淡矜重力步调在这类模子上加快扫尾时常不及1.1倍。
BG真人(BigGaming)官方网站
