并行KV Cache压缩支持的128K【长度外推】方法:Paralle!!lComp

2025-07-27 03:17:04      来源:南方周末

作者熊璟,香港大学一年级博士生,师从黄毅教授和孔令鹏教授。已在ICLR、ICML、NeurIPS、ACL、EMNLP、TMLR等顶级会议/期刊发表论文,研究方向为高效大语言模型推理与自动定理证明。担任NAACL、EMNLP、ACL、ICML、ICLR、NeurIPS、COLING等会议审稿人。个人主页:https://menik1126.github.io/

引言:大模型长文本推理的瓶颈与突破

随着大语言模型(LLMs)能力日益提升,AI对超长文本的理解和处理需求也变得前所未有地重要。然而,目前主流LLM虽然依赖旋转位置编码(RoPE)等机制,在训练阶段能高效处理4K-8Ktokens级别的上下文,但一旦推理阶段外推遇到如128K以上长度的长文本时,模型往往受到显存瓶颈的限制和注意力下沉(attentionsink)等问题影响,采用常规的文本截断方案容易出现信息遗失,这极大限制了大模型在实际场景中的应用拓展。

业界目前尝试的处理长文本的高效推理主要的瓶颈有两个,一个是位置编码的长度外推,再一个是长度外推中的内存瓶颈。

目前的位置编码包括两类:一是基于频率区分的NTK插值方法,为不同频段位置编码设计专属策略以试图拓展长度上限;二是各种分块(chunking)方法,将文本切分、块内复用位置编码,避免重新训练的高昂成本。在处理超长上下文(>128K)外推时,两种方案的优劣仍是未知的。

在解决显存瓶颈时,普遍采用了KVcache压缩的方案,并且一些方案发现在传统自回归场景下的注意力普遍遭遇了“注意力下沉”(AttentionSink)现象影响——模型的注意力极易集中在文本首尾,如果加以合理利用可以提升模型性能,但在并行注意力下的注意力下沉的机制是仍待探索的。

图1:标准Attention和并行Attention机制下的注意力分布虽然有所不同,但都容易陷入这种“塌缩”状态。而并行注意力机制在极长文本中产生的多峰新型“sink”现象,尚缺乏系统剖析与有效解决之道。

我们的创新:ParallelComp,高效超长文本推理新范式

针对上述问题,我们提出了一种全新的训练免调(Training-Free)长文本处理方案——ParallelComp,其核心包括并行Attention分块、KV缓存智能淘汰与注意力偏差校准三大技术创新。

论文标题:ParallelComp:ParallelLong-ContextCompressorforLengthExtrapolation

论文链接:https://arxiv.org/abs/2502.14317

代码链接:https://github.com/menik1126/ParallelComp

图2:ParallelComp整体流程示意图

1.并行分块注意力,让超长文本“轻松分段消化”

首先,ParallelComp借鉴并拓展了分块思想,将输入长文本按模型最大处理长度自动切分为若干块(chunk),并与查询一起并行输入模型进行本地Attention计算。这样不仅可以获得块内的注意力分布,还可以通过块的位置编码重用机制可以让模型灵活外推至128K级别的序列长度而性能无明显损失。(见图2)

2.双重淘汰机制,极致压缩显存消耗

分块淘汰(ChunkEviction):基于每个块内部token对查询的“自信息量”进行在线打分,仅保留信息量最高、对当前任务最相关的一部分文本块,极大缩减内存开销。

KV缓存淘汰(ParallelKVCacheEviction):采用高效的FlashAttention推断算法,动态评估每个token在Attention计算中的全局重要性,自动驱逐影响较小的token,实现了分块粒度的KV缓存智能压缩。

通过这两项机制,全流程推理所需显存可以压缩到64G,且基于并行预填充过程即可完成高达128K长度推理任务,显著提升Batchinference和多GPU设置下的推理效率。

图3:三类典型注意力偏置分布案例(U型、山峰型、均匀型)

图4:几种KVcache驱逐策略后的模型的分布

3.注意力偏差校准,攻克并行下的多峰“sink”现象

通过理论分析与大量可视化实证,我们发现并行分块机制下,不同于经典的U型AttentionSink,容易出现多峰、区域性异常(见图3、图4)。为此,我们提出在Attention分布中对异常高分token实施“偏差校准”——分层驱逐被极端关注的token,使Attention分布趋于平滑,极大降低了模型关注“死角”和信息遗漏风险。

进一步的分层实验揭示,不同类型注意力偏差(“首段偏置”“尾段偏置”“中部塌缩”)可分别通过不同深度层的token淘汰策略加以缓解,为长文本推理设计提供了细致化的实操指引。

一个有趣的观察是有些特定层的注意力偏差对模型的上下文学习能力和推理能力至关重要。

i)浅层(第1-8层)的首段偏置对于检索类任务至关重要。去除这些token会显著削弱模型性能。

ii)深层(第9-16层)的尾段偏置在模型推理能力中起到关键作用。淘汰这些token会导致编码和数学任务的性能下降。

iii)浅层的中部偏置(第1-8层)会损害模型的理解能力,淘汰这些token反而能够提升模型表现。而深层的中部偏置(第24-31层)有助于模型在阅读理解任务(如En.MC)中的能力,去除它们会降低模型表现。

iv)早期层(第1-8层)的尾段偏置对于模型的上下文学习能力同样非常重要。

理论与实验分析

我们的理论分析表明,并行Attention下“稀疏性”与“有效信息量”之间存在量化可控的门槛。随着chunk数量增多和长度变长,Attention大概率只会专注于极少数token。合理选择稀疏参数、分层校准策略,可在计算效率与信息保真度之间取得最优平衡。

表2:在longbench上的性能。

表3:在infinitebench上的性能。

表4:PPL的性能

表5:加速比和性能分析

大规模实验显示,ParallelComp在A100-80GB单卡环境中,模型推理长度从8K无缝外推至128K,prefilling阶段加速高达23.5倍;使用仅8B参数、且仅在8K上下文训练的小模型即可在超长文本任务中整体性能达到GPT-4o性能的91.17%,在特定任务下可以超过GPT-4o的性能,甚至超过Claude-2和Kimi-Chat等高参数闭源大模型。这一成果充分证明,我们的方法不仅适用于算力受限场景,更为LLM实际落地部署带来了崭新范式。

结论与展望

ParallelComp为长文本推理时代的LLM结构创新带来了“多快好省”的系统级跃升——无需新训练、仅借助智能分块和淘汰机制,即可极大提升处理长度、效率,并摆脱原有的注意力失衡难题。我们期待该方法未来在法律文档、医学文献、长篇小说等需求复杂的产业应用中进一步开花结果。

  靳东,1976年出生于山东省,毕业于中央戏剧学院,国家一级演员,曾获得“青年五四奖章”先进个人、“全国德艺双馨电视艺术工作者”等荣誉称号。他还是第十四届全国政协委员。

责编:吕天茹编辑

利剑玫瑰

  第三,新的台行政机构刚上路,即遇上立法机构改革风暴,尚无亮丽表现。再加上若干“部会”状况不少,屡成媒体议论焦点,如台内务主管部门、经济主管部门、“海委会”等。

孙杨回应在闲鱼买手办被认出

  据国际网球联合会发布的《2021年全球网球报告》,2021年全球参与网球运动的人口有8718万人,中国以1992万人成为全球网球参与人数排名第二的国家,仅次于美国,占全球总网球人口的22.9%。同时,中国网球场的数量也为全球第二,达49767个。网球教练则以11350人位居全球第五。

大补货后黄牛发声

  兰州和乌鲁木齐之前都只有一条跑道,因起降架次多,乌鲁木齐一直是国内最繁忙的单跑道机场之一。扩建后可以极大缓解这几座机场的现有压力。

女大学生失联近天家属最新发声

  反观乌鲁木齐,偏居西北一隅的位置,为向西开放提供了便利。李瀚明指出,与乌鲁木齐类似的其实是哈萨克斯坦阿拉木图,两座城市都位于亚欧航路的中间点。利用空客A321XLR这样的远程窄体机,阿拉木图成功开航伦敦。在国内,乌鲁木齐是唯一一个用窄体机能直飞欧洲的航空枢纽。

宋威龙鼻子女娲捏了两次

  6月13日9时,国家防总针对广西、福建启动防汛四级应急响应,派出两个工作组分赴广西、福建协助指导;新增针对河北、内蒙古启动抗旱四级应急响应,并继续维持针对河南、山东的抗旱四级应急响应,两个工作组正在两省协助指导。

小米总裁回应去美的学习

  王一新严重违反党的政治纪律、组织纪律、廉洁纪律和生活纪律,构成严重职务违法并涉嫌受贿犯罪,且在党的十八大后不收敛、不收手,性质严重,影响恶劣,应予严肃处理。依据《中国共产党纪律处分条例》《中华人民共和国监察法》《中华人民共和国公职人员政务处分法》等有关规定,经中央纪委常委会会议研究并报中共中央批准,决定给予王一新开除党籍处分;由国家监委给予其开除公职处分;终止其黑龙江省第十三次党代会代表资格;收缴其违纪违法所得;将其涉嫌犯罪问题移送检察机关依法审查起诉,所涉财物一并移送。/p>

小米总裁回应去美的学习

  国家体育总局体育文化与体育宣传发展战略研究中心高端智库骨干专家、广州体育学院教授曾文莉告诉《环球时报》记者,体育具有较强的杠杆效应,以体育赛事表演为杠杆,能撬动城市基建、旅游、文化等,激活体育消费热情,推动体育产业能级提升,而这个杠杆的原动力主要是运动员尤其是明星运动员。/p>

李一桐请喝水的漂亮姐姐

  [环球时报综合报道]“一段时间以来,比亚迪、吉利等中国自主品牌的崛起给不少外国汽车品牌带来压力。”美国CNBC网站18日报道称,美银证券汽车产业分析师约翰·墨菲当天在美国汽车媒体协会有关活动中表示,美国底特律三巨头(即通用汽车、福特汽车和斯特兰蒂斯)应“尽快”退出中国市场。他同时警告说,美国三大车企需要采取更严厉的措施削减开支,尤其是在内燃机业务方面,因为这是目前利润的主要来源。