📢 新闻

🎉 [2024-07-23] 项目启动 🥳

📜 通知

本仓库持续更新中 🤗 ...

您可以直接点击标题跳转至对应的PDF链接位置

⚙️ 项目

1. kvpress. NVIDIA.

• 本仓库实现了多种KV缓存剪枝方法，并使用🤗 transformers进行基准测试。

2. KVCache-Factory.

• 面向自回归模型的统一KV缓存压缩方法。

📷 调查

1. 降低成本：LLM KV缓存消耗优化方法综述。 罗世和、张洪毅、姚瑶、李祖超、赵海。 COLM 2024。

2. 大型语言模型的提示压缩：综述。 李宗谦、刘银红、苏一轩、奈杰尔·科利尔。 Arxiv 2024。

3. 基于KV缓存管理的大型语言模型加速综述。 李浩洋、李一鸣、田安欣、唐天浩、徐占超、陈雪佳、妮可·胡、董伟、李青、陈磊。 Arxiv 2024。

🔍 方法

1️⃣ 剪枝 / 驱逐 / 稀疏

1. 剪刀手：利用重要性假设的持久性进行LLM KV缓存测试时压缩。 刘子畅、阿迪蒂亚·德赛、廖方硕、王伟涛、维克多·谢、徐兆卓、阿纳斯塔西奥斯·基里利迪斯、安舒马利·施里瓦斯塔瓦。 NeurIPS 2023。

2. SnapKV：LLM在生成前就知道你在找什么。 李宇鸿、黄英兵、杨博文、巴拉特·文基特什、阿西尔·洛卡泰利、叶汉晨、蔡天乐、帕特里克·刘易斯、陈德明。 Arxiv 2024。

3. H2O：用于高效生成式推理的大型语言模型重击者Oracle。 张振宇、盛颖、周天义、陈天龙、郑连敏、蔡瑞思、宋赵、田远东、克里斯托弗·雷、克拉克·巴雷特、王张阳、陈贝蒂。 NeurIPS 2023。

4. 模型告诉你该丢弃什么：LLM的自适应KV缓存压缩。 葛素玉、张云楠、刘丽媛、张敏嘉、韩家伟、高建峰。 ICLR 2024。

5. PyramidInfer：面向高吞吐量LLM推理的金字塔KV缓存压缩。 杨东杰、韩晓东、高燕、胡耀、张士林、赵海。 ACL 2024。

6. PyramidKV：基于金字塔式信息漏斗的动态KV缓存压缩。 蔡泽凡、张一驰、高博飞、刘宇梁、刘天宇、陆克明、熊韦恩、董悦、常宝宝、胡俊杰、肖文。 Arxiv 2024。

7. Transformer是多状态RNN。 奥伦·马塔内尔、迈克尔·哈西德、尼尔·亚登、约西·阿迪、罗伊·施瓦茨。 Arxiv 2024。

8. 带有注意力汇流的高效流式语言模型。 肖光轩、田远东、陈贝蒂、韩松、刘易斯。 ICLR 2024。

9. 一种简单而有效的基于L2范数的KV缓存压缩策略。 德沃托、赵宇、斯卡达帕内、米内尔维尼。 EMNLP 2024。

10. 检索头从机制上解释了长上下文的事实性。 吴文浩、王一忠、肖光轩、彭浩、傅瑶。 Arxiv 2024。

11. 高效的稀疏注意力需要自适应的标记释放。 张朝然、邹立新、罗丹、唐敏、罗向阳、李子豪、李晨亮。 ACL 2024。

12. Loki：用于高效稀疏注意力的低秩密钥。 普拉杰瓦尔·辛加尼亚、西达尔特·辛格、施怀·何、索海尔·费齐、阿比纳夫·巴特勒。 Arxiv 2024。

13. 用更少获得更多：通过KV缓存压缩合成递归以实现高效LLM推理。 董哈利、杨心雨、张振宇、王张阳、迟月洁、陈贝蒂。 Arxiv 2024。

14. ALISA：通过稀疏感知的KV缓存加速大型语言模型推理。 赵友鹏、吴迪、王军。 ISCA 2024。

15. Keyformer：通过关键令牌选择实现KV缓存缩减，以提升生成式推理效率。 穆罕默德·阿德南、阿希尔·阿伦库马尔、高拉夫·贾因、普拉桑特·J·奈尔、伊利亚·索洛维伊奇克、普鲁索塔姆·卡马斯。 Arxiv 2024年。

16. Ada-KV：通过自适应预算分配优化KV缓存驱逐，以提升LLM推理效率。 袁峰、吕俊林、曹宇坤、谢希科、S·凯文·周。 Arxiv 2024年。

17. 注意力分数并非KV缓存缩减中衡量标记重要性的唯一指标：价值同样重要。 郭志宇、上井秀隆、渡边太郎。 Arxiv 2024年。

18. 关于键值约束下生成式语言模型推理中驱逐策略的有效性。 任思宇、朱凯尼·Q。 Arxiv 2024年。

19. CORM：基于近期消息的缓存优化，用于大语言模型推理。 戴金成、黄卓伟、姜海云、陈晨、蔡登、毕伟、史淑明。 Arxiv 2024年。

20. RazorAttention：通过检索头实现高效的KV缓存压缩。 唐汉林、林阳、林静、韩庆森、洪世宽、姚一武、王功义。 Arxiv 2024年。

21. A2SF：在Transformer解码器中引入遗忘因子的累积注意力评分机制，用于标记剪枝。 赵贤来、申东坤。 Arxiv 2024年。

22. Quest：面向高效长上下文LLM推理的查询感知稀疏化。 唐家铭、赵一龙、朱侃、肖广轩、巴里斯·卡西克奇、韩松。 ICML 2024年。

23. LazyLLM：用于高效长上下文LLM推理的动态标记剪枝。 傅启辰、赵敏锡、托马斯·梅尔斯、萨钦·梅赫塔、穆罕默德·拉斯泰加里、马赫亚尔·纳吉比。 Arxiv 2024年。

24. NACL：一种通用且高效的LLM推理时KV缓存驱逐框架。 陈一龙、王国霞、商俊远、崔诗瑶、张振宇、刘廷文、王硕焕、孙宇、于殿海、吴华。 ACL 2024年。

25. 训练后双重稀疏化的稀疏注意力。 杨硕、盛颖、约瑟夫·E·冈萨雷斯、伊翁·斯托伊卡、郑连民。 Arxiv 2024年。

26. 告别长度外推：有限注意力范围下的无训练无限上下文。 刘晓然、郭启鹏、宋玉荣、刘志耿、吕凯、闫航、李琳琳、刘群、邱希鹏。 Arxiv 2024年。

27. 动态内存压缩：为LLM加速推理而进行的改造。 皮奥特尔·纳夫罗特、阿德里安·兰丘茨基、马尔钦·霍霍夫斯基、大卫·塔尔扬、爱德华多·M·蓬蒂。 ICML 2024年。

28. MInference 1.0：通过动态稀疏注意力加速长上下文LLM的预填充。 江辉强、李宇成、张成瑞东、吴千慧、罗旭芳、安素仁、韩振华、阿米尔·H·阿卜迪、李东升、林钦佑、杨宇清、邱丽丽。 NeurIPS 2024年。

29. 用于高效且可解释的自回归Transformer的动态上下文剪枝。 索蒂里斯·阿纳格诺斯提迪斯、达里奥·帕夫洛、卢卡·比吉奥、洛伦佐·诺奇、奥雷利安·卢奇、托马斯·霍夫曼。 NeurIPS 2023年。

30. RetrievalAttention：通过向量检索加速长上下文LLM推理。 刘迪、陈萌、陆宝彤、江辉强、韩振华、张千曦、陈琪、张成瑞东、丁白露、张凯、陈晨、杨凡、杨宇清、邱丽丽。 Arxiv 2024年。

31. Sirius：用于高效LLM的上下文稀疏化与修正。 周洋、陈卓明、徐兆卓、林维多利亚、陈蓓蒂。 Arxiv 2024年。

32. Inf-MLLM：单GPU上多模态大语言模型的高效流式推理。 宁振宇、赵洁茹、金启浩、丁文超、郭敏怡。 Arxiv 2024年。

33. 大语言模型中的无训练激活稀疏化。 詹姆斯·刘、普拉加什·波努萨米、蔡天乐、郭汉、金允、本·阿提瓦拉特昆。 Arxiv 2024年。

34. KVPruner：用于更快速、更省存的大语言模型结构化剪枝。 吕博、周权、丁宣昂、王岩、马泽明。 Arxiv 2024年。

35. CritiPrefill：基于分段关键性评估的LLM预填充加速方法。 吕俊林、袁峰、谢希科、贾欣、彭启荣、谢贵明。 Arxiv 2024年。

36. 发掘早期层中的精华：通过将输入标记减少1000倍加速长上下文LLM。 石珍美、明一飞、阮宣菲、梁英宇、乔蒂·沙菲克。 Arxiv 2024年。

37. KV-Compress：按每个注意力头采用可变压缩率的分页KV缓存压缩。 艾萨克·雷格。 Arxiv 2024年。

38. InfiniPot：在内存受限的LLM上实现无限上下文处理。 金敏洙、沈九鸿、崔正旭、昌思明。 EMNLP 2024年。

39. Locret：通过训练好的保留头增强长上下文大语言模型推理中的逐出机制。 黄宇翔、袁斌航、韩旭、肖朝军、刘知远。 Arxiv 2024年。

40. SparseVLM：用于高效视觉-语言模型推理的视觉标记稀疏化。 张元、范春凯、马俊鹏、郑文钊、黄涛、程宽、丹尼斯·古多夫斯基、奥久野智之、中田洋平、库尔特·科伊策、张尚航。 Arxiv 2024年。

41. LoCoCo：在卷积中引入丢弃以实现长上下文压缩。 蔡瑞思、田远东、王章阳、陈蓓迪。 ICML 2024年。

42. DuoAttention：通过检索与流式头实现高效的长上下文大语言模型推理。 肖广轩、唐嘉明、左静薇、郭俊贤、杨尚、唐浩天、傅瑶、韩松。 Arxiv 2024年。

43. SimLayerKV：一种用于层级KV缓存缩减的简单框架。 张璇、杜存孝、杜超、庞天宇、高伟、林敏。 Arxiv 2024年。

44. 基于注意力门控的LLM上下文内KV缓存逐出。 曾子豪、林博凯、侯天琪、张浩、邓志杰。 Arxiv 2024年。

45. CacheGen：用于快速大型语言模型服务的KV缓存压缩与流式处理。 刘宇涵、李汉臣、程一华、西达特·雷、黄宇扬、张启正、杜坤泰、姚佳怡、陆珊、加内什·阿南塔纳拉亚南、迈克尔·梅尔、亨利·霍夫曼、阿里·霍尔茨曼、江俊辰。 ACM SIGCOMM 2024年。

46. MagicPIG：用于高效LLM生成的LSH采样。 陈卓明、萨杜坎·拉纳乔伊、叶子豪、周洋、张建宇、尼克拉斯·诺尔特、田远东、马蒂伊斯·杜泽、莱昂·博托、贾志浩、陈蓓迪。 Arxiv 2024年。

47. TidalDecode：利用位置持久化稀疏注意力实现快速且准确的LLM解码。 杨立杰、张志浩、陈卓夫、李子坤、贾志浩。 Arxiv 2024年。

48. ShadowKV：用于高吞吐量长上下文LLM推理的影子KV缓存。 孙汉石、常丽雯、鲍文蕾、郑思泽、郑宁欣、刘欣、董哈里、迟月洁、陈蓓迪。 Arxiv 2024年。

49. BUZZ：蜂巢结构的稀疏KV缓存结合分段重头，用于高效LLM推理。 赵俊奇、方志金、李树、杨少辉、何世超。 Arxiv 2024年。

50. CItruS：针对长序列建模的分块指令感知状态逐出机制。 白宇、邹希源、黄赫燕、陈三兴、马克-安托万·隆多、高阳、张杰基。 EMNLP 2024年。

51. TokenSelect：通过动态的标记级KV缓存选择实现LLM的高效长上下文推理与长度外推。 吴伟、潘卓石、王超、陈立义、白云初、傅坤、王政、熊辉。 Arxiv 2024年。

52. Recycled Attention：用于长上下文语言模型的高效推理。 徐芳媛、戈雅尔·坦娅、崔恩瑟尔。 Arxiv 2024年。

53. VL-Cache：用于加速视觉-语言模型推理的稀疏与模态感知KV缓存压缩。 涂德展、瓦什切连科·达尼洛、卢宇哲、徐盼盼。 Arxiv 2024年。

54. Squeezed Attention：加速长上下文LLM推理。 胡珀·科尔曼、金世勋、穆罕默德扎德·希瓦、马赫斯瓦兰·莫尼什瓦兰、朴俊、迈克尔·W·马霍尼、库尔特·科伊策、阿米尔·戈拉米。 Arxiv 2024年。

55. ArkVale：通过可召回的键值逐出实现高效的生成式LLM推理。 陈仁泽、王卓峰、曹蓓泉、吴通、郑思泽、李秀红、魏学超、严生恩、李萌、梁云。 NeurIPS 2024年。

56. 并非所有头都重要：一种集成检索与推理的头级KV缓存压缩方法。 傅瑶、蔡泽凡、阿贝德尔卡迪尔·阿西、韦恩·雄、董岳、肖文。 Arxiv 2024年。

57. [CLS] 注意力就是训练-free视觉标记修剪所需的一切：让VLM推理更快。 张启哲、程傲松、陆明、卓志勇、王敏琦、曹家俊、郭绍波、佘奇、张尚航。 Arxiv 2024年。

58. Fit and Prune：用于多模态大型语言模型的快速且无需训练的视觉标记修剪。 叶伟浩、吴琼、林文浩、周依依。 Arxiv 2024年。

59. ClusterKV：在语义空间中操控LLM KV缓存以实现可召回的压缩。 刘广达、李成伟、赵洁茹、张晨琪、郭敏仪。 Arxiv 2024年。

60. 用LeanKV统一大型语言模型的KV缓存压缩。 张艳琪、胡宇威、赵润元、刘约翰·C.S.鲁伊、陈海波。 Arxiv 2024年。

61. DynamicKV：面向长上下文大模型的任务感知自适应KV缓存压缩。 周侠斌、王文彬、曾敏燕、郭家贤、刘学波、沈立、张敏、丁亮。 Arxiv 2024年。

62. SCOPE：优化长上下文生成中的键值缓存压缩。 吴家龙、王正林、张林海、赖一龙、何玉兰、周德宇。 Arxiv 2024年。

63. HashEvict：一种基于局部敏感哈希的预注意力KV缓存驱逐策略。 刘明辉、塔赫辛·拉巴尼、托尼·奥哈洛伦、阿南特·桑卡林加姆、玛丽-安妮·哈特利、布赖恩·格拉维尔、黄福荣、科妮莉亚·费尔穆勒、伊安尼斯·阿洛伊莫诺斯。 Arxiv 2024年。

64. SepLLM：通过将一个片段压缩为一个分隔符来加速大语言模型。 陈国轩、史翰、李嘉伟、高逸航、任晓哲、陈怡萌、姜鑫、李振国、刘伟洋、黄超。 Arxiv 2024年。

65. MiniKV：通过2比特层判别式KV缓存突破大语言模型推理极限。 阿克沙特·夏尔马、丁航梁、李建平、尼尔·达尼、张敏佳。 Arxiv 2025年。

66. FastKV：基于令牌选择性传播的快速长上下文处理KV缓存压缩。 赵东元、宋智媛、金玉花、金在俊。 Arxiv 2025年。

67. ChunkKV：语义保持的KV缓存压缩，用于高效长上下文大语言模型推理。 刘翔、唐振恒、董培杰、李泽宇、李博、胡旭明、楚晓雯。 Arxiv 2025年。

68. LServe：基于统一稀疏注意力的高效长序列大语言模型服务。 杨尚、郭俊贤、唐浩天、胡庆浩、肖光轩、唐家铭、林宇军、刘志坚、陆瑶、韩松。 MLSys 2025年。

69. RocketKV：通过两阶段KV缓存压缩加速长上下文大语言模型推理。 贝赫纳姆·帕伊曼、傅耀生、赵 Ritchie、蔡博安、于志鼎、阿列克谢·图马诺夫。 Arxiv 2025年。

70. Dynamic-LLaVA：通过动态视觉—语言上下文稀疏化实现高效的多模态大语言模型。 黄文轩、翟子杰、沈云航、曹少胜、赵飞、徐向峰、叶哲宇、林绍辉。 ICLR 2025年。

71. DBudgetKV：在KV缓存压缩中动态预算以确保最佳性能。 倪宣凡、徐丽艳、吕晨阳、王龙悦、余墨、刘乐茂、孟凡东、周洁、李皮吉。 Arxiv 2025年。

72. 无限制对话：用于大语言模型扩展回复的恒定大小KV缓存。 拉维·加迪亚、阿维纳什·库马尔、高拉夫·贾因、普拉桑特·奈尔、保拉米·达斯。 ICML 2025年。

73. MEDA：用于高效多模态长上下文推理的动态KV缓存分配。 万中伟、沈慧、王欣、刘彻、麦哲达、张密。 NAACL 2025年。

74. KVCrush：利用头部行为相似性进行键值缓存尺寸缩减。 戈皮·克里希纳·贾、萨梅赫·戈布里埃尔、柳博芙·塔拉马诺娃、亚历山大·科兹洛夫、尼莱什·贾因。 Arxiv 2025年。

75. 大语言模型知道该舍弃什么：自注意力引导的KV缓存驱逐以实现高效长上下文推理。 王广涛、舒邦吉·乌帕萨尼、吴辰、达尔尚·甘地、乔纳森·李、胡昌然、李博、乌尔米什·塔克尔。 ICLR 2025年。

76. SpeCache：用于大语言模型高效生成的推测性键值缓存。 解世博、唐业辉、韩凯、邓志宏、韩静。 Arxiv 2025年。

77. KV-Distill：近乎无损可学习的大语言模型上下文压缩。 维韦克·查里、秦广辉、本杰明·范·杜尔姆。 Arxiv 2025年。

78. SentenceKV：通过句子级语义KV缓存实现高效大语言模型推理。 朱宇轩、法拉哈蒂·阿里、杨大卫、穆罕默德·穆罕默迪·阿米里。 Arxiv 2025年。

79. 稀疏前沿：Transformer大语言模型中的稀疏注意力权衡。 皮奥特尔·纳夫罗特、罗伯特·李、黄仁杰、塞巴斯蒂安·鲁德尔、凯莉·马尔基西奥、爱德华多·M·蓬蒂。 Arxiv 2025年。

80. FreqKV：用于高效扩展上下文窗口的频域键值压缩。 凯居士、曾博艺、王一轩、白浩利、江波、林周涵。 Arxiv 2025年。

81. Mustafar：促进非结构化稀疏性以用于大语言模型推理中的KV缓存修剪。 朱东贤、霍赛莉·侯赛尼、拉米亚德·哈迪迪、巴哈尔·阿斯加里。 Arxiv 2025年。

82. CAKE：基于层级偏好的级联与自适应KV缓存驱逐。 秦子然、曹雨晨、林明宝、胡文、范世轩、程科、林伟尧、李建国。 ICLR 2025年。

83. R-KV：面向无需训练的推理模型加速的冗余感知KV缓存压缩。 蔡泽凡、肖文、孙汉诗、罗成、张易凯、万科、李宇成、周业扬、常立文、顾久祥、董震、阿尼玛·阿南德库马尔、阿贝德尔卡迪尔·阿西、胡俊杰。 Arxiv 2025年。

84. KVzip：不依赖查询的上下文重建KV缓存压缩。 金章贤、金珍淑、权相佑、李在W、尹相斗、宋贤欧。 Arxiv 2025年。

85. 同质密钥、异质值：利用局部KV缓存的不对称性提升长上下文LLM的推理效率。 崔万云、徐明伟. Arxiv 2025年。

86. AhaKV：自适应的整体注意力驱动KV缓存驱逐策略，用于高效推理大型语言模型。 顾一峰、蒋子聪、金建秀、郭凯玲、张子阳、徐向敏. Arxiv 2025年。

87. 基于KV缓存压缩的推理时超尺度扩展。 阿德里安·兰丘茨基、孔拉德·斯塔尼舍夫斯基、皮奥特尔·纳夫罗特、爱德华多·M·蓬蒂. Arxiv 2025年。

88. InfiniPot-V：面向流式视频理解的内存受限KV缓存压缩。 金民洙、沈奎洪、崔正旭、张思明. Arxiv 2025年。

89. “Cache Me If You Can”：有效长上下文LLM需要多少个KV？ 阿迪提亚·巴斯卡尔、亚历山大·韦蒂格、高天宇、董艺赫、陈丹琪. Arxiv 2025年。

90. Compactor：基于近似杠杆分数的校准型查询无关KV缓存压缩。 维韦克·查里、本杰明·范杜尔姆. Arxiv 2025年。

91. LaCache：用于高效长上下文建模的梯级式KV缓存策略，适用于大型语言模型。 史大川、傅永干、袁向驰、于中志、游浩然、李思旭、董欣、扬·考茨、帕夫洛·莫尔恰诺夫、林英燕（塞琳）. ICML 2025年。

92. EvolKV：用于LLM推理的进化式KV缓存压缩。 余博涵、柴业坤. Arxiv 2025年。

93. LAVa：基于动态预算分配的分层KV缓存驱逐策略。 沈怡群、袁松、张正泽、王小亮、姜大鑫、阮甘图. Arxiv 2025年。

94. KeyDiff：基于密钥相似性的KV缓存驱逐策略，适用于资源受限环境下的长上下文LLM推理。 朴俊荣、达尔顿·琼斯、马修·J·莫尔斯、拉加夫·戈埃尔、李民九、克里斯·洛特. NeurIPS 2025年。

95. CAOTE：基于注意力输出误差的标记驱逐策略，用于LLM的KV缓存选择。 拉加夫·戈埃尔、朴俊荣、穆库尔·加格拉尼、达尔顿·琼斯、马修·莫尔斯、哈珀·兰斯顿、李民九、克里斯·洛特. Arxiv 2025年。

3️⃣ 跨层

1. 仅缓存一次：面向语言模型的解码器—解码器架构。 孙宇涛、董立、朱毅、黄少涵、王文辉、马树明、张全路、王建勇、魏福如。 NeurIPS 2024。

2. 利用跨层注意力减少 Transformer 的键值缓存大小。 威廉·布兰登、马扬克·米什拉、阿尼鲁达·恩鲁西姆哈、拉梅斯瓦尔·潘达、乔纳森·拉根·凯利。 Arxiv 2024。

3. 用于高效推理大型语言模型的层压缩键值缓存。 吴浩义、涂可伟。 ACL 2024。

4. MiniCache：针对大型语言模型的深度维度键值缓存压缩。 刘阿基德、刘晶、潘子正、何业飞、戈拉姆雷扎·哈法里、庄博涵。 Arxiv 2024。

5. MLKV：用于内存高效 Transformer 解码的多层键值头。 扎伊德·穆罕默德·卡瓦基比·祖赫里、穆罕默德·法里德·阿迪拉祖尔达、阿尤·普尔维安蒂、阿尔哈姆·菲克里·阿吉。 Arxiv 2024。

6. 关于跨层键值共享以实现高效 LLM 推理的系统性研究。 吴优、吴浩义、涂可伟。 Arxiv 2024。

7. KVSharer：通过逐层异构键值缓存共享实现高效推理。 杨一飞、曹邹英、陈奇光、秦立波、杨东杰、赵海、陈志。 Arxiv 2024。

8. SwiftKV：基于知识保持的模型转换实现快速预填充优化推理。 奥里克·乔、姚哲伟、萨米亚姆·拉吉班达里、何宇雄。 Arxiv 2024。

9. 利用层间注意力相似性压缩键值缓存以支持长上下文 LLM 推理。 马达、陈陆、张思拓、苗宇迅、朱苏、陈志、徐洪深、李汉琪、范帅、潘磊、于凯。 Arxiv 2024。

4️⃣ 低秩

1. 快速 Transformer 解码：只需一个写头即可。 诺姆·沙泽尔。 Arxiv 2019。

2. GQA：从多头检查点训练通用多查询 Transformer 模型。 乔舒亚·艾恩斯利、詹姆斯·李-索普、米希尔·德·容、尤里·泽姆良斯基、费德里科·莱布隆、苏米特·桑盖。 EMNLP 2023。

3. DeepSeek-V2：一款强大、经济且高效的专家混合语言模型。 DeepSeek-AI。 Arxiv 2024。

4. 有效压缩 LLM 的键值头。 于浩、杨泽兰、李申、李勇、吴建新。 Arxiv 2024。

5. Palu：利用低秩投影压缩键值缓存。 张志智、王旷、刘丽媛、王硕航、程浩、张超、沈叶龙。 Arxiv 2024。

6. LoRC：采用渐进式压缩策略的 LLM 键值缓存低秩压缩。 张荣志、王旷、刘丽媛、王硕航、程浩、张超、沈叶龙。 Arxiv 2024。

7. 张量积注意力就是你需要的一切。 张一凡、刘一峰、袁慧卓、秦振、袁阳、顾全全、姚昌昌。 Arxiv 2025。

8. ThinK：通过查询驱动的剪枝实现更薄的键值缓存。 徐宇辉、揭展明、董汉泽、王磊、卢旭东、周傲俊、萨哈·阿姆丽塔、熊才明、萨胡·多延。 Arxiv 2024。

9. 超越同质注意力：通过傅里叶近似键值缓存实现内存高效的 LLM。 刘晓然、何思洋、王奇奇、李瑞晓、宋玉蓉、刘志耿、李林林、刘群、黄增峰、郭启鹏、何子威、邱希鹏。 Arxiv 2025。

10. OjaKV：基于 Oja 规则的上下文感知在线低秩键值缓存压缩。 朱宇轩、杨大卫、穆罕默德·莫哈马迪·阿米里、基尔提拉姆·穆鲁格桑、特贾斯维尼·佩达帕蒂、陈品宇。 Arxiv 2025。

5️⃣ 量化

1. ZipCache：基于显著标记识别的精准高效KV缓存量化。 何叶飞、张洛明、吴伟佳、刘静、周红、庄博涵. Arxiv 2024。

2. 一个标记也不落下：基于重要性感知的混合精度量化实现可靠的KV缓存压缩。 杨俊勇、金炳旭、裴正仁、权范锡、朴根浩、杨恩浩、权世荣、李东洙. Arxiv 2024。

3. KIVI：无需调优的KV缓存非对称2位量化。 刘子睿、袁嘉怡、金洪烨、钟绍辰、徐兆卓、弗拉基米尔·布拉韦尔曼、陈蓓迪、胡霞. ICML 2024。

4. GEAR：面向大语言模型生成式推理的近无损KV缓存高效压缩方案。 康浩、张庆如、苏维克·昆杜、郑建华、刘兆兴、图沙尔·克里希纳、赵拓. Arxiv 2024。

5. PQCache：基于乘积量化的大规模上下文LLM推理KV缓存。 张海林、季晓东、陈一琳、傅方成、苗旭鹏、聂晓楠、陈伟鹏、崔斌. Arxiv 2024。

6. 利用矩阵分解解锁无数据低比特量化，用于KV缓存压缩。 刘培宇、高泽峰、赵wayne鑫、马一鹏、王涛、温继荣. Arxiv 2024。

7. SKVQ：面向大语言模型的滑动窗口键值缓存量化。 段木浩杰、袁志航、李秀红、段江飞、张兴成、林大华. Arxiv 2024。

8. QAQ：面向LLM KV缓存的质量自适应量化。 董诗晨、程文、秦家玉、王伟. Arxiv 2024。

9. KVQuant：迈向1000万上下文长度的LLM推理，借助KV缓存量化。 霍珀·科尔曼、金世勋、穆罕默德扎德·希瓦、迈克尔·W·马霍尼、邵雅坤·索菲娅、库尔特·凯茨尔、阿米尔·戈拉米. NeurIPS 2024。

10. WKVQuant：为大语言模型量身定制的权重与键值缓存量化，效果更佳。 岳雨轩、袁志航、段木浩杰、周思凡、吴建龙、聂立强. Arxiv 2024。

11. KVTuner：基于敏感度感知的逐层混合精度KV缓存量化，实现高效且近乎无损的LLM推理。 李星、邢泽宇、李一鸣、曲林平、甄慧玲、刘武龙、姚一武、潘信诺·贾林、袁明轩. ICML 2025。

12. 即插即用的1.x位KV缓存量化，适用于视频大语言模型。 陶科达、游浩轩、隋阳、秦灿、王欢. Arxiv 2025。

13. BitDecoding：解锁张量核心，以低比特KV缓存支持长上下文LLM解码。 杜大友、曹士杰、程建义、曹婷、杨茂. Arxiv 2025。

14. TaDA：无需训练的自适应KV缓存压缩与均值中心化解码方案。 乔希·维奈、布拉赫玛·普拉蒂克·普拉班詹、刘子诚、埃马德·巴尔苏姆。ACL 2025产业赛道。

15. TailorKV：通过定制化KV缓存优化实现长上下文推理的混合框架。 姚鼎宇、沈博文、林正、刘伟、栾健、王斌、王伟平. ACL 2025。

16. CommVQ：用于KV缓存压缩的交换向量量化。 李俊燕、张洋、穆罕默德·尤素夫·哈桑、塔尔哈·查费卡尔、蔡天乐、任志乐、郭鹏升、福鲁赞·卡里姆扎德、科罗拉多·里德、王冲、甘创. ICML 2025。

6️⃣ 提示压缩

1. LLMLingua：压缩提示以加速大语言模型推理。 姜辉强、吴千慧、林钦佑、杨玉清、邱莉莉. EMNLP 2023。

2. LLMLingua-2：数据蒸馏实现高效且忠实的任务无关提示压缩。 潘卓石、吴千慧、姜辉强、夏梦琳、罗旭芳、张珏、林青伟、维克托·吕勒、杨玉清、林钦佑、赵H·维姬、邱莉莉、张冬梅. ACL 2024。

3. LongLLMLingua：通过提示压缩加速并提升大语言模型在长上下文场景中的表现。 姜辉强、吴千慧、罗旭芳、李东生、林钦佑、杨玉清、邱莉莉. ACL 2024。

4. TACO-RL：基于强化学习的任务感知提示压缩优化。 尚迪姆·桑迪利亚、夏梦琳、苏普里约·戈什、姜辉强、张珏、吴千慧、维克托·吕勒. Arxiv 2024。

5. ICPC：上下文内提示压缩，加速推理。 于子洋、刘宇宇. Arxiv 2025。

6. 无需多层感知机的更好提示压缩。 爱德华多·霍尼格、安德鲁·利萨拉加、张子君·弗兰克、吴颖年. Arxiv 2025。

7️⃣ 复用

1. KVLink：通过高效KV缓存复用加速大语言模型。 杨景波、侯百儒、魏巍、鲍宇佳、常诗雨. Arxiv 2025。

8️⃣ 非自回归

1. dKV-Cache：扩散语言模型的缓存机制。 马欣欣、于润鹏、方功凡、王新超。 Arxiv 2025年。

2. dLLM-Cache：通过自适应缓存加速扩散大型语言模型。 刘志远、杨一村、张耀杰、陈俊杰、邹畅、魏青岩、王少波、张林峰。 Arxiv 2025年。

3. Fast-dLLM：通过启用KV缓存与并行解码实现无需训练的扩散型LLM加速。 吴成悦、张浩、薛淑晨、刘志坚、刁世哲、朱立根、罗平、韩松、谢恩泽。 Arxiv 2025年。

📊 评估

1. KV缓存压缩，但我们需要付出什么代价？长上下文能力方法的全面基准测试。 袁嘉怡、刘鸿毅、钟绍辰（Henry）·仲、庄宇能、李松晨、王冠楚、黎杜、金洪烨、维平·乔杜里、徐兆卓、刘子睿、胡霞。 EMNLP 2024年。

2. SCBench：以KV缓存为中心的长上下文方法分析。 李宇成、江慧强、吴千慧、罗旭芳、安叙仁、张成瑞东、阿米尔·H·阿卜迪、李东升、高建峰、杨玉清、邱莉莉。 Arxiv 2024年。

3. 更多token，更低精度：迈向KV缓存压缩中的最优token-精度权衡。 张洁斌、朱大伟、宋一帆、吴文浩、匡楚桥、李晓光、尚立峰、刘群、李苏健。 Arxiv 2024年。

4. 重新思考用于大型语言模型服务的键值缓存压缩技术。 高伟、周欣宇、孙鹏、张天威、温永刚。 Arxiv 2025年。

Awesome-KV-Cache-Compression 快速上手指南

一站式 KV-Cache 压缩论文、代码与工具导航仓库，持续更新中。

---

环境准备

• 系统：Linux / macOS / Windows WSL2
• Python：≥ 3.8
• PyTorch：≥ 2.0（CUDA 11.8+ 推荐）
• GPU：NVIDIA GPU（≥ 8 GB 显存，Ampere 架构以上最佳）
• 网络：可访问 GitHub / Hugging Face（国内建议配置镜像）

---

安装步骤

1. 克隆仓库

   git clone https://github.com/October2001/Awesome-KV-Cache-Compression.git
   cd Awesome-KV-Cache-Compression
   

2. 安装核心依赖（以 kvpress 为例）

   # 创建虚拟环境
   python -m venv kv_env
   source kv_env/bin/activate  # Windows: kv_env\Scripts\activate
   
   # 安装 kvpress（含 transformers）
   pip install -U pip
   pip install kvpress
   

3. 国内加速（可选）

   # 清华镜像
   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple kvpress
   # Hugging Face 镜像
   export HF_ENDPOINT=https://hf-mirror.com
   

---

基本使用

1. 快速体验 kvpress（一行代码压缩 KV-Cache）

from kvpress import SnapKVPress
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "microsoft/DialoGPT-medium"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype="auto", device_map="auto")

# 使用 SnapKV 压缩 20% KV-Cache
press = SnapKVPress(compression_ratio=0.2)
model = press(model)

# 正常推理即可
inputs = tokenizer("你好，世界", return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=20)
print(tokenizer.decode(out[0]))

2. 批量测试压缩效果

# 运行官方 benchmark（需 GPU）
python -m kvpress.benchmark --model microsoft/DialoGPT-medium --presses snap,h2o --dataset c4

---

更多方法（PyramidKV、H2O、StreamingLLM 等）的代码与示例，直接点击仓库对应链接即可跳转。