| 项目页面 | LLMLingua | LongLLMLingua | LLMLingua-2 | LLMLingua演示 | LLMLingua-2演示 |

https://github.com/microsoft/LLMLingua/assets/30883354/eb0ea70d-6d4c-4aa7-8977-61f94bb87438

新闻

• 🍩 [24/12/13] 我们很高兴地宣布发布以KV缓存为核心的分析工作——SCBench，该工作从KV缓存的角度评估长上下文方法。
• 👘 [24/09/16] 我们很高兴地宣布发布KV缓存卸载工作——RetrievalAttention，该工作通过向量检索加速长上下文大语言模型的推理。
• 🌀 [24/07/03] 我们很高兴地宣布发布MInference，以加速长上下文大语言模型的推理，可在A100上进行预填充时将推理延迟最多降低10倍，同时在100万令牌提示下保持准确！欲了解更多信息，请参阅我们的论文，访问项目页面。
• 🧩 LLMLingua已集成到Prompt flow中，这是一个用于基于大语言模型的AI应用的精简工具框架。
• 🦚 我们很高兴地宣布发布LLMLingua-2，其速度比LLMLingua提升3至6倍！欲了解更多信息，请参阅我们的论文，访问项目页面，并体验我们的演示。
• 👾 LLMLingua已集成到LangChain和LlamaIndex中，这两个是广泛使用的RAG框架。
• 🤳 讲座幻灯片已在AI Time Jan, 24中提供。
• 🖥 EMNLP'23幻灯片已在Session 5和BoF-6中提供。
• 📚 请查看我们的新博客文章，讨论通过提示压缩实现RAG优势与成本节约。脚本示例请见此处。
• 🎈 请访问我们的项目页面，了解RAG、在线会议、CoT和代码领域的实际案例研究。
• 👨‍🦯 请浏览我们的.examples目录，获取实用的应用示例，包括LLMLingua-2、RAG、在线会议、CoT、代码以及使用LlamaIndex的RAG。

简要概述

LLMLingua利用一个紧凑且训练有素的语言模型（例如GPT2-small、LLaMA-7B）来识别并移除提示中的非必要标记。这种方法能够实现对大型语言模型（LLMs）的高效推理，最高可实现20倍的压缩，同时几乎不损失性能。

• LLMLingua：为大型语言模型的加速推理压缩提示（EMNLP 2023）
  江辉强、吴千慧、林钦耀、杨宇清和邱莉莉

LongLLMLingua缓解了大语言模型中的“中间丢失”问题，增强了长上下文信息处理能力。它通过提示压缩降低成本并提高效率，仅使用四分之一的标记即可将RAG性能提升多达21.4%。

• LongLLMLingua：通过提示压缩加速并增强大语言模型在长上下文场景中的表现（ACL 2024及ICLR ME-FoMo 2024）
  江辉强、吴千慧、罗旭芳、李东升、林钦耀、杨宇清和邱莉莉

LLMLingua-2是一种小型但功能强大的提示压缩方法，通过从GPT-4中进行数据蒸馏训练，使用BERT级别的编码器进行标记分类，擅长跨任务的压缩。它在处理域外数据方面优于LLMLingua，性能提升3至6倍。

• LLMLingua-2：通过数据蒸馏实现高效且忠实的跨任务提示压缩（ACL 2024发现）
  潘卓石、吴千慧、江辉强、夏梦琳、罗旭芳、张珏、林庆伟、维克多·鲁勒、杨宇清、林钦耀、赵维琪、邱莉莉、张冬梅

SecurityLingua是一个安全护栏模型，利用安全感知的提示压缩揭示越狱攻击背后的恶意意图，使大语言模型能够检测攻击并生成安全响应。由于提示压缩极为高效，该防御方案几乎不增加开销，且与最先进的大语言模型护栏方法相比，令牌成本降低了100倍。

• SecurityLingua：通过安全感知的提示压缩高效防御大语言模型越狱攻击（CoLM 2025）
  李宇成、安顺仁、江辉强、阿米尔·H·阿卜迪、杨宇清和邱莉莉

🎥 概述

• 你是否曾在让 ChatGPT 总结长篇文本时遇到过 token 限制？
• 是否对 ChatGPT 在经过大量微调后仍会忘记先前指令而感到沮丧？
• 是否尽管实验效果出色，却因使用 GPT-3.5/4 API 而面临高昂成本？

尽管像 ChatGPT 和 GPT-4 这样的大型语言模型在泛化和推理方面表现出色，但它们常常面临提示长度限制以及基于提示的计费模式等挑战。

现在，你可以使用 LLMLingua、LongLLMLingua 和 LLMLingua-2！

这些工具提供了一种高效的解决方案，可将提示压缩多达 20 倍，从而提升大型语言模型的实用性。

• 💰 成本节约：在几乎不增加额外开销的情况下，同时减少提示和生成的长度。
• 📝 扩展上下文支持：增强对更长上下文的支持，缓解“中间信息丢失”问题，并提升整体性能。
• ⚖️ 鲁棒性：无需对大型语言模型进行额外训练。
• 🕵️ 知识保留：保持原始提示信息，如 ICL 和推理过程。
• 📜 KV 缓存压缩：加速推理过程。
• 🪃 全面恢复：GPT-4 可以从压缩后的提示中恢复所有关键信息。

PS：本演示基于 alt-gpt 项目。特别感谢 @Livshitz 的宝贵贡献。

如果你觉得这个仓库有用，请引用以下论文：

@inproceedings{jiang-etal-2023-llmlingua,
    title = "{LLML}ingua: Compressing Prompts for Accelerated Inference of Large Language Models",
    author = "Huiqiang Jiang and Qianhui Wu and Chin-Yew Lin and Yuqing Yang and Lili Qiu",
    editor = "Bouamor, Houda  and
      Pino, Juan  and
      Bali, Kalika",
    booktitle = "Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing",
    month = dec,
    year = "2023",
    address = "Singapore",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2023.emnlp-main.825",
    doi = "10.18653/v1/2023.emnlp-main.825",
    pages = "13358--13376",
}

@inproceedings{jiang-etal-2024-longllmlingua,
    title = "{L}ong{LLML}ingua: Accelerating and Enhancing {LLM}s in Long Context Scenarios via Prompt Compression",
    author = "Huiqiang Jiang and Qianhui Wu and Xufang Luo and Dongsheng Li and Chin-Yew Lin and Yuqing Yang and Lili Qiu",
    editor = "Ku, Lun-Wei  and
      Martins, Andre  and
      Srikumar, Vivek",
    booktitle = "Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
    month = aug,
    year = "2024",
    address = "Bangkok, Thailand",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2024.acl-long.91",
    pages = "1658--1677",
}

@inproceedings{pan-etal-2024-llmlingua,
    title = "{LLML}ingua-2: Data Distillation for Efficient and Faithful Task-Agnostic Prompt Compression",
    author = "Zhuoshi Pan and Qianhui Wu and Huiqiang Jiang and Menglin Xia and Xufang Luo and Jue Zhang and Qingwei Lin and Victor Ruhle and Yuqing Yang and Chin-Yew Lin and H. Vicky Zhao and Lili Qiu and Dongmei Zhang",
    editor = "Ku, Lun-Wei  and
      Martins, Andre  and
      Srikumar, Vivek",
    booktitle = "Findings of the Association for Computational Linguistics ACL 2024",
    month = aug,
    year = "2024",
    address = "Bangkok, Thailand and virtual meeting",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2024.findings-acl.57",
    pages = "963--981",
}

@inproceedings{li2025securitylingua,
  title={{S}ecurity{L}ingua: Efficient Defense of {LLM} Jailbreak Attacks via Security-Aware Prompt Compression},
  author={Yucheng Li and Surin Ahn and Huiqiang Jiang and Amir H. Abdi and Yuqing Yang and Lili Qiu},
  booktitle={Second Conference on Language Modeling},
  year={2025},
  url={https://openreview.net/forum?id=tybbSo6wba}
}

🎯 快速入门

1. 安装 LLMLingua：

要开始使用 LLMLingua，只需通过 pip 安装即可：

pip install llmlingua

2. 使用 LLMLingua 系列方法进行提示压缩：

借助 LLMLingua，你可以轻松压缩你的提示。以下是具体操作方法：

from llmlingua import PromptCompressor

llm_lingua = PromptCompressor()
compressed_prompt = llm_lingua.compress_prompt(prompt, instruction="", question="", target_token=200)

# > {'compressed_prompt': '问题：Sam 购买了一打盒子，每个盒子里有 30 支荧光笔，每盒售价为 10 美元。他把其中 5 盒分成每盒 6 支的包装，以每盒 3 美元的价格卖出。其余的则按每 3 支 2 美元的价格单独出售。他总共赚了多少钱？让我们一步一步来思考。\nSam 购买了 1 盒 x00 支荧光笔。\n他总共买了 12 * 300 支荧光笔。\nSam 接着拿了 5 盒，每盒 6 支。\n他以 5 * 5 的价格卖出了这些盒子。\n卖出这些盒子后，还剩下 3030 支荧光笔。\n这些可以组成 330 / 3 = 110 组，每组 3 支。\n他以每组 2 美元的价格卖出了这些，因此赚了 110 * 2 = 220 美元。\n所以，他总共赚了 220 + 15 = 235 美元。\n由于他的原始成本是 120 美元，所以他赚了 235 - 120 = 115 美元的利润。\n答案是 115',
#  'origin_tokens': 2365,
#  'compressed_tokens': 211,
#  'ratio': '11.2x',
#  'saving': ', Saving $0.1 in GPT-4.'}

## 或者使用 phi-2 模型，
llm_lingua = PromptCompressor("microsoft/phi-2")

## 或者使用量化模型，比如 TheBloke/Llama-2-7b-Chat-GPTQ，只需要不到 8GB 的显存。
## 在此之前，你需要先安装 optimum auto-gptq
llm_lingua = PromptCompressor("TheBloke/Llama-2-7b-Chat-GPTQ", model_config={"revision": "main"})

要在你的场景中尝试 LongLLMLingua，可以使用：

from llmlingua import PromptCompressor

llm_lingua = PromptCompressor()
compressed_prompt = llm_lingua.compress_prompt(
    prompt_list,
    question=question,
    rate=0.55,
    # 设置 LongLLMLingua 的特殊参数
    condition_in_question="after_condition",
    reorder_context="sort",
    dynamic_context_compression_ratio=0.3, # 或 0.4
    condition_compare=True,
    context_budget="+100",
    rank_method="longllmlingua",
)

要在你的场景中尝试 LLMLingua-2，可以使用：

from llmlingua import PromptCompressor

llm_lingua = PromptCompressor(
    model_name="microsoft/llmlingua-2-xlm-roberta-large-meetingbank",
    use_llmlingua2=True, # 是否使用 llmlingua-2
)
compressed_prompt = llm_lingua.compress_prompt(prompt, rate=0.33, force_tokens = ['\n', '?'])

## 或使用 LLMLingua-2-small 模型
llm_lingua = PromptCompressor(
    model_name="microsoft/llmlingua-2-bert-base-multilingual-cased-meetingbank",
    use_llmlingua2=True, # 是否使用 llmlingua-2
)

要在您的场景中尝试 SecurityLingua，可以使用：

from llmlingua import PromptCompressor

securitylingua = PromptCompressor(
    model_name="SecurityLingua/securitylingua-xlm-s2s",
    use_slingua=True
)
intention = securitylingua.compress_prompt(malicious_prompt)

有关 SecurityLingua 的更多详细信息，请参阅 securitylingua 说明文档。

3. 高级用法——结构化提示压缩：

将文本拆分为多个部分，决定是否进行压缩及其压缩比例。使用 <llmlingua></llmlingua> 标签进行上下文分割，并可选地指定压缩比例和压缩参数。

structured_prompt = """<llmlingua, compress=False>发言者4：</llmlingua><llmlingua, rate=0.4> 谢谢。那我们能否对内容的功能进行处理呢？我认为涉及的项目有11号、3号、14号、16号和28号。</llmlingua><llmlingua, compress=False>
发言者0：</llmlingua><llmlingua, rate=0.4> 第11项是市议会关于提高市政经理部门一般基金组拨款额度的建议，金额为200美元，用于向长滩公共图书馆之友组织提供资助。第12项是市议员Super Now提出的建议，要求将专项广告与推广基金组及市政经理部门的拨款增加1万美元，以支持夏季结束庆典活动。第13项是市议员Austin提出的建议，要求将市政经理部门一般基金组的拨款增加500美元，用于向Jazz Angels组织捐款。第14项是市议员Austin提出的建议，要求将市政经理部门一般基金组的拨款增加300美元，用于向Little Lion Foundation组织捐款。第16项是市议员Allen提出的建议，要求将市政经理部门一般基金组的拨款增加1,020美元，用于向Casa Korero、Sew Feria商业协会、长滩公共图书馆之友以及Dave Van Patten组织提供资助。第28项是一则通知，由副市长Richardson和市议员Muranga提出，建议将市政经理部门一般基金组的拨款增加1,000美元，用于向Ron Palmer峰会、篮球与学术营活动提供捐赠。</llmlingua><llmlingua, compress=False>
发言者4：</llmlingua><llmlingua, rate=0.6> 我们有一个促销活动，而且市议员Ringa第二次担任市议员，他和客户们有什么意见吗？</llmlingua>"""
compressed_prompt = llm_lingua.structured_compress_prompt(structured_prompt, instruction="", question="", rate=0.5)
print(compressed_prompt['compressed_prompt'])

# > 发言者4：. 那我们能否对内容的功能进行处理呢？我认为涉及的项目有11号、116号、28号。
# 发言者0：来自市议会关于提高拨款额度的建议，其中第1项是市议员Super Now提出的建议，要求将专项基金组的拨款增加，以支持夏季活动；第13项是市议员Austin提出的建议，要求将市政经理部门一般基金组的拨款增加300美元，用于向Little Lion Foundation组织捐款。第16项是市议员Allen提出的建议，要求将市政经理部门一般基金组的拨款增加1,020美元，用于向Casa Korero、Sew Feria商业协会、长滩公共图书馆之友以及Dave Van Patten组织提供资助。第28项是一则通知，由副市长Richardson和市议员Muranga提出，建议将市政经理部门一般基金组的拨款增加1,000美元，用于向Ron Palmer峰会、篮球与学术营活动提供捐赠。
# 发言者4：我们有一个促销活动，而且市议员Ringa第二次担任市议员，他和客户们有什么意见吗？

4. 了解更多：

要了解如何在 RAG、在线会议、CoT 和代码等实际场景中应用 LLMLingua 和 LongLLMLingua，请参阅我们的 示例。如需详细指导，文档 提供了大量关于如何有效利用 LLMLingua 的建议。

5. LLMLingua-2 的数据收集与模型训练：

如需基于您的自定义数据训练压缩器，请参阅我们的 数据收集 和 模型训练。

常见问题

如需更多见解与解答，请访问我们的 常见问题解答页面。

贡献

本项目欢迎贡献与建议。大多数贡献都需要您同意一份《贡献者许可协议》（CLA），声明您有权并确实授予我们使用您贡献的权利。详情请访问 https://cla.opensource.microsoft.com。

当您提交拉取请求时，CLA 机器人会自动判断您是否需要提供 CLA，并相应地对 PR 进行标记（例如状态检查、评论）。您只需按照机器人提供的指示操作即可。对于所有使用我们 CLA 的仓库，您只需完成一次此步骤。

本项目已采用 Microsoft 开源行为准则。 如需更多信息，请参阅 行为准则常见问题解答，或如有任何其他问题或意见，请联系 opencode@microsoft.com。

商标

本项目可能包含针对项目、产品或服务的商标或标识。授权使用 Microsoft 商标或标识须遵守并遵循 Microsoft 商标与品牌指南。在本项目的修改版本中使用 Microsoft 商标或标识不得引起混淆或暗示 Microsoft 的赞助关系。任何第三方商标或标识的使用均须遵守该第三方的相关政策。

LLMLingua 快速上手指南

环境准备

• 系统要求：支持 Python 3.8 及以上版本，推荐使用 Linux 或 macOS 系统。
• 前置依赖：需安装 Python 环境，并确保 pip 已正确配置。建议使用国内镜像源加速安装，如清华源。

安装步骤

使用 pip 安装 LLMLingua：

pip install llmlingua

如果你希望使用国内镜像源加速安装，可以添加 -i 参数：

pip install llmlingua -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

以下是最简单的使用示例，展示如何使用 LLMLingua 对提示进行压缩：

from llmlingua import PromptCompressor

llm_lingua = PromptCompressor()
compressed_prompt = llm_lingua.compress_prompt(prompt, instruction="", question="", target_token=200)

其中：

• prompt 是你希望压缩的原始提示内容；
• target_token 是压缩后的目标 token 数量（默认为 200）；
• 返回结果包含压缩后的提示、原始 token 数、压缩后 token 数以及压缩比例等信息。

你也可以选择使用其他预训练模型，例如 phi-2 模型：

llm_lingua = PromptCompressor("microsoft/phi-2")

如果需要使用量化模型（如 TheBloke/Llama-2-7b-Chat-GPTQ），请确保你的 GPU 内存大于 8GB，并提前安装相关依赖库。