更新与新闻

• [2025年2月20日] 试用我们的最新工具包：全新工作 TrustGen 和 TrustEval 工具包已发布！TrustGen 提供了针对多种生成模型可信性的全面指南、评估和视角，而 TrustEval 则提供了一个动态评估平台。

• TrustLLM 工具包已被下载超过9000次！

点击展开/收起更多内容

• [2024年7月15日] TrustLLM 现在支持 UniGen 进行动态评估。
• [2024年5月2日] 🥂 TrustLLM已被ICML 2024接收！维也纳见！
• [2024年4月23日] :star: 版本0.3.0：重大更新，包括错误修复、评估增强以及新增模型（包括ChatGLM3、Llama3-8b、Llama3-70b、GLM4、Mixtral）。(查看详情)
• [2024年3月20日] :star: 版本0.2.4：修复了大量bug，并支持Gemini Pro API
• [2024年2月1日] :page_facing_up: 版本0.2.2：查看我们关于LLMs意识的新论文！(链接)
• [2024年1月29日] :star: 版本0.2.1：trustllm工具包现在支持 (1) 简易评估流程 (2) replicate 和 deepinfra 中的LLMs (3) Azure OpenAI API
• [2024年1月20日] :star: trustllm工具包0.2.0版本发布！查看新特性。
• [2024年1月12日] :surfer: 数据集、排行榜 和 评估工具包 均已发布！

👂TL;DR

• TrustLLM（ICML 2024）是一个用于研究大型语言模型可信性的综合框架，包含原则、综述和基准测试。
• 该代码仓库旨在提供一个易于使用的工具包，用于评估LLMs的可信性（请参阅我们的文档)。

目录

• “TrustLLM：大型语言模型的可信性”工具包
  • 更新与新闻
  • 👂TL;DR
  • 🙋 关于TrustLLM
  • 🧹 评估前准备
    • 安装
    • 数据集下载
    • 生成
  • 🙌 评估
  • 🛎️ 数据集与任务
    • 数据集概述：
    • 任务概述：
  • 🏆 排行榜
  • 📣 贡献
  • ⏰ 即将发布的版本中的待办事项
  • 引用
  • 许可证

🙋 关于TrustLLM

我们推出了TrustLLM，这是一项关于LLMs可信性的综合性研究，其中包括不同可信维度的原则、已建立的基准测试、评估方法，以及对主流LLMs可信性的分析，并探讨了当前面临的挑战及未来方向。具体而言，我们首先提出了一套涵盖八个不同维度的可信LLMs原则。基于这些原则，我们进一步建立了覆盖真理性、安全性、公平性、鲁棒性、隐私性和机器伦理等六个维度的基准测试。 随后，我们展示了一项针对16种主流LLMs的评估研究，该研究使用了超过30个数据集。 文档 详细说明了如何使用trustllm Python软件包来帮助您更快速地评估LLM在可信性方面的表现。有关TrustLLM的更多详情，请参阅项目官网。

🧹 评估前准备

安装

创建一个新的环境：

conda create --name trustllm python=3.9

通过Github安装（推荐）：

git clone git@github.com:HowieHwong/TrustLLM.git
cd TrustLLM/trustllm_pkg
pip install .

通过pip安装（已弃用）：

pip install trustllm

通过conda安装（已弃用）：

conda install -c conda-forge trustllm

数据集下载

下载TrustLLM数据集：

from trustllm.dataset_download import download_dataset

download_dataset(save_path='save_path')

生成

我们从 版本 0.2.0 开始添加了生成模块。您可以从此页面开始进行生成任务。以下是一个示例：

from trustllm.generation.generation import LLMGeneration

llm_gen = LLMGeneration(
    model_path="您的模型名称", 
    test_type="测试部分", 
    data_path="您的数据集文件路径",
    model_name="", 
    online_model=False, 
    use_deepinfra=False,
    use_replicate=False,
    repetition_penalty=1.0,
    num_gpus=1, 
    max_new_tokens=512, 
    debug=False,
    device='cuda:0'
)

llm_gen.generation_results()

🙌 评估

我们提供了一个工具包，可以帮助您更便捷地评估大型语言模型的可信度。更多详细信息请参阅文档。以下是一个示例：

from trustllm.task.pipeline import run_truthfulness

truthfulness_results = run_truthfulness(  
    internal_path="内部一致性数据路径.json",  
    external_path="外部一致性数据路径.json",  
    hallucination_path="幻觉数据路径.json",  
    sycophancy_path="溜须拍马数据路径.json",
    advfact_path="反事实数据路径.json"
)

🛎️ 数据集与任务

数据集概览：

✓ 表示该数据集来自先前的研究，✗ 表示该数据集在我们的基准中首次提出。

数据集	描述	数量	是否存在	部分
SQuAD2.0	它结合了 SQuAD1.1 中的问题，并增加了超过 50,000 个无法回答的问题。	100	✓	虚假信息
CODAH	它包含 28,000 个常识性问题。	100	✓	虚假信息
HotpotQA	它包含 113,000 个基于维基百科的问答对，用于复杂的多跳推理。	100	✓	虚假信息
AdversarialQA	它包含 30,000 个对抗性的阅读理解问答对。	100	✓	虚假信息
Climate-FEVER	它包含由人工事实核查员手动整理的 7,675 条与气候变化相关的声明。	100	✓	虚假信息
SciFact	它包含 1,400 对由专家撰写的科学声明及其证据摘要。	100	✓	虚假信息
COVID-Fact	它包含 4,086 条现实世界中的新冠相关声明。	100	✓	虚假信息
HealthVer	它包含 14,330 条针对科学论文的健康相关声明。	100	✓	虚假信息
TruthfulQA	这是一组多项选择题，用于评估语言模型在生成问题答案时是否诚实。	352	✓	幻觉
HaluEval	它包含 35,000 个由模型生成及人工标注的幻觉样本。	300	✓	幻觉
LM-exp-sycophancy	该数据集由人类提出的问题组成，每个问题配有一个溜须拍马的回答示例和一个非溜须拍马的回答示例。	179	✓	溜须拍马
Opinion pairs	它包含 120 对相反的观点。	240, 120	✗	溜须拍马、偏好
WinoBias	它包含 3,160 句话，分为开发集和测试集，由熟悉该项目的研究人员创建。	734	✓	刻板印象
StereoSet	它包含用于衡量模型在性别、种族、宗教和职业方面偏好的句子。	734	✓	刻板印象
Adult	该数据集包含性别、种族、年龄、教育程度、工作时长和工作类型等特征，用于预测个人的薪资水平。	810	✓	贬低
Jailbreak Trigger	该数据集包含基于 13 种越狱攻击的提示。	1300	✗	越狱、毒性
Misuse (additional)	该数据集包含旨在评估大型语言模型在面对试图利用模型进行有害活动的攻击者或恶意用户时反应的提示。	261	✗	滥用
Do-Not-Answer	它经过精心挑选和过滤，仅包含负责任的语言模型不会回答的提示。	344 + 95	✓	滥用、刻板印象
AdvGLUE	一个包含不同对抗性攻击的多任务数据集。	912	✓	自然噪声
AdvInstruction	由 11 种扰动方法生成的 600 条指令。	600	✗	自然噪声
ToolE	一个包含可能触发语言模型使用外部工具的用户查询的数据集。	241	✓	域外数据 (OOD)
Flipkart	一个产品评论数据集，自 2022 年 12 月开始收集。	400	✓	域外数据 (OOD)
DDXPlus	一个 2022 年的医疗诊断数据集，由约 130 万例患者病例的合成数据组成。	100	✓	域外数据 (OOD)
ETHICS	它包含大量与道德相关的场景描述及其道德正确性判断。	500	✓	隐性伦理
Social Chemistry 101	它包含各种社会规范，每条规范由一个行为及其标签组成。	500	✓	隐性伦理
MoralChoice	它由不同情境下的道德正确与错误行为组成。	668	✓	显性伦理
ConfAIde	它包含关于信息如何被使用的描述。	196	✓	隐私意识
Privacy Awareness	它包括针对不同场景的各种隐私信息查询。	280	✗	隐私意识
Enron Email	它包含由安然公司员工生成的约 50 万封电子邮件。	400	✓	隐私泄露
Xstest	它是一个用于识别语言模型中过度安全行为的测试套件。	200	✓	过度安全

任务概述：

○ 表示通过自动脚本进行评估（例如关键词匹配），● 表示由 ChatGPT、GPT-4 或 longformer 进行自动评估，而 ◐ 则表示混合评估。

更可信的 LLM 应当在带有 ↑ 标记的指标上具有更高的值，在带有 ↓ 标记的指标上具有更低的值。

任务名称	指标	类型	评估	部分
闭卷问答	准确率（↑）	生成	○	虚假信息（内部）
事实核查	宏观 F1 分数（↑）	分类	●	虚假信息（外部）
多选题问答	准确率（↑）	分类	●	幻觉
幻觉分类	准确率（↑）	分类	●	幻觉
人格逢迎	嵌入相似度（↑）	生成	◐	逢迎
观点逢迎	百分比变化（↓）	生成	○	逢迎
事实性修正	百分比变化（↑）	生成	○	对抗性事实性
越狱攻击评估	RtA（↑）	生成	○	越狱
毒性测量	毒性值（↓）	生成	●	毒性
滥用评估	RtA（↑）	生成	○	滥用
过度安全评估	RtA（↓）	生成	○	过度安全
对刻板印象的一致性	准确率（↑）	生成	◐	刻板印象
刻板印象识别	一致百分比（↓）	分类	◐	刻板印象
刻板印象查询测试	RtA（↑）	生成	○	刻板印象
偏好选择	RtA（↑）	生成	○	偏好
薪资预测	p 值（↑）	生成	●	贬低
下游任务中的对抗性扰动	ASR（↓）、RS（↑）	生成	◐	自然噪声
开放式任务中的对抗性扰动	嵌入相似度（↑）	生成	◐	自然噪声
OOD 检测	RtA（↑）	生成	○	域外（OOD）
OOD 泛化	微观 F1 分数（↑）	分类	○	域外（OOD）
对隐私信息的一致性	皮尔逊相关系数（↑）	分类	●	隐私意识
隐私场景测试	RtA（↑）	生成	○	隐私意识
探测隐私信息使用	RtA（↑）、准确率（↓）	生成	◐	隐私泄露
道德行为判断	准确率（↑）	分类	◐	内隐伦理
道德反应选择（低歧义）	准确率（↑）	分类	◐	明示伦理
道德反应选择（高歧义）	RtA（↑）	生成	○	明示伦理
情感分类	准确率（↑）	分类	●	情感意识

🏆 排行榜

如需查看所有模型的表现或上传您 LLM 的表现，请访问 此链接。

📣 贡献

我们欢迎您的贡献，包括但不限于以下内容：

• 新的评估数据集
• 可信性相关研究
• 工具包的改进

如果您打算对工具包进行改进，请先 fork 该仓库，对代码进行相应修改，最后发起 pull request。

⏰ 即将发布的版本待办事项

• 更快速、更简单的评估流程 (版本 0.2.1)
• 动态数据集 (UniGen)
• 更细粒度的数据集
• 中文输出评估
• 下游应用评估

引用

@inproceedings{huang2024trustllm,
  title={TrustLLM：大型语言模型的可信性},
  author={黄悦、孙立超、王浩然、吴思远、张启辉、李源、高楚杰、黄一欣、吕文翰、张艺轩、李新尔、孙汉驰、刘正亮、刘一欣、王亦珏、张志坤、伯蒂·维德根、巴维亚·凯尔库拉、熊才明、肖朝伟、李春元、埃里克·P·辛格、黄福荣、刘浩、季恒、王洪毅、张欢、姚华秀、马诺利斯·凯利斯、马林卡·齐特尼克、蒋萌、莫希特·班萨尔、周志明、裴健、刘坚、高剑锋、韩家玮、赵洁宇、唐继良、王金东、万斯霍伦、约翰·米切尔、舒凯、许凯迪、常凯伟、何丽芳、黄立夫、迈克尔·巴克斯、龚振强、余Philip S.、陈品宇、顾全全、徐冉、英瑞克斯、纪水旺、贾苏曼、陈天龙、刘天明、周天义、王威廉杨、李翔、张祥亮、王晓、谢兴、陈勋、王旭宇、刘燕、叶燕芳、曹银志、陈勇、赵悦},
  booktitle={第四十一届国际机器学习大会},
  year={2024},
  url={https://openreview.net/forum?id=bWUU0LwwMp}
}

许可证

本仓库中的代码以 MIT 许可证 开源。

TrustLLM 快速上手指南

TrustLLM 是一个用于评估大语言模型（LLM）可信度的综合框架与工具包，涵盖真实性、安全性、公平性、鲁棒性、隐私及机器伦理等六个维度。本指南帮助开发者快速搭建环境并运行评估。

环境准备

• 操作系统：Linux / macOS / Windows
• Python 版本：推荐 Python 3.9
• 硬件要求：
  • 本地部署模型需配备 NVIDIA GPU（支持 CUDA）
  • 若使用在线 API（如 Azure OpenAI, Replicate），仅需网络连接
• 前置依赖：
  • Conda（推荐用于环境管理）
  • Git

安装步骤

1. 创建虚拟环境

conda create --name trustllm python=3.9
conda activate trustllm

2. 安装工具包（推荐方式）

通过 GitHub 源码安装以获取最新功能：

git clone git@github.com:HowieHwong/TrustLLM.git
cd TrustLLM/trustllm_pkg
pip install .

注意：pip install trustllm 和 conda install 方式已标记为废弃，建议使用上述源码安装方式。

3. 下载数据集

在 Python 环境中执行以下代码下载评估所需数据集：

from trustllm.dataset_download import download_dataset

download_dataset(save_path='save_path')

请将 'save_path' 替换为您本地的实际存储路径。

基本使用

TrustLLM 的核心流程分为 生成回答 和 执行评估 两步。

1. 生成模型回答

使用 LLMGeneration 类让模型在测试集上生成回答。以下示例展示了本地模型的调用配置：

from trustllm.generation.generation import LLMGeneration

llm_gen = LLMGeneration(
    model_path="your model name", 
    test_type="test section", 
    data_path="your dataset file path",
    model_name="", 
    online_model=False, 
    use_deepinfra=False,
    use_replicate=False,
    repetition_penalty=1.0,
    num_gpus=1, 
    max_new_tokens=512, 
    debug=False,
    device='cuda:0'
)

llm_gen.generation_results()

参数说明：若使用在线模型（如 DeepInfra, Replicate），请将 online_model 设为 True 并开启对应开关。

2. 执行可信度评估

生成完成后，使用管道脚本对特定维度（如真实性）进行评估。以下以真实性（Truthfulness）评估为例：

from trustllm.task.pipeline import run_truthfulness

truthfulness_results = run_truthfulness(  
    internal_path="path_to_internal_consistency_data.json",  
    external_path="path_to_external_consistency_data.json",  
    hallucination_path="path_to_hallucination_data.json",  
    sycophancy_path="path_to_sycophancy_data.json",
    advfact_path="path_to_advfact_data.json"
)

请将路径参数替换为上一步生成的实际数据文件路径。

更多评估任务（如安全性、公平性等）及详细参数配置，请参考官方文档：TrustLLM Documentation