📜 LegalBench

什么是 LegalBench？

LegalBench 是一个由不同法律推理 任务 组成的基准测试。每个任务都配有一个相关的 数据集，由输入-输出对构成。任务示例包括：

• 传闻证据 任务：输入是一段关于证据的描述，输出则是该证据是否会被视为传闻证据（即“是”或“否”）。
• 定义提取 任务：输入是一句最高法院判决中的句子，其中定义了一个术语，输出则是该术语。
• 规则问答 任务：输入是一道关于某项法律实质内容的问题，输出则是该问题的正确答案。

可以通过向 LLM 提供输入，并评估其生成对应输出的频率，来使用这些任务数据集对 LLM 进行评估。LegalBench 中的任务涵盖了广泛的文本类型、任务结构、法律领域以及难度级别。每项任务的详细说明可在 这里 查阅。

值得注意的是，LegalBench 的任务是通过法律界内独特的众包方式汇集而成。来自广泛法律背景的个人和组织——律师、计算法律从业者、法学教授以及法律影响实验室——都贡献了他们认为“有趣”或“有用”的任务。所谓“有趣”的任务，是指那些需要某种特定推理能力，而贡献者认为值得衡量的任务；例如，这类任务可能对应于法学院学生在考核中经常被要求完成的内容。而“有用”的任务则与法律专业人士当前正在执行的流程相关，无论是手动操作还是借助其他工具，因此它们代表了 LLM 在实际应用中的潜在场景。

LegalBench 仍在持续发展中，我们始终欢迎更多任务的加入。如需了解如何参与，请访问 这里！

我们是谁？

我们是一个由计算机科学家和律师组成的跨学科团队，成员来自学术界和业界，致力于理解现代语言模型能够解决的各类法律任务。为此，我们一直在积累并构建多样化的法律 NLP 任务集合——所有这些任务均可在本仓库的 这里 找到。我们为该项目设定了两个目标：

1. 首先，我们希望利用这些数据集持续评估大型语言模型在法律推理和法律文本相关任务上的表现。尤其令人兴奋的是，法律文本所特有的挑战或许能激发新的算法创新。
2. 其次，我们希望借助这些数据集，指导法律从业者和学者更好地理解这些模型在其日常工作流程中的安全性和可靠性影响。

我们构建 LegalBench 的方法受到当代开放科学运动的启发，这些运动致力于推动机器学习开发的民主化参与（例如 HELM 和 BigBench）。

贡献一个任务

详情请参见 这里。

在 LegalBench 任务上进行评估

详情请参见 这里。

许可证

LegalBench 包含原创和转换后的数据集。我们要求您遵守数据集原作者的许可证规定。请参阅 任务页面 以获取任务及其许可证的列表。

有关如何根据许可证信息选择任务的示例，请参阅 笔记本。

最近与 LegalBench 相关的工作

我们希望重点介绍社区基于 LegalBench 开展的工作。如果您曾使用 LegalBench 并希望在此处添加指向您工作的链接，请随时与我们联系！

项目/评估框架：

• vals.ai
• 斯坦福基础模型研究中心的 HELM Lite 基准
• Reexpress AI：不确定性感知的法律推理

研究：

• Nihal V. Nayak、Yiyang Nan、Avi Trost 和 Stephen H. Bach。学习生成指令微调数据集以实现零样本任务适配（2024年）
• Sergio Servantez、Joe Barrow、Kristian Hammond 和 Rajiv Jain。逻辑链：基于规则的大语言模型推理（2024年）。

引用本工作

请包含以下所有引用，以感谢 LegalBench 所依赖的所有来源。

@misc{guha2023legalbench,
      title={LegalBench：用于衡量大型语言模型法律推理能力的协作构建基准}, 
      author={Neel Guha 和 Julian Nyarko、Daniel E. Ho、Christopher Ré、Adam Chilton、Aditya Narayana、Alex Chohlas-Wood、Austin Peters、Brandon Waldon、Daniel N. Rockmore、Diego Zambrano、Dmitry Talisman、Enam Hoque、Faiz Surani、Frank Fagan、Galit Sarfaty、Gregory M. Dickinson、Haggai Porat、Jason Hegland、Jessica Wu、Joe Nudell、Joel Niklaus、John Nay、Jonathan H. Choi、Kevin Tobia、Margaret Hagan、Megan Ma、Michael Livermore、Nikon Rasumov-Rahe、Nils Holzenberger、Noam Kolt、Peter Henderson、Sean Rehaag、Sharad Goel、Shang Gao、Spencer Williams、Sunny Gandhi、Tom Zur、Varun Iyer、Zehua Li},
      year={2023},
      eprint={2308.11462},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}
@article{koreeda2021contractnli,
  title={ContractNLI：面向合同的文档级自然语言推理数据集},
  author={Koreeda, Yuta 和 Manning, Christopher D},
  journal={arXiv 预印本 arXiv:2110.01799},
  year={2021}
}
@article{hendrycks2021cuad,
  title={Cuad：用于法律合同审查的专家标注 NLP 数据集},
  author={Hendrycks, Dan 和 Burns, Collin、Chen, Anya、Ball, Spencer},
  journal={arXiv 预印本 arXiv:2103.06268},
  year={2021}
}
@article{wang2023maud,
  title={MAUD：用于并购协议理解的专家标注法律 NLP 数据集},
  author={Wang, Steven H 和 Scardigli, Antoine、Tang, Leonard、Chen, Wei、Levkin, Dimitry、Chen, Anya、Ball, Spencer、Woodside, Thomas、Zhang, Oliver、Hendrycks, Dan},
  journal={arXiv 预印本 arXiv:2301.00876},
  year={2023}
}
@inproceedings{wilson2016creation,
  title={网站隐私政策语料库的创建与分析},
  author={Wilson, Shomir 和 Schaub, Florian、Dara, Aswarth Abhilash、Liu, Frederick、Cherivirala, Sushain、Leon, Pedro Giovanni、Andersen, Mads Schaarup、Zimmeck, Sebastian、Sathyendra, Kanthashree Mysore、Russell, N Cameron 等},
  booktitle={计算语言学协会第54届年会论文集（第1卷：长文）},
  pages={1330--1340},
  year={2016}
}
@inproceedings{zheng2021does,
  title={预训练何时有用？评估法律领域的自监督学习及包含53,000余条法律判例的 CaseHold 数据集},
  author={Zheng, Lucia 和 Guha, Neel、Anderson, Brandon R、Henderson, Peter、Ho, Daniel E},
  booktitle={第18届国际人工智能与法律会议论文集},
  pages={159--168},
  year={2021}
}
@article{zimmeck2019maps,
  title={MAPS：将隐私合规性分析扩展至百万款应用},
  author={Zimmeck, Sebastian 和 Story, Peter、Smullen, Daniel、Ravichander, Abhilasha、Wang, Ziqi、Reidenberg, Joel R、Russell, N Cameron、Sadeh, Norman},
  journal={隐私增强技术会议论文集},
  volume={2019},
  pages={66},
  year={2019}
}
@article{ravichander2019question,
  title={隐私政策问答：结合计算与法律视角},
  author={Ravichander, Abhilasha 和 Black, Alan W、Wilson, Shomir、Norton, Thomas、Sadeh, Norman},
  journal={arXiv 预印本 arXiv:1911.00841},
  year={2019}
}
@article{holzenberger2021factoring,
  title={将成文法推理分解为语言理解挑战},
  author={Holzenberger, Nils 和 Van Durme, Benjamin},
  journal={arXiv 预印本 arXiv:2105.07903},
  year={2021}
}
@article{lippi2019claudette,
  title={CLAUDETTE：在线服务条款中潜在不公平条款的自动化检测器},
  author={Lippi, Marco 和 Pa{\l}ka, Przemys{\l}aw、Contissa, Giuseppe、Lagioia, Francesca、Micklitz, Hans-Wolfgang、Sartor, Giovanni、Torroni, Paolo},
  journal={人工智能与法律},
  volume={27},
  pages={117--139},
  year={2019},
  publisher={Springer}
}

联系方式

如有任何问题、疑虑或意见，请联系 Neel（nguha@stanford.edu）。

LegalBench 快速上手指南

LegalBench 是一个协作构建的开源基准测试项目，旨在评估大型语言模型（LLM）在法律推理任务中的表现。该基准包含 162 个由法律社区众包贡献的任务，涵盖传闻证据判断、定义提取、规则问答等多种法律场景。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows (推荐 WSL2)
• Python 版本：Python 3.8 或更高版本
• 依赖库：
  • datasets (Hugging Face)
  • transformers (可选，用于加载模型进行评测)
  • pandas, numpy (用于数据处理)

建议创建一个独立的虚拟环境以避免依赖冲突：

python -m venv legalbench-env
source legalbench-env/bin/activate  # Windows 用户使用: legalbench-env\Scripts\activate

安装核心依赖：

pip install datasets transformers pandas numpy

国内加速提示：如果下载 Hugging Face 数据集受阻，建议配置国内镜像源或使用代理。 设置环境变量使用国内镜像：

export HF_ENDPOINT=https://hf-mirror.com

安装步骤

LegalBench 主要通过 Hugging Face Datasets 库直接加载，无需克隆整个 GitHub 仓库即可使用数据。如果您需要查看具体的任务描述文件或贡献代码，可以克隆仓库。

方式一：直接通过 Hugging Face 加载（推荐）

无需额外安装 legalbench 包，直接使用 datasets 库即可拉取数据。

pip install datasets

方式二：克隆源代码仓库（可选）

如果您需要浏览本地任务文档或运行特定的评估脚本：

git clone https://github.com/HazyResearch/legalbench.git
cd legalbench

基本使用

LegalBench 的核心用法是通过 Hugging Face datasets 库加载特定的法律任务数据集。每个任务都是一个独立的子集。

1. 加载特定任务数据集

以下示例展示如何加载 "hearsay"（传闻证据判断）任务。该任务的输入是证据描述，输出是判断是否为传闻证据（Yes/No）。

from datasets import load_dataset

# 加载 hearsay 任务数据集
# 注意：'nguha/legalbench' 是数据集名称，'hearsay' 是具体的任务配置名
dataset = load_dataset("nguha/legalbench", "hearsay")

# 查看训练集的一条样本
print(dataset["train"][0])

输出示例：

{'input': 'The witness testified that he heard the defendant say, "I did it."', 'output': 'No', 'task_name': 'hearsay'}

2. 遍历其他任务

LegalBench 包含 162 个任务。您可以更改第二个参数来加载不同的任务，例如 "definition_extraction"（定义提取）或 "rule_qa"（规则问答）。

# 加载定义提取任务
def_ext_dataset = load_dataset("nguha/legalbench", "definition_extraction")

# 查看第一条数据
sample = def_ext_dataset["train"][0]
print(f"输入句子：{sample['input']}")
print(f"提取术语：{sample['output']}")

3. 构建简单的评估循环

您可以将输入提供给 LLM，并比较其生成结果与标准输出（output 字段）。

# 伪代码示例：模拟评估过程
def evaluate_sample(model, input_text):
    # 调用您的模型生成答案
    prediction = model.generate(input_text) 
    return prediction

# 假设已加载数据集
test_data = dataset["test"]

correct_count = 0
total_count = len(test_data)

for item in test_data:
    input_text = item["input"]
    ground_truth = item["output"]
    
    # 获取模型预测 (此处需替换为实际模型调用逻辑)
    # prediction = evaluate_sample(my_llm, input_text) 
    prediction = "No" # 占位符
    
    if prediction.strip().lower() == ground_truth.strip().lower():
        correct_count += 1

accuracy = correct_count / total_count
print(f"Accuracy on hearsay task: {accuracy:.2f}")

4. 查看可用任务列表

若不确定任务名称，可访问 LegalBench 任务列表页面 查询所有 162 个任务的详细名称和描述，或在代码中尝试加载时查看报错信息中列出的可用配置。

许可说明：LegalBench 是由多个不同许可证的数据集混合而成。在使用特定任务前，请务必查阅该任务对应的许可证信息（可在 GitHub 仓库的 tasks 目录或 Hugging Face 数据集卡片中找到），并遵守原作者的许可协议。