ChatLaw：基于知识图谱与混合专家模型的大型语言模型多智能体法律助理

ChatLaw 模型

ChatLaw2-MoE

• 最新版本：基于 InternLM 架构，采用 4x7B 混合专家（MoE）设计。

• 专长：专为中文法律语言处理而优化。

ChatLaw-13B

• 演示版本：基于 Ziya-LLaMA-13B-v1 模型构建。
• 性能：在通用中文任务中表现出色，但在复杂法律问答场景下需要更大规模的模型支持。

ChatLaw-33B

• 演示版本：采用 Anima-33B 模型。
• 提升：相比 13B 版本，逻辑推理能力有所增强。
• 挑战：由于 Anima 模型的中文训练数据有限，有时会默认以英文作答。

ChatLaw-Text2Vec

• 功能：一款基于 93,000 份法院判决文书训练的文本相似度模型。
• 能力：能够将用户查询匹配到相关的法律条文，提供上下文相关性建议。
• 示例：将关于贷款偿还的问题与合同法中的相应条款关联起来。

简介

由大型语言模型（LLM）驱动的AI法律助理为用户提供便捷的法律咨询服务。然而，AI回复中可能出现幻觉问题，这成为一大隐患。本文介绍 ChatLaw，一种创新的法律助理系统，它结合了混合专家模型和多智能体协作机制，以提升AI法律服务的可靠性和准确性。通过整合知识图谱和人工筛选，我们构建了一个高质量的法律数据集用于训练 MoE 模型。该模型利用不同领域的专家来应对多样化的法律问题，从而优化法律响应的准确性。借鉴律师事务所工作流程制定的标准操作程序（SOP），显著减少了错误和幻觉现象的发生。

我们的 MoE 模型在 Lawbench 和全国统一法律职业资格考试中均超越 GPT-4，分别取得了高出 7.73% 的准确率和领先 11 分的成绩。此外，在多个维度的真实案例咨询中，ChatLaw 也优于其他模型，展现出强大的法律咨询能力。

---

多智能体协作流程及法律咨询报告

下图展示了多智能体协作提供法律咨询服务的过程，以离婚咨询为例。该流程包括信息收集、法律检索、综合建议生成，并最终形成一份详细的法律咨询报告。

数据集

数据可视化与性能对比

(a) 我们的法律数据集涵盖了从案件分类到舆情分析等多样化的任务。

(b) ChatLaw 在多个法律类别中均展现出优于其他模型的性能。

(c) 如 Lawbench 对比所示，ChatLaw 在法律认知任务中持续领先于其他模型。

(d) 在全国统一法律职业资格考试中，ChatLaw 过去五年始终保持高水准表现。

实验

法律咨询质量与模型性能评估

(a) 法律咨询质量依据完整性、逻辑性、正确性、语言质量、指导性和权威性进行评估。

(b) ChatLaw 在所有指标上均获得最高分，尤其在完整性、指导性和权威性方面表现突出。

(c) ChatLaw 相较其他模型具有更高的胜率，表明其在提供高质量法律咨询方面的能力更优。

真实性问答评估

使用方法

模型下载地址：ChatLaw2-MoE

@misc{cui2024chatlaw,
      title={Chatlaw: A Multi-Agent Collaborative Legal Assistant with Knowledge Graph Enhanced Mixture-of-Experts Large Language Model}, 
      author={Jiaxi Cui and Munan Ning and Zongjian Li and Bohua Chen and Yang Yan and Hao Li and Bin Ling and Yonghong Tian and Li Yuan},
      year={2024},
      eprint={2306.16092},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}
@misc{ChatLaw,
  author={Jiaxi Cui and Zongjian Li and Yang Yan and Bohua Chen and Li Yuan},
  title={ChatLaw},
  year={2023},
  publisher={GitHub},
  journal={GitHub repository},
  howpublished={\url{https://github.com/PKU-YuanGroup/ChatLaw}},
}

星标历史

ChatLaw 快速上手指南

ChatLaw 是一个基于大语言模型的多智能体法律助手，通过知识图谱和混合专家（MoE）架构增强，旨在提供准确、可靠的中文法律咨询。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+) 或 macOS
• Python: 3.8 或更高版本
• GPU: 推荐使用 NVIDIA GPU (显存建议 16GB 以上以运行较大模型，如使用量化版本可适当降低)
• 依赖管理: pip 或 conda

前置依赖安装：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install transformers accelerate sentencepiece

提示：国内开发者建议使用清华或阿里镜像源加速安装： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch torchvision torchaudio transformers accelerate sentencepiece

安装步骤

目前推荐直接使用 Hugging Face 上的最新 ChatLaw2-MoE 模型。您可以通过 transformers 库直接加载模型，无需克隆整个仓库即可进行推理测试。

1. 创建虚拟环境（可选但推荐）：

   python -m venv chatlaw_env
   source chatlaw_env/bin/activate  # Windows 用户使用: chatlaw_env\Scripts\activate
   

2. 安装核心依赖：

   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple transformers accelerate torch
   

3. 验证模型下载： 确保您可以访问 Hugging Face。如果网络受限，建议配置本地代理或使用镜像站（如 hf-mirror.com）。

   设置环境变量使用镜像（可选）：

   export HF_ENDPOINT=https://hf-mirror.com
   

基本使用

以下是最简单的 Python 代码示例，展示如何加载 ChatLaw2-MoE 模型并进行法律问答。

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# 模型名称
model_name = "PandaVT/ChatLaw2-MoE"

# 加载分词器和模型
# 注意：如果显存不足，可添加 device_map="auto" 和 load_in_8bit=True (需安装 bitsandbytes)
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_name, 
    trust_remote_code=True, 
    torch_dtype=torch.float16, 
    device_map="auto"
)

# 准备输入提示 (Prompt)
# ChatLaw 针对中文法律场景优化，建议直接使用中文提问
prompt = "请问民间借贷纠纷中，借条没有写明还款日期，诉讼时效怎么计算？"

# 生成回复
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(
    **inputs, 
    max_new_tokens=512, 
    do_sample=True, 
    temperature=0.7, 
    top_p=0.9
)

# 解码并输出结果
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

使用说明：

• 模型选择：上述代码默认加载最新的 ChatLaw2-MoE (基于 InternLM 架构)，它在中文法律任务上表现最佳。
• 显存优化：如果您的显卡显存较小，建议在 from_pretrained 中加入 load_in_8bit=True 参数（需先 pip install bitsandbytes），或使用 device_map="auto" 自动卸载部分层到 CPU。
• 多智能体功能：完整的“多智能体协作”流程（如生成详细法律咨询报告）需要调用项目仓库中的特定 Agent 编排脚本，基础推理可直接使用上述代码。