DISC-FinLLM 是一款专为金融场景打造的大型语言模型，旨在为用户提供专业、智能且全面的金融咨询服务。该模型由复旦大学数据智能与社会计算实验室 (Fudan-DISC) 开发并开源。

在本项目中，我们将公开以下资源：

• DISC-FinLLM-SFT 训练数据样例
• DISC-FinLLM 模型参数
• DISC-Fin-Eval Benchmark
• DISC-FinLLM-SFT 完整训练数据（待定）
• DEMO 部署代码（待定）

您可以通过访问此链接在线体验我们的 DISC-FinLLM。

目录

• 概述
• 模型微调
• 推理与部署
• DISC-Fin-Eval Benchmark
• 致谢
• 声明
• 引用
• 协议

概述

DISC-FinLLM 是一款金融领域的大型语言模型，由四个面向不同金融场景的模块组成：金融咨询、金融文本分析、金融计算和金融知识检索问答，构成了一套多专家智慧金融系统。这些模块分别在金融 NLP 任务、人类试题、资料分析以及时事分析等四项评测中展现出显著优势，充分证明了 DISC-FinLLM 能为广泛的金融领域提供强有力的支持。DISC-FinLLM 在多种应用场景下都能发挥重要作用，可实现多种功能：

• 金融咨询： 该模块能够在中国金融语境下，与用户展开多轮金融话题对话，或为用户讲解金融相关专业知识，其训练基于数据集中的金融咨询指令部分。
• 金融文本分析： 该模块可帮助用户完成金融文本中的信息抽取、情感分析、文本分类、文本生成等 NLP 任务，其训练基于数据集中的金融任务指令部分。
• 金融计算： 该模块可协助用户完成与数学计算相关的任务，除了利率、增长率等基础计算外，还支持统计分析以及包括 Black-Scholes 期权定价模型、EDF 预期违约概率模型在内的多种金融模型计算。该模块的训练基于数据集中的金融计算指令部分。
• 金融知识检索问答： 该模块能够根据金融新闻、研报及相关政策文件，为用户提供投资建议、时事分析和政策解读。其训练基于数据集中的检索增强指令部分。

模型效果演示

金融咨询

金融文本分析

金融计算

金融知识检索问答

DISC-Fin-SFT 数据集

DISC-FinLLM 是基于我们构建的高质量金融数据集 DISC-Fin-SFT，借助通用领域中文大模型 Baichuan-13B-Chat 进行 LoRA 指令微调而得来的金融大模型。DISC-Fin-SFT 共计包含约 25 万条数据，细分为四个子数据集：金融咨询指令、金融任务指令、金融计算指令和检索增强指令。

数据集	数据量	输入长度	输出长度
金融咨询指令	63k	26	369
金融任务指令	110k	676	35
金融计算指令	57k	73	190
检索增强指令	20k	1031	521
DISC-Fin-SFT	246k	351	198

金融咨询指令

金融咨询指令数据来源于三个部分：

• Wealth-alpaca-lora 是一个英文的金融问答数据集，其部分答案并不符合中国国情和立场。因此，我们将 FiQA 中的所有问题翻译成中文，并利用 ChatGPT 重新生成问题的答案，以提升该数据集的质量。
• 金融名词解释。我们在网上收集了 200 多个金融领域的专业术语（如：杠杆收购），并使用 ChatGPT 为这些专业词汇生成相应的问答对，以此训练模型对金融术语的理解。
• 经管之家论坛上的公开发帖。我们通过 self-chat 提示法引导 ChatGPT 围绕帖子主题生成多轮问答。

在引导 ChatGPT 生成数据的过程中，我们通过精心设计的提示词，确保生成的问答符合中国的国情、立场、态度和语言风格。

金融任务指令

金融任务指令数据来源于两个部分：

• 金融 NLP 数据集。该部分基于已有的金融 NLP 数据集，通过人工编写的提示词进行改编而来。我们搜集了十余个开源的中文 NLP 数据集，可分为情绪分析、信息抽取、文本生成、文本分类和翻译几类。该数据集的分布如下所示：

数据集	主要任务类型	次要任务类型	数据量
FPB	情感分析	情感分析	18690
FIQA-SA	情感分析	情感分析	-
FNSC	情感分析	情感分析	-
CCKS-NEC-2022	信息抽取	因果抽取	7499
SmoothNLP IEE	信息抽取	事件抽取	3256
SmoothNLP NHG	文本生成	文本生成	4642
CCKS2022-event	文本分类	事件类型分类	3578
Minds14	文本分类	意图识别	59143
Financial Report	信息抽取	实体抽取	61705
OpenKG	信息抽取	实体抽取	7672
OpenKG	信息抽取	实体抽取	67921
FDDC2018	翻译	术语翻译	333
Wealth-alpaca-lora	文本生成	关键词生成	41825

• 金融无标签文本数据集。我们基于无标注的金融文本构建金融阅读理解数据集。我们从东方财富网收集了 87k 篇文章，包括金融新闻和行业研报摘要。随后，引导 ChatGPT 先生成问题，再生成答案，得到（金融文本、问题、答案）这样的三元组，并进一步使用阅读理解任务模板改写为指令对，

金融计算指令

在金融计算中，表达式计算器、方程求解器、正态概率表、计数器四种工具可以帮助模型完成大多数的计算任务。这四种工具各有不同的调用命令、输入和输出。例如，计算器的命令是 [Calculator(expression)→result]。在这一部分，构建金融计算指令的目的在于训练模型在合适的时候调用这些工具来解决数学问题。四个工具的定义如下表所示：

工具名称	工具描述
表达式计算器	输入：初等函数的数学表达式
	输出：表达式的计算结果（小数表示）
方程求解器	输入：方程组
	输出：方程组的解
计数器	输入：包含数据样本的数组
	输出：样本数量
概率表	输入：数字
	输出：正态分布累积分布函数在这个数字处的值

首先，我们构建了一个种子任务库，其中的种子任务由三部分组成：根据金融考试人工改写的计算题、带有研报上下文的数据计算题、BELLE 数据集中校园数学部分的通用数学题。特别地，根据 Toolformer 方法，这些问题的答案中插入着上述四个工具的调用命令，它们代表着调用工具的方法和时机。随后，为了增加数据的数量和多样性，我们通过小样本思维链提示（Few-shot Chain-of-Thought Prompting）方法，让 ChatGPT 在提示词的引导下，根据种子任务生成超过 5 万个新问答对，其中的答案也带有插件命令。

检索增强指令

检索增强指令的构造分为三步。第一步，我们根据新闻和研报等金融文本构造金融分析问题。第二步，我们在知识库中检索与问题有关的文档，其中参考文档源于我们构建金融知识库，包含 18k 研报和 69k 金融新闻。第三步，我们将问题和参考资料结合在一起，生成问题的答案。在这个过程中，问题和答案是由 ChatGPT 通过 Chain-of-Retrieval (CoR) 提示法生成的。最终，我们构建了一个由 20k 条检索增强指令组成的数据集，其中的指令涵盖了金融领域中主要的分析形式，包括行业分析、政策分析、投资建议、公司战略规划等。

我们展示了 DISC-FinLLM-SFT 训练数据样例，您可以访问这个 链接 下载数据集。

模型微调

LoRA 微调

针对金融领域的不同功能，我们首先采用了多专家微调的训练策略。我们在特定的子数据集上训练模型的各个模块，使它们彼此互不干扰，独立完成不同任务。为此，我们以 Baichuan-13B-Chat 为基座模型，使用 LoRA 方法高效地进行参数微调。

通过数据集的四个部分，分别训练 4 个 LoRA 专家模块。部署时，用户只需更换在当前基座上的 LoRA 参数，就可以切换功能。因此，用户能够根据使用需求激活/停用模型的不同模块，而无需重新加载整个模型。4 个 LoRA 专家模块分别如下：

• 金融顾问：该模型用于多轮对话。由于我们的金融咨询指令数据十分丰富，该模型可以在中国的金融语境下做出高质量的回答，为用户解答金融领域的专业问题，提供优质的咨询服务。
• 文件分析师：该模型主要用于处理金融自然语言处理领域内的各种任务，包括但不限于金融文本中的信息抽取、情绪分析等。
• 财务会计师：DISC-FinLLM 支持四种工具，即表达式计算器、方程求解器、计数器和概率表。这些工具支持我们的模型完成金融领域的大多数的计算任务，如金融数学建模、统计分析等。当模型需要使用工具时，它可以生成工具调用命令，然后中断解码，并将工具调用结果添加到生成的文本中。这样，DISC-FinLLM 就能借助工具提供的准确计算结果，回答金融中的计算问题。
• 时事分析师：我们在第四个 LoRA 训练中引入检索插件。DISC-FinLLM 主要参考了三类金融文本：新闻、报告和政策。当用户问及时事、行业趋势或金融政策等常见金融话题时，我们的模型可以检索相关文件，并像金融专家一样展开分析并提供建议。

您可以直接从 Hugging Face 上下载我们的 LoRA 模型权重。

全量微调

我们以 Baichuan-13B-Chat 为基座模型，混合了所有数据，在 8 * Nvidia A800 80 GB + deepspeed 的环境下进行了全量微调测试。

您可以直接从 Hugging Face 上下载我们的全参模型权重。

推理和部署

当前版本的 DISC-FinLLM 是基于 Baichuan-13B-Chat 训练得到的。我们分别使用不同数据进行了 LoRA 训练，以及使用全部数据进行了全参训练。您可以直接从 Hugging Face 上下载我们的模型权重。

首先，您需要安装项目的依赖环境。

pip install -r requirements.txt

Python

全参模型

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers.generation.utils import GenerationConfig
from peft import PeftModel, PeftConfig

model_path = "Go4miii/DISC-FinLLM"
model = AutoModelForCausalLM.from_pretrained(
    model_path, torch_dtype=torch.float16, device_map="auto", trust_remote_code=True
)
model.generation_config = GenerationConfig.from_pretrained(model_path)
tokenizer = AutoTokenizer.from_pretrained(
    model_path, use_fast=False, trust_remote_code=True,
)

messages = [
    {"role": "user", "content": "请解释一下什么是银行不良资产？"},
]
response = model.chat(tokenizer, messages)
print(response)

LoRA 模型

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers.generation.utils import GenerationConfig
from peft import PeftModel, PeftConfig

model_path = "Go4miii/DISC-FinLLM"
model = AutoModelForCausalLM.from_pretrained(
    model_path, torch_dtype=torch.float16, device_map="auto", trust_remote_code=True
)
model.generation_config = GenerationConfig.from_pretrained(model_path)
tokenizer = AutoTokenizer.from_pretrained(
    model_path, use_fast=False, trust_remote_code=True,
)
model = PeftModel.from_pretrained(model, lora_path
)

messages = [
    {"role": "user", "content": "请解释一下什么是银行不良资产？"},
]
response = model.chat(tokenizer, messages)
print(response)

我们的四个 LoRA 路径，使用时将上述 lora_path 替换为以下路径即可：

• lora_path=‘Go4miii/DISC-FinLLM/Baichuan-13B-Chat-lora-Task’
• lora_path=‘Go4miii/DISC-FinLLM/Baichuan-13B-Chat-lora-Consulting’
• lora_path=‘Go4miii/DISC-FinLLM/Baichuan-13B-Chat-lora-Computing’
• lora_path=‘Go4miii/DISC-FinLLM/Baichuan-13B-Chat-lora-Retrival’

命令行工具

python cli_demo.py

网页 Demo

借助 Streamlit 工具，运行以下命令后，本地会启动一个 Web 服务。您只需在浏览器中输入控制台提供的地址即可访问：

streamlit run web_demo.py --server.port 8888

此外，目前版本的 DISC-FinLLM 以 Baichuan-13B 作为基座，您可以参考 Baichuan-13B 的介绍，进行 int8 或 int4 量化推理部署以及 CPU 部署。

DISC-Fin-Eval-Benchmark

我们构建了一个全面的评估框架——DISC-Fin-Eval Benchmark，从多个角度对我们的模型进行全面而严格的评估。该评估框架包含四个不同的组成部分：金融 NLP 任务、人类试题、资料分析和时事分析。这一评估框架充分证明了我们模型的能力以及训练数据的有效性。您可以点击此链接使用我们的 DISC-Fin-Eval-Benchmark。

评测系统

金融 NLP 任务评测

我们采用 FinCUGE 评估基准测试模型在处理金融 NLP 任务方面的能力。该评测共包含八项任务，包括情感分析、关系抽取、文本摘要、文本分类、事件抽取及其他任务。通过提示模板，我们将该数据集改造为小样本（few-shot）形式，并利用常用的准确度（accuracy）、F1 和 Rouge 指标来评价模型的表现，从而衡量模型在金融领域中理解文本并生成相关回答的能力。评测结果如下：

模型 ↓ 评测集 →	FinFE（Accuracy）	FinQA（F1）	FinCQA（F1）	FinNA（ROUGE）	FinRE（F1）	FinESE（F1）	平均值
Baichuan-13B-Chat	64.8	38.1	33.6	31.0	9.1	18.6	31.0
(LoRA)	69.3	42.4	42.0	30.9	10.1	45.3	40.0
ChatGLM	56.7	31.8	35.1	32.5	13.0	48.7	36.3
(LoRA)	60.7	41.4	36.4	34.7	10.7	46.2	38.4
ChatGLM2	61.3	28.8	35.9	28.9	11.7	42.1	34.8
(LoRA)	65.3	37.6	36.4	33.4	11.8	39.5	37.3

您可以在下方查看我们金融 NLP 任务评测的具体内容。

人类试题评测

我们采用了 FIN-Eval 基准测试模型在回答真人生成的金融问题上的能力。该基准涵盖了金融、经济、会计、证书等学科的高质量多项选择题。我们以准确度作为指标，来衡量模型的表现。评测结果如下：

模型	金融	经济	会计	证书	平均值
GPT-4	71.0	74.5	59.3	70.4	68.6
ChatGPT	59.3	61.6	45.2	55.1	55.0
Baichuan-13B-Base	52.6	50.2	43.4	53.5	50.1
Baichuan-13B-Chat	51.6	51.1	41.7	52.8	49.4
ChatGLM2-6B	46.5	46.4	44.5	51.5	47.4
InternLM-7B	49.0	49.2	40.5	49.4	47.1
InternLM-Chat-7B	48.4	49.1	40.8	49.5	47.0
LLaMA-2-Chat-70B	47.1	46.7	41.5	45.7	45.2
FinGPT-v3-6B	50.5	42.5	50.8	52.1	49.6
DISC-FinLLM（金融咨询）	54.4	45.4	52.8	51.8	51.6
DISC-FinLLM（金融任务）	57.4	48.8	49.5	49.7	51.5
DISC-FinLLM（检索增强）	56.1	44.0	49.5	50.6	50.6
DISC-FinLLM（金融计算）	54.8	50.2	46.9	50.6	50.9
DISC-FinLLM（全数据）	53.8	47.9	42.0	49.1	48.7

资料分析评测

我们手动构建了一个由 100 道财经计算题组成的数据集，用于评估模型在计算任务中的能力。这些测评问题改编自中国行政职业能力测验中的材料分析计算题，包括计算同比增长率和产值比例等。我们根据模型给出的计算公式和计算结果的正确率来评估模型的表现。评测结果如下：

	计算公式	计算公式与结果
GPT-3.5-turbo	0.28	0.26
Baichuan-13B-Chat	0.20	0.12
DISC-FinLLM（金融计算）	0.35	0.35

时事分析评测

本评测基于 GPT-3.5 模型进行评估。我们构建了一个金融问题数据集，其中的问题需要模型运用最新信息来获得准确答案。随后，我们在谷歌等搜索引擎中手动搜索，以收集与每个问题相关的多个参考文段。该数据集旨在评估模型在回答金融问题时检索信息的相关性和准确性，我们用四个指标来评价模型的表现：准确度、实用性、语言质量和思考性。评测结果如下：

	准确性	实用性	语言质量	思考性
Baichuan-13B-Chat	4.08	4.15	4.21	3.88
DISC-FinLLM（检索增强）	4.13	4.29	4.33	3.95

您可以在下方查看我们资料分析评测、时事分析评测的数据集。

致谢

本项目基于以下开源项目展开，在此向相关项目及开发人员致以诚挚的感谢：

• Baichuan-13B
• Langchain-Chatchat
• LLaMA Efficient Tuning
• FireFly
• FinEval

同样感谢其他因篇幅所限未能一一列举的为本项目提供了重要帮助的同事。

声明

DISC-FinLLM 目前仍存在大语言模型尚无法克服的问题和缺陷。尽管它能够在许多任务和情境上提供金融领域的服务，但模型仅应作为用户参考之用，不能替代专业金融分析师和金融专家。我们希望使用 DISC-FinLLM 的用户能够以批判性的眼光来评估模型。对于因使用 DISC-FinLLM 引起的任何问题、风险或不良后果，我们概不承担任何责任。

引用

如果我们的项目对您的研究和工作有帮助，请按照以下方式引用我们的项目：

@article{chen2023disc,
  title={DISC-FinLLM: 一款基于多专家微调的中文金融大语言模型},
  author={Chen, Wei and Wang, Qiushi and Long, Zefei and Zhang, Xianyin and Lu, Zhongtian and Li, Bingxuan and Wang, Siyuan and Xu, Jiarong and Bai, Xiang and Huang, Xuanjing and Wei, Zhongyu},
  journal={arXiv preprint arXiv:2310.15205},
  year={2023}
}

协议

DISC-FinLLM 可在 Apache 许可证下使用。请查看 LICENSE 文件获取更多信息。

星际历史

DISC-FinLLM 快速上手指南

环境准备

• 系统：Linux / macOS / Windows WSL2
• GPU：≥ 1× NVIDIA 显卡（≥ 16 GB 显存，LoRA 可 8 GB）
• Python：3.8+
• PyTorch：≥ 2.0（CUDA 版本需与显卡驱动匹配）

安装步骤

# 1. 克隆仓库
git clone https://github.com/FudanDISC/DISC-FinLLM.git
cd DISC-FinLLM

# 2. 创建虚拟环境（可选）
conda create -n disc python=3.10 -y
conda activate disc

# 3. 安装依赖
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

1. 直接加载全参模型（推荐显存 ≥ 32 GB）

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig

model_path = "Go4miii/DISC-FinLLM"
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype=torch.float16,
    device_map="auto",
    trust_remote_code=True
)
model.generation_config = GenerationConfig.from_pretrained(model_path)

messages = [{"role": "user", "content": "什么是银行不良资产？"}]
print(model.chat(tokenizer, messages))

2. 使用 LoRA 专家（显存 ≥ 16 GB）

from peft import PeftModel

# 选择需要的专家：Consulting / Task / Computing / Retrival
lora_path = "Go4miii/DISC-FinLLM/Baichuan-13B-Chat-lora-Consulting"
model = PeftModel.from_pretrained(model, lora_path)

3. 本地网页 Demo

streamlit run web_demo.py --server.port 8888
# 浏览器访问 http://localhost:8888

4. 命令行 Demo

python cli_demo.py

如需 int4/int8 量化 或 CPU 推理，参考 Baichuan-13B 官方指南。