基于Pytorch的中文语义相似度匹配模型

基于Pytorch的中文语义相似度匹配模型

本项目将持续更新，对比目前业界主流文本匹配模型在中文的效果

运行环境： python3.7、pytorch1.2、transformers2.5.1

数据集采用LCQMC数据（将一个句对进行分类，判断两个句子的语义是否相同（二分类任务）），因数据存在侵权嫌疑，故不提供下载，需要者可向官方提出数据申请http://icrc.hitsz.edu.cn/info/1037/1146.htm ，并将数据解压到data文件夹即可。模型评测指标为：ACC，AUC以及预测总共耗时。

Embeding：
本项目输入都统一采用分字策略，故通过维基百科中文语料，训练了字向量作为Embeding嵌入。训练语料、向量模型以及词表，可通过百度网盘下载。
链接：https://pan.baidu.com/s/1qByw67GdFSj0Vt03GSF0qg
提取码：s830

模型文件：
本项目训练的模型文件（不一定最优，可通过超参继续调优），也可通过网盘下载。
链接：https://pan.baidu.com/s/1qByw67GdFSj0Vt03GSF0qg
提取码：s830

测试集结果对比：

模型	ACC	AUC	耗时（s）（备注：环境1070TI)
ABCNN	0.8081	0.9059	4.6260
Albert	0.8522	0.9475	52.3823
Bert	0.8714	0.9544	61.2800
BIMPM	0.8359	0.9375	18.8210
DecomposableAttention	0.8068	0.9334	3.7170
DistilBert	0.8450	0.9403	31.1680
ESIM	0.8385	0.9311	2.7410
RE2	0.8391	0.9196	5.2200
Roberta	0.8726	0.9591	61.3130
SiaGRU	0.8281	0.9336	3.5500
XlNet	0.8694	0.9601	89.8090

部分模型，借鉴了
https://github.com/alibaba-edu/simple-effective-text-matching-pytorch
https://github.com/pengshuang/Text-Similarity
等项目。

TextMatch 快速上手指南

TextMatch 是一个基于 PyTorch 的中文语义相似度匹配模型库，支持多种主流模型（如 BERT、RoBERTa、ALBERT 等）在中文 LCQMC 数据集上的训练与评测。

环境准备

确保您的开发环境满足以下要求：

• 操作系统：Linux / macOS / Windows
• Python 版本：3.7
• 核心依赖：
  • PyTorch 1.2
  • Transformers 2.5.1

建议创建虚拟环境以避免依赖冲突：

python3.7 -m venv textmatch_env
source textmatch_env/bin/activate  # Windows 用户使用: textmatch_env\Scripts\activate

安装依赖（推荐使用国内镜像源加速）：

pip install torch==1.2.0 transformers==2.5.1 -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆项目代码

   git clone <项目仓库地址>
   cd TextMatch
   

2. 准备数据集 本项目使用 LCQMC 数据集。由于版权原因，需自行向官方申请：

   • 申请地址：http://icrc.hitsz.edu.cn/info/1037/1146.htm
   • 将下载并解压后的数据文件放入项目根目录下的 data 文件夹中。

3. 下载预训练资源 项目所需的字向量（Embedding）、词表及预训练模型文件可通过百度网盘获取：

   • 链接：https://pan.baidu.com/s/1qByw67GdFSj0Vt03GSF0qg
   • 提取码：s830
   • 下载后请将文件解压至项目对应目录（通常为 embedding 或 models 文件夹，具体请参考项目内说明）。

基本使用

本项目主要用于句对语义相似度的二分类任务（判断两个句子语义是否相同）。

假设您已准备好数据和模型文件，运行评测或训练的通用命令格式如下（具体脚本名称请以项目实际文件为准，以下为典型示例）：

# 运行模型评测 (以 Bert 为例)
python run_eval.py --model_name bert --data_dir ./data --batch_size 32

若需进行训练，可使用类似命令：

# 启动训练
python run_train.py --model_name roberta --data_dir ./data --epochs 3

输出指标说明： 程序运行结束后，将输出以下关键指标：

• ACC：准确率
• AUC：曲线下面积
• 耗时：预测总耗时（秒）

注意：不同模型对显存和计算时间要求差异较大（如 XLNet 耗时显著高于 ESIM），请根据硬件配置（如 GTX 1070Ti 及以上）选择合适的模型进行测试。