nlp_xiaojiang

文本增强

- 回译（效果比较好）
- EDA（同义词替换、插入、交换和删除）（效果还行）
- HMM-marko（质量较差）
- syntax（依存句法、句法、语法书）（简单句还可）
- seq2seq（深度学习同义句生成，效果不理想，seq2seq代码大都是 [https://github.com/qhduan/just_another_seq2seq] 的，效果不理想）
- 预训练(UNILM生成、开源模型回译)

聊天机器人

- 检索式聊天机器人
    - 像ES那样直接检索(如使用fuzzywuzzy)，只能字面匹配
    - 构造句向量，检索问答库，能够检索有同义词的句子
- 生成式聊天机器人（待办）
    - seq2seq
    - GAN

文本分类

- bert+bi-lstm(keras) 方法在微众银行智能客服问题匹配竞赛中达到0.78~0.79%的准确率
- bert + text-cnn(keras) 方法在微众银行智能客服问题匹配竞赛中达到0.78~0.79%的准确率
- bert + r-cnn(keras) 方法在微众银行智能客服问题匹配竞赛中达到0.78~0.79%的准确率
- bert + avt-cnn(keras) 方法在微众银行智能客服问题匹配竞赛中达到0.78~0.79%的准确率

命名实体识别

- bert命名实体提取(bert12层embedding + bilstm + crf)
    - args.py(配置一些参数)
    - keras_bert_embedding.py(bert embedding)
    - keras_bert_layer.py(layer层, 主要有CRF和NonMaskingLayer)
    - keras_bert_ner_bi_lstm.py(主函数, 定义模型、数据预处理和训练预测等)
    - layer_crf_bojone.py(CRF层, 未使用)

特征工程

- bert句向量、文本相似度
    - bert/extract_keras_bert_feature.py:提取bert句向量特征
    - bert/tet_bert_keras_sim.py:测试xlnet句向量cosin相似度
- xlnet句向量、文本相似度
    - xlnet/extract_keras_xlnet_feature.py:提取bert句向量特征
    - xlnet/tet_xlnet_keras_sim.py:测试bert句向量cosin相似度
- normalization_util指的是数据归一化
    - 0-1归一化处理
    - 均值归一化
    - sig归一化处理
- sim feature（ML）
    - distance_text_or_vec:各种计算文本、向量距离等
    - distance_vec_TS_SS：TS_SS计算词向量距离
    - cut_td_idf：将小黄鸡语料和gossip结合
    - sentence_sim_feature：计算两个文本的相似度或者距离，例如qq（问题和问题），或者qa（问题和答案）

运行（可在win10下,pycharm下运行）

• 1.创建tf-idf文件等（运行2需要先跑1）:
  python cut_td_idf.py
• 2.计算两个句子间的各种相似度，先计算一个预定义的，然后可输入自定义的（先跑1）:
  python sentence_sim_feature.py
• 3.chatbot_1跑起来(fuzzy检索-没)（独立）：
  python chatbot_fuzzy.py
• 4.chatbot_2跑起来(句向量检索-词)（独立）：
  python chatbot_sentence_vec_by_word.py
• 5.chatbot_3跑起来(句向量检索-字)（独立）：
  python chatbot_sentence_vec_by_char.py
• 6.数据增强（eda)： python enhance_eda.py
• 7.数据增强（marko）: python enhance_marko.py
• 8.数据增强（translate_account）: python translate_tencent_secret.py
• 9.数据增强（translate_tools）: python translate_translate.py
• 10.数据增强（translate_web）: python translate_google.py
• 11.数据增强（augment_seq2seq）: 先跑 python extract_char_webank.py生成数据， 再跑 python train_char_anti.py 然后跑 python predict_char_anti.py
• 12.特征计算(bert)（提取特征、计算相似度）: run extract_keras_bert_feature.py run tet_bert_keras_sim.py

数据

- chinese_L-12_H-768_A-12（谷歌预训练好的模型）
   github项目中只是上传部分数据，需要的前往链接: https://pan.baidu.com/s/1I3vydhmFEQ9nuPG2fDou8Q 提取码: rket
   解压后就可以啦
- chinese_xlnet_mid_L-24_H-768_A-12(哈工大训练的中文xlnet, mid, 24层, wiki语料+通用语料)
    - 下载地址[https://github.com/ymcui/Chinese-PreTrained-XLNet](https://github.com/ymcui/Chinese-PreTrained-XLNet)
- chinese_vector
    github项目中只是上传部分数据，需要的前往链接: https://pan.baidu.com/s/1I3vydhmFEQ9nuPG2fDou8Q 提取码: rket
    - 截取的部分word2vec训练词向量（自己需要下载全效果才会好）
    - w2v_model_wiki_char.vec、w2v_model_wiki_word.vec都只有部分，词向量w2v_model_wiki_word.vec可以用这个下载地址的替换[https://pan.baidu.com/s/14JP1gD7hcmsWdSpTvA3vKA](https://pan.baidu.com/s/14JP1gD7hcmsWdSpTvA3vKA)

- corpus
    github项目中只是上传部分数据，需要的前往链接: https://pan.baidu.com/s/1I3vydhmFEQ9nuPG2fDou8Q 提取码: rket
    - ner(train、dev、test----人民日报语料)
    - webank(train、dev、test)
    - 小黄鸡和gossip问答预料（数据没清洗）,chicken_and_gossip.txt
    - 微众银行和支付宝文本相似度竞赛数据， sim_webank.csv
- sentence_vec_encode_char
    - 1.txt（字向量生成的前100000句向量）
- sentence_vec_encode_word
    - 1.txt（词向量生成的前100000句向量）
- tf_idf（chicken_and_gossip.txt生成的tf-idf）

requestments.txt

- python_Levenshtei
    - 调用Levenshtein，我的python是3.6，
    - 打开其源文件: https://www.lfd.uci.edu/~gohlke/pythonlibs/
    - 查找python_Levenshtein-0.12.0-cp36-cp36m-win_amd64.whl下载即可
- pyemd
- pyhanlp
    - 下好依赖JPype1-0.6.3-cp36-cp36m-win_amd64.whl

参考/感谢

• eda_chinese：https://github.com/zhanlaoban/eda_nlp_for_Chinese
• 主谓宾提取器：https://github.com/hankcs/MainPartExtractor
• HMM生成句子：https://github.com/takeToDreamLand/SentenceGenerate_byMarkov
• 同义词等：https://github.com/fighting41love/funNLP/tree/master/data/
• 小牛翻译：http://www.niutrans.com/index.html

其他资料

• bert(keras):https://github.com/CyberZHG/keras-bert
• NLP数据增强汇总:https://github.com/quincyliang/nlp-data-augmentation
• 知乎NLP数据增强话题:https://www.zhihu.com/question/305256736/answer/550873100
• chatbot_seq2seq_seqGan（比较好用）：https://github.com/qhduan/just_another_seq2seq
• 自己动手做聊天机器人教程: https://github.com/warmheartli/ChatBotCourse

nlp_xiaojiang 快速上手指南

环境准备

系统要求

• 操作系统: Windows 10 (推荐在 PyCharm 中运行)
• Python 版本: Python 3.6

前置依赖

本项目依赖多个 NLP 库和预训练模型，部分依赖需手动下载 .whl 文件安装。

1. 基础依赖安装

   pip install pyemd
   

2. 手动安装特定轮子包 (Windows) 由于 python-Levenshtein 和 pyhanlp 的依赖 JPype1 在部分环境下编译困难，建议前往 UCI Gohlke 库 下载对应 Python 3.6 版本的 .whl 文件后本地安装：

   • 下载 python_Levenshtein-0.12.0-cp36-cp36m-win_amd64.whl
   • 下载 JPype1-0.6.3-cp36-cp36m-win_amd64.whl (pyhanlp 依赖)

   安装命令示例：

   pip install python_Levenshtein-0.12.0-cp36-cp36m-win_amd64.whl
   pip install JPype1-0.6.3-cp36-cp36m-win_amd64.whl
   pip install pyhanlp
   

3. 预训练模型与数据下载 GitHub 仓库仅包含部分示例数据，完整功能需下载以下资源并解压至项目目录：

   • BERT 模型 & 词向量 & 语料数据:
     • 地址: 百度网盘 (提取码: rket)
     • 内容: chinese_L-12_H-768_A-12 (谷歌 BERT), chinese_vector (Word2Vec), corpus (NER/问答/相似度数据集)
   • XLNet 模型:
     • 地址: Chinese-PreTrained-XLNet
     • 推荐下载: chinese_xlnet_mid_L-24_H-768_A-12
   • 全量词向量 (可选，提升效果):
     • 地址: 百度网盘 (替换项目中不完整的 w2v_model_wiki_word.vec)

---

安装步骤

1. 克隆或下载本项目代码到本地。
2. 按照“环境准备”章节安装所有 Python 依赖包。
3. 下载所需的预训练模型和数据集，确保目录结构与代码中引用的路径一致（通常放在项目根目录或 data 文件夹下）。
4. 确认 requirements.txt 中的其他常规依赖已安装（如有缺失可尝试 pip install -r requirements.txt，但需注意上述手动安装的包）。

---

基本使用

本项目模块化程度较高，不同功能对应独立的脚本。以下是核心功能的快速启动示例：

1. 文本相似度计算

先构建 TF-IDF 索引，再计算句子相似度。

# 第一步：创建 tf-idf 文件
python cut_td_idf.py

# 第二步：计算句子相似度（支持预设测试和自定义输入）
python sentence_sim_feature.py

2. 聊天机器人 (检索式)

提供三种检索策略，可独立运行：

# 方案 A: 基于模糊匹配 (FuzzyWuzzy)
python chatbot_fuzzy.py

# 方案 B: 基于句向量检索 (按词粒度)
python chatbot_sentence_vec_by_word.py

# 方案 C: 基于句向量检索 (按字粒度)
python chatbot_sentence_vec_by_char.py

3. 数据增强 (Data Augmentation)

支持多种增强策略，根据需求选择脚本：

# EDA (同义词替换、插入、交换、删除)
python enhance_eda.py

# Markov 链生成
python enhance_marko.py

# 回译增强 (需配置翻译接口密钥或使用在线工具)
python translate_tencent_secret.py   # 腾讯翻译
python translate_translate.py        # 通用翻译工具
python translate_google.py           # Google 翻译

注：Seq2Seq 增强需依次运行 extract_char_webank.py -> train_char_anti.py -> predict_char_anti.py。

4. 特征提取与命名实体识别 (NER)

基于 BERT 的特征提取和 NER 任务：

# 提取 BERT 句向量特征
python extract_keras_bert_feature.py

# 测试 BERT 句向量余弦相似度
python tet_bert_keras_sim.py

# 运行 NER 模型 (需在 keras_bert_ner_bi_lstm.py 中配置数据路径后运行)
# 主逻辑位于: keras_bert_ner_bi_lstm.py

提示: 运行前请检查各脚本内部的参数配置（如数据路径、模型路径），部分脚本依赖 args.py 进行统一配置。