本项目仅为实验目的的原型，未发布生产级代码。

用于文本相似度的深度 LSTM (长短期记忆网络) 孪生网络

这是一个基于 TensorFlow 框架的实现，使用字符嵌入 (character embeddings) 来捕捉短语/句子的相似度。

此代码提供了学习两种任务的架构：

• 使用字符级嵌入 (char level embeddings) 的短语相似度 [1]

• 使用词级嵌入 (word level embeddings) 的句子相似度 [2]

对于上述两个任务，它都使用多层孪生 LSTM (长短期记忆网络) 网络以及基于欧几里得距离 (euclidian distance) 的对比损失 (contrastive loss) 来学习输入对相似度。

功能

给定足够的训练对，该模型可以学习语义 (Semantic) 以及结构 (structural) 相似度。例如：

短语：

• International Business Machines = I.B.M
• Synergy Telecom = SynTel
• Beam inc = Beam Incorporate
• Sir J J Smith = Johnson Smith
• Alex, Julia = J Alex
• James B. D. Joshi = James Joshi
• James Beaty, Jr. = Beaty

对于短语，模型学习基于字符的嵌入 (character based embeddings) 以识别结构/句法相似度。

句子：

• He is smart = He is a wise man.
• Someone is travelling countryside = He is travelling to a village.
• She is cooking a dessert = Pudding is being cooked.
• Microsoft to acquire Linkedin ≠ Linkedin to acquire microsoft

（更多示例参考：semEval 数据集）

对于句子，模型使用预训练的词嵌入 (pre-trained word embeddings) 来识别语义相似度。

它可以学习为相似的配对类别：

• 标注 (Annotations)
• 缩写 (Abbreviations)
• 额外词汇 (Extra words)
• 相似语义 (Similar semantics)
• 拼写错误 (Typos)
• 组合 (Compositions)
• 摘要 (Summaries)

训练数据

• 短语：

  • 一个用于学习人名释义的样本集已附加到此仓库。要生成完整的人名消歧数据，请按照以下步骤操作：

  https://github.com/dhwajraj/dataset-person-name-disambiguation

  "person_match.train" : https://drive.google.com/open?id=1HnMv7ulfh8yuq9yIrt_IComGEpDrNyo-

• 句子：

  • 一个用于学习句子语义相似性的样本集可从以下地址下载：

  "train_snli.txt" : https://drive.google.com/open?id=1itu7IreU_SyUSdmTWydniGxW-JEGTjrv

  此数据是使用 SNLI 项目生成的：

  https://nlp.stanford.edu/projects/snli/

  • 词嵌入 (word embeddings)：任何一组预训练的词嵌入均可在此项目中利用。在我们的测试中，我们使用了来自 https://github.com/facebookresearch/fastText/blob/master/pretrained-vectors.md 的 fastText 简单英语嵌入。

  “wiki.simple.vec”的备用下载地址为：https://drive.google.com/open?id=1u79f3d2PkmePzyKgubkbxOjeaZCJgCrt

环境依赖

• numpy 1.11.0
• tensorflow 1.2.1
• gensim 1.0.1
• nltk 3.2.2

如何运行

训练

$ python train.py [options/defaults]

options:
  -h, --help            show this help message and exit
  --is_char_based IS_CHAR_BASED
      			is character based syntactic similarity to be used for phrases.
			if false then word embedding based semantic similarity is used.
			(default: True)
  --word2vec_model WORD2VEC_MODEL
    			this flag will be used only if IS_CHAR_BASED is False
  			word2vec pre-trained embeddings file (default: wiki.simple.vec)
  --word2vec_format WORD2VEC_FORMAT
    			this flag will be used only if IS_CHAR_BASED is False
  			word2vec pre-trained embeddings file format (bin/text/textgz)(default: text)
  --embedding_dim EMBEDDING_DIM
                        Dimensionality of character embedding (default: 100)
  --dropout_keep_prob DROPOUT_KEEP_PROB
                        Dropout keep probability (default: 0.5)
  --l2_reg_lambda L2_REG_LAMBDA
                        L2 regularizaion lambda (default: 0.0)
  --max_document_words MAX_DOCUMENT_WORDS
                        Max length (left to right max words to consider) in
                        every doc, else pad 0 (default: 100)
  --training_files TRAINING_FILES
                        Comma-separated list of training files (each file is
                        tab separated format) (default: None)
  --hidden_units HIDDEN_UNITS
                        Number of hidden units(default:50)
  --batch_size BATCH_SIZE
                        Batch Size (default: 128)
  --num_epochs NUM_EPOCHS
                        Number of training epochs (default: 200)
  --evaluate_every EVALUATE_EVERY
                        Evaluate model on dev set after this many steps
                        (default: 2000)
  --checkpoint_every CHECKPOINT_EVERY
                        Save model after this many steps (default: 2000)
  --allow_soft_placement [ALLOW_SOFT_PLACEMENT]
                        Allow device soft device placement
  --noallow_soft_placement
  --log_device_placement [LOG_DEVICE_PLACEMENT]
                        Log placement of ops on devices
  --nolog_device_placement

评估

$ python eval.py --model graph#.pb

性能

短语：

• 训练时间：(8 核 CPU) = 1 个完整轮次 (epoch) : 6 分 48 秒 (训练至少需要 30 个轮次)
  • 对比损失 (Contrastive Loss) : 0.0248
• 评估性能：100,000 对的相似度测量 (8 核 CPU) = 1 分 40 秒
  • 准确率 91%

句子：

• 训练时间：(8 核 CPU) = 1 个完整轮次 (epoch) : 8 分 10 秒 (训练至少需要 50 个轮次)
  • 对比损失 (Contrastive Loss) : 0.0477
• 评估性能：100,000 对的相似度测量 (8 核 CPU) = 2 分 10 秒
  • 准确率 81%

参考文献

1. Learning Text Similarity with Siamese Recurrent Networks
2. Siamese Recurrent Architectures for Learning Sentence Similarity

Deep-Siamese-Text-Similarity 快速上手指南

⚠️ 重要提示：本项目仅为实验性原型（Prototype），未发布生产级代码。且依赖较旧的 TensorFlow 版本（1.2.1），建议在虚拟环境中运行。

环境准备

本项目基于 TensorFlow 构建，主要依赖以下库。由于版本较老，建议创建独立的 Python 虚拟环境以避免冲突。

• Python: 建议使用 Python 2.7 或 Python 3.5+
• 核心依赖:
  • tensorflow >= 1.2.1
  • numpy >= 1.11.0
  • gensim >= 1.0.1
  • nltk >= 3.2.2

安装步骤

1. 克隆项目

git clone https://github.com/dhwajraj/deep-siamese-text-similarity.git
cd deep-siamese-text-similarity

2. 安装依赖

pip install -r requirements.txt
# 如果无 requirements.txt，请手动安装：
pip install tensorflow==1.2.1 numpy==1.11.0 gensim==1.0.1 nltk==3.2.2

3. 下载训练数据与词向量

由于原始链接为 Google Drive，国内访问可能较慢，建议使用下载工具。

• 短语训练数据 (Person Names):
  • 文件：person_match.train
  • 链接：Google Drive
• 句子训练数据 (Semantic Similarity):
  • 文件：train_snli.txt
  • 链接：Google Drive
• 预训练词向量 (Word Embeddings):
  • 文件：wiki.simple.vec (FastText Simple English)
  • 链接：Google Drive

将上述文件放置于项目根目录或指定路径。

基本使用

该项目支持两种任务模式：短语相似度（基于字符嵌入）和 句子相似度（基于词嵌入）。

1. 模型训练

短语相似度训练 (默认模式)

基于字符级别嵌入，学习结构/句法相似性（如缩写、拼写变体）。

python train.py --is_char_based True --training_files person_match.train

句子相似度训练

基于预训练词向量，学习语义相似性（如同义词、句式变换）。

python train.py \
  --is_char_based False \
  --word2vec_model wiki.simple.vec \
  --word2vec_format text \
  --training_files train_snli.txt

常用参数说明:

• --is_char_based: 是否使用字符级嵌入 (True: 短语，False: 句子)。
• --num_epochs: 训练轮数 (默认 200)。
• --batch_size: 批次大小 (默认 128)。
• --hidden_units: 隐藏层单元数 (默认 50)。

2. 模型评估

训练完成后，使用生成的模型文件进行验证。

python eval.py --model graph#.pb

(请将 graph#.pb 替换为实际保存的模型文件名)

3. 预期性能参考

• 短语任务: 准确率约 91% (需至少 30 个 epoch)。
• 句子任务: 准确率约 81% (需至少 50 个 epoch)。