文档产品：基于深度语言模型的医疗问答系统

桑托什·古普塔、亚历克斯·盛和叶俊鹏的合作成果

已训练好的模型及嵌入文件可在此下载：点击这里。

荣获⚡#PoweredByTF 2.0挑战赛前六名决赛选手！详情请访问：https://devpost.com/software/nlp-doctor。Doc Product将在TensorFlow Connect上向TensorFlow工程团队进行展示，敬请期待后续详情。

我们希望利用TensorFlow 2.0来探索当前最先进的自然语言处理模型，如BERT和GPT-2，在检索并基于相关医疗数据进行条件生成的情况下，对医学问题作出响应的能力。这就是我们的成果。

免责声明

本项目旨在探索深度学习语言模型在科学编码与信息检索方面的潜力，但绝不应被用于提供可执行的医疗建议。

我们如何构建Doc Product

作为一群背景各异的朋友——从囊中羞涩的本科生到数据科学家，再到顶尖的自然语言处理研究人员——我们在机器学习的多个领域汲取灵感，设计出了这一方案。通过将Transformer架构、潜在向量搜索、负采样以及TensorFlow 2.0灵活的深度学习框架中的生成式预训练相结合，我们成功地为一个看似艰巨的任务提供了一种新颖的解决方案。

• 从Reddit、HealthTap、WebMD等多个网站抓取的70万条医学问答
• 使用预训练的BioBERT权重对TF 2.0 BERT进行微调，以提取文本表示
• 使用OpenAI的GPT-2-117M参数对TF 2.0 GPT-2进行微调，用于生成新问题的答案
• 利用Keras.Model前馈网络构建的网络头部，将问题和答案的嵌入映射到度量空间
• 超过一太字节的TFRECORDS、CSV和CKPT数据

如果您想了解我们构建Doc Product的完整过程及其架构细节，请查看我们的GitHub自述文件：点击这里！

挑战

我们的项目面临了数不胜数的挑战，从压缩天文数字般庞大的数据集，到在TensorFlow 2.0中重新实现整个BERT模型，再到在Colaboratory中运行拥有1.17亿参数的GPT-2，以及在提交截止时间仅剩几小时时赶工完成项目的最后部分。奇怪的是，最大的挑战往往出现在我们对项目发展方向产生分歧的时候。然而，尽管我们有时会就最佳行动方案争执不下，但最终我们都怀着共同的目标——打造一件对许多人有意义且可能具有价值的作品。因此，我们总能坐下来达成一致，并在彼此的支持和深夜Google Hangouts上的鼓励下，携手克服这些挑战。

下一步计划

虽然Doc Product目前尚不具备广泛商业化的条件，但其令人惊喜的良好表现表明，像BERT和GPT-2这样的通用语言模型的进步，已经使得以往难以解决的医学信息处理等问题，可以通过深度NLP方法得以实现。因此，我们希望自己的工作能够激励更多人投身于这些问题的研究，并亲自探索这片全新的NLP前沿。

尽管如此，我们仍计划继续推进Doc Product的开发，特别是随着OpenAI按照其分阶段发布计划陆续推出3.45亿、7.62亿和15亿参数版本的GPT-2，我们将进一步扩展该系统以充分利用这些新版本的功能。此外，我们还打算继续训练模型，因为我们仍有大量数据有待处理。

注：我们目前正在从事科学/医学领域的NLP和信息检索研究。如果您有意合作，请发送邮件至Research2Vec@gmail.com！

体验一下吧！

通过pip安装

您可以直接从pip安装Doc Product，并在本地机器上运行。以下是安装Doc Product以及TensorFlow 2.0和FAISS的代码：

!wget  https://anaconda.org/pytorch/faiss-cpu/1.2.1/download/linux-64/faiss-cpu-1.2.1-py36_cuda9.0.176_1.tar.bz2
#若需使用GPU FAISS，请使用：
# !wget  https://anaconda.org/pytorch/faiss-gpu/1.2.1/download/linux-64/faiss-gpu-1.2.1-py36_cuda9.0.176_1.tar.bz2
!tar xvjf faiss-cpu-1.2.1-py36_cuda9.0.176_1.tar.bz2
!cp -r lib/python3.6/site-packages/* /usr/local/lib/python3.6/dist-packages/
!pip install mkl

!pip install tensorflow-gpu==2.0.0-alpha0
import tensorflow as tf
!pip install https://github.com/Santosh-Gupta/DocProduct/archive/master.zip

我们的仓库包含用于生成**.tfrecords数据、基于您自己的问答数据训练Doc Product，以及运行Doc Product以获取医学问题答案的脚本。请参阅下方的Google Colaboratory演示**部分，获取加载数据/权重并运行我们模型的代码示例。

Colaboratory 演示

请查看我们的 Colab 演示！ 我们计划在后续不断添加更多演示，以便用户能够探索 Doc Product 的更多功能。所有新演示都将被添加到同一个 Google Drive 文件夹中。

这些演示包括通过 pip 安装 Doc Product 的代码、下载/加载预训练权重，以及运行 Doc Product 的检索功能并在您自己的问答数据上进行微调。

运行我们的交互式检索模型，解答您的医学问题

https://colab.research.google.com/drive/11hAr1qo7VCSmIjWREFwyTFblU2LVeh1R

训练您自己的医学问答检索模型

https://colab.research.google.com/drive/1Rz2rzkwWrVEXcjiQqTXhxzLCW5cXi7xA

[实验性] 使用 BERT、FCNN、FAISS 和 GPT-2 运行完整的 Doc Product 流程，让最先进的 AI 回答您的医学问题。

端到端的 Doc Product 演示目前仍处于 实验阶段，但欢迎您尝试！ https://colab.research.google.com/drive/1Bv7bpPxIImsMG4YWB_LWjDRgUHvi7pxx

功能简介

我们的 BERT 经过训练，能够对医学问题和医学信息进行编码。用户只需输入一个医学问题，我们的模型便会检索出与该问题最相关的医学信息。

数据

我们从多个医学问答论坛中创建了数据集。这些论坛包括 WebMD、HealthTap、eHealthForums、iClinic、Question Doctors 以及 Reddit.com/r/AskDocs。

架构

该架构由一个经过微调的 bioBert 组成（问题和答案共用同一模型），用于将文本输入转换为嵌入表示。随后，这些嵌入会被输入到 FCNN 中（问题和答案分别使用不同的 FCNN），以生成用于相似度查找的嵌入。最后，GPT-2 会利用检索到的最相似问题和答案来生成最终答案。完整架构如下所示。

让我们更详细地看一下上图的前半部分——BERT 和 FCNN 的训练过程。下图展示了这一部分的详细结构：

在训练过程中，我们会选取一批医学问题及其对应的医学答案，并将其转换为 bioBert 嵌入。问题和答案均使用相同的 Bert 权重。

这些嵌入随后会被输入到 FCNN 层中。问题和答案的嵌入分别对应不同的 FCNN 层。总结一下，我们在 BERT 层中使用相同的权重，但问题和答案各自拥有独立的 FCNN 层。

接下来的情况就有点复杂了。通常，嵌入相似度训练会涉及负样本，比如 word2vec 就使用 NCE 损失函数。然而，在我们的场景中无法使用 NCE 损失，因为嵌入是在每一步生成的，而权重也会在每次训练步骤中发生变化。

因此，我们没有采用 NCE 损失，而是计算了批次内所有问题和答案嵌入之间的点积。如下图所示：

接着，我们对每一行进行 softmax 处理：对于每个问题，其所有可能的答案组合都会被 softmax 化。

最后，我们使用的损失函数是交叉熵损失。我们将 softmax 后的矩阵与真实标签矩阵进行比较：正确的问题-答案组合标记为“1”，其他组合则标记为“0”。

遇到的技术难题

数据收集与清洗

数据收集的过程颇具挑战，因为不同医学网站的格式差异很大。我们需要针对每个网站进行定制化处理，才能从正确的 HTML 标签部分提取问题和答案。此外，有些网站允许多位医生对同一问题作出回复，因此我们也需要一种方法来收集单个问题的多条回复。为此，我们为每一对问题-答案创建了多行记录。之后，我们需要将数据输入 BERT 模型，并保存其中间层的输出，从而生成可用于全连接神经网络（FFNN）密集层的 BioBERT 嵌入。我们为问题和答案分别存储了 768 维向量，并将其与相应的文本一起保存到 CSV 文件中。尽管我们尝试过多种更紧凑、加载和共享速度更快的格式，但最终发现 CSV 是最简单且最具灵活性的方式。在 BioBERT 嵌入生成并存储完成后，我们进行了相似度训练，进而生成了能够捕捉问题与答案之间相似性的 FFNN 嵌入。这些嵌入也与 BioBERT 嵌入及原始文本一同保存，以便后续可视化和查询。

结合 TF 1.X 和 TF 2.0 构建的模型

嵌入模型是基于 TF 2.0 构建的，充分利用了 TF 2.0 的动态执行特性。然而，我们使用的 GPT-2 模型却是基于 TF 1.X 构建的。幸运的是，我们可以分别训练这两个模型。在推理阶段，我们需要通过 tf.compat.v1.disable_eager_execution 关闭动态执行，并维持两个独立的会话。同时，我们还需要合理管理两个会话的 GPU 内存，以避免出现内存不足（OOM）的情况。

我们的自豪之处

精心设计的鲁棒模型与损失函数

一种常见的基于用户提问检索答案的方法是使用强大的编码器（BERT）对输入问题和数据库中的问题进行编码，然后进行相似度搜索。这种方法无需训练，性能完全依赖于编码器。相比之下，我们分别为问题和答案构建了独立的前馈神经网络，并计算它们之间的余弦相似度。受 word2vec 论文中的负采样启发，我们将同一批次中的其他答案视为负样本，计算交叉熵损失。这种方法使得同一配对中的问题嵌入和答案嵌入在欧几里得距离上尽可能接近。实践证明，这种方式比直接使用 BERT 嵌入向量进行相似度搜索更为稳健。

高性能输入管道

BERT 的预处理过程较为复杂，我们的数据集包含约 33.3 万个问答对和超过 3000 万个词元。考虑到在训练过程中打乱数据顺序非常重要，我们需要一个足够大的打乱缓冲区，以确保模型能够得到充分的随机化训练。在每个 epoch 开始训练之前，数据预处理需要花费超过 10 分钟。因此，我们采用了 tf.data 和 TFRecords 来构建高性能的输入管道。经过优化后，启动训练的时间缩短至约 20 秒，并且 GPU 再也没有出现空闲状态。

BERT 预处理的另一个问题是，它会将所有数据填充到固定长度。对于较短的序列来说，这会导致大量的计算资源和 GPU 显存被浪费。这一点在使用 BERT 等大型模型时尤为重要。为此，我们重写了 BERT 的预处理代码，利用 tf.data.experimental.bucket_by_sequence_length 将不同长度的序列分桶，并动态地进行填充。通过这种方式，我们不仅能够支持更长的最大序列长度，还显著提升了训练速度。

命令式 BERT 模型

经过一些修改后，Keras-Bert 已经可以在 TensorFlow 2.0 环境中运行。然而，当我们尝试将 Keras-Bert 作为嵌入模型中的子模块时，发现了以下两个问题：

• 它使用的是函数式 API。虽然函数式 API 非常灵活，但它仍然是符号式的。这意味着即使启用了急切执行模式，我们仍然无法在运行时使用传统的 Python 调试方法。为了充分发挥急切执行的优势，我们需要使用 tf.keras.Model 来构建模型。
• 我们并没有直接使用 Keras-Bert 的输入层，因此遇到了 此问题。如果不改变我们的输入管道，很难避免这个 bug。

基于以上原因，我们决定重新实现一个命令式版本的 BERT。我们复用了 Keras-Bert 中的一些组件（如多头注意力机制、检查点权重加载等），并编写了 Bert 的 call 方法。我们的实现更加易于调试，并且同时兼容灵活的急切执行模式和高性能的静态图模式。

基于辅助输入的答案生成

用户在不同情况下可能会经历多种症状，因此最完美的答案可能是由多个答案组合而成。为了解决这一问题，我们利用强大的 GPT-2 模型，将用户的提问与从数据集中检索出的 Top K 辅助答案一起输入到模型中。GPT-2 将根据问题和这些辅助答案生成一个更优的答案。为了有效地训练 GPT-2 模型，我们按照如下方式创建训练数据：遍历数据集中的每一个问题，通过相似度搜索获取 Top K+1 个答案，将原始答案作为目标答案，其余答案作为辅助输入。这样，我们获得的 GPT-2 训练数据量与嵌入模型的训练数据量相同。

我们的收获

BERT 在编码医学领域的问答方面表现出色，能够为这些问题和答案生成鲁棒的向量表示。

我们训练了一个基于 Naver 的 bioBert 初始化的微调版本模型，同时也训练了一个冻结了 bioBert 权重、仅对问题和答案的两个全连接神经网络进行训练的版本。尽管我们原本预期微调版本的效果会更好，但令人惊讶的是，后者的表现同样非常稳健。这表明 bioBert 具备天然的能力，能够有效编码医学领域的问题和答案。

医学问答信息检索中 BERT 的下一步方向

探索该项目在研究或探索性用途之外是否有实际应用价值。像这样的模型不应被用于公众获取医疗信息的场景。不过，它或许可以被受过专业培训或持有执业资格的医疗专业人士用来收集信息，以供进一步审核。

探索将相同的方法应用于其他领域（例如历史信息检索、工程信息检索等）。

比较近期发布的 sciBert（由 Allen AI 发布）与 Naver 的 bioBert 的表现差异。

感谢！

我们感谢 TensorFlow 团队提供了 #PoweredByTF2.0 挑战赛这一平台，使我们能够与他人分享自己的工作成果。同时，特别感谢 Llion Jones 博士，他的见解和指导对我们项目的方向产生了重要影响。

DocProduct 快速上手指南

DocProduct 是一个基于深度语言模型（BERT 和 GPT-2）的医疗问答检索系统。它能够通过检索相关的医疗数据并生成回答来响应用户的医疗问题。

⚠️ 重要免责声明：本项目旨在探索深度学习语言模型在科学编码和检索方面的能力，绝不可用于提供可执行的医疗建议或替代专业医生诊断。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu) 或 macOS。Windows 用户建议使用 WSL2 或 Docker。
• Python 版本: 3.7.1 (项目基于此版本测试)。
• 深度学习框架: TensorFlow 2.0.0-alpha0。
• 向量检索库: FAISS (Facebook AI Similarity Search)。
• 硬件建议: 推荐使用带有 GPU 的环境进行推理和训练，但 CPU 亦可运行检索功能。

安装步骤

您可以直接在本地机器或通过 Google Colab 运行。以下是在本地环境中通过 pip 安装的步骤。

1. 安装 FAISS 依赖

首先下载并配置 FAISS 库（此处以 CPU 版本为例，如需 GPU 版本请参考原文注释）：

!wget  https://anaconda.org/pytorch/faiss-cpu/1.2.1/download/linux-64/faiss-cpu-1.2.1-py36_cuda9.0.176_1.tar.bz2
#To use GPU FAISS use
# !wget  https://anaconda.org/pytorch/faiss-gpu/1.2.1/download/linux-64/faiss-gpu-1.2.1-py36_cuda9.0.176_1.tar.bz2
!tar xvjf faiss-cpu-1.2.1-py36_cuda9.0.176_1.tar.bz2
!cp -r lib/python3.6/site-packages/* /usr/local/lib/python3.6/dist-packages/
!pip install mkl

2. 安装 TensorFlow 和 DocProduct

安装特定版本的 TensorFlow 以及 DocProduct 源码包：

!pip install tensorflow-gpu==2.0.0-alpha0
import tensorflow as tf
!pip install https://github.com/Santosh-Gupta/DocProduct/archive/master.zip

3. 获取预训练模型

项目所需的训练模型和嵌入文件（Embedding file）较大，请访问以下链接下载并放置于项目目录：

• 下载预训练模型和嵌入文件

基本使用

安装完成后，您可以加载预训练权重并运行交互式检索模型来回答医疗问题。

运行交互式检索示例

以下代码展示了如何初始化模型并针对输入的医疗问题进行检索和回答生成。建议在 Google Colab 中直接运行官方提供的演示笔记本以获得最佳体验：

• 交互式检索演示: Run Interactive Retrieval Model

如果您在本地 Python 环境中运行，核心逻辑如下（需确保已下载权重文件）：

import doc_product # 假设安装后模块名

# 1. 加载预训练的 BERT 和 GPT-2 权重
# 注意：由于混合了 TF 1.x (GPT-2) 和 TF 2.x (BERT)，推理时需管理好 Session
import tensorflow as tf
tf.compat.v1.disable_eager_execution() 

# 2. 初始化检索器 (伪代码示例，具体类名请参考源码)
# retriever = DocProductRetriever(model_path="path/to/downloaded/models")

# 3. 输入医疗问题并获取回答
question = "What are the symptoms of flu?"
# answer = retriever.generate_answer(question)
# print(answer)

进阶：训练自己的模型

如果您拥有自己的医疗问答数据集（CSV 格式），可以使用以下演示脚本微调模型：

• 训练演示: Train Your Own Model

端到端实验流程

尝试包含 BERT、FCNN、FAISS 和 GPT-2 的完整流水线（实验性功能）：

• 端到端演示: Full Pipeline Demo