面向医学和科学论文的AI

---

paperai 是一款用于医学和科学论文的AI应用。

⚡ 通过AI驱动的报告生成，为研究任务注入强大动力。paperai 应用会遍历文章库，并基于大型语言模型（LLM）提示和检索增强生成（RAG）流程，批量生成对问题的回答。

借助 paperai 的配置文件，可以高效地执行大规模的 LLM 推理操作。这就好比在您的数据上同时启动数百个 ChatGPT 提示。

paperai 可以生成 Markdown、CSV 格式的报告，并在 PDF 文件上直接标注答案（如适用）。

安装

最简单的安装方式是通过 pip 和 PyPI：

pip install paperai

支持 Python 3.10 及以上版本。建议使用 Python 虚拟环境。

您也可以直接从 GitHub 安装 paperai 来获取最新的未发布功能：

pip install git+https://github.com/neuml/paperai

请参阅此链接，以帮助解决特定环境下的安装问题。

Docker

按照以下步骤构建包含 paperai 及所有依赖项的 Docker 镜像：

wget https://raw.githubusercontent.com/neuml/paperai/master/docker/Dockerfile
docker build -t paperai .
docker run --name paperai --rm -it paperai

还可以加入 paperetl，以便在一个镜像中完成内容的索引和查询。请遵循说明构建 paperetl Docker 镜像，然后运行以下命令：

docker build -t paperai --build-arg BASE_IMAGE=paperetl --build-arg START=/scripts/start.sh .
docker run --name paperai --rm -it paperai

示例

以下笔记本和应用程序展示了 paperai 提供的功能。

笔记本

笔记本	描述
介绍 paperai	paperai 功能概览
医学研究项目	研究年轻发病结肠癌

应用程序

应用程序	描述
搜索	搜索 paperai 索引。设置查询参数、执行搜索并显示结果。

构建模型

paperai 会索引先前使用 paperetl 构建的数据库。以下是创建新 paperai 索引的方法。

1. （可选）创建 index.yml 文件

   如果未指定，paperai 将使用默认的 txtai 嵌入配置。或者，您可以指定一个 index.yml 文件，其中包含与 txtai 嵌入实例相同的选项。有关可能选项的更多信息，请参阅 txtai 文档。下面是一个简单示例：

   path: sentence-transformers/all-MiniLM-L6-v2
   content: True
   

2. 构建嵌入索引

   python -m paperai.index <输入数据路径 > < 可选索引配置 >
   

   paperai.index 过程需要输入数据路径，并可选择性地接受索引配置。该配置可以是向量模型路径，也可以是 index.yml 配置文件。

执行查询

执行查询的最快方式是启动一个 paperai shell：

paperai <模型目录路径>

随后会出现提示符。您可以直接在控制台中输入查询。

报表架构

以下步骤将逐步介绍一个 paperai 报表配置文件，并对每个部分进行说明。

name: ColonCancer
options:
    llm: Intelligent-Internet/II-Medical-8B-1706-GGUF/II-Medical-8B-1706.Q4_K_M.gguf
    system: 你是一名医学文献解析器。你负责从数据中提取字段。
    template: |
        请根据提供的规则和上下文，快速提取以下字段。

        规则：
          - 简单明了，不要过度思考
          - 只提取数据
          - 绝不解释为何提取该字段
          - 绝不重复字段名称，只给出字段值
          - 如果在上下文中找不到该字段，则回答“无数据”

        字段：
        {question}

        上下文：
        {context}

    context: 5
    params:
        maxlength: 4096
        stripthink: True

Research:
    query: colon cancer young adults
    columns:
        - name: Date
        - name: Study
        - name: Study Link
        - name: Journal
        - {name: Sample Size, query: number of patients, question: Sample Size}
        - {name: Objective, query: objective, question: Study Objective}
        - {name: Causes, query: possible causes, question: List of possible causes}
        - {name: Detection, query: diagnosis, question: List of ways to diagnose}

配置

以下是顶级配置选项的说明。

字段	描述
name	报表名称
options	RAG 流水线选项 - 设置 LLM、提示模板、最大长度等
report	每个唯一的顶级参数都会设置报表名称。在上面的例子中，它被称为 Research
query	用于识别前 n 篇文档的向量查询
columns	列表

标准列

标准列使用文章数据存储元数据，直接将字段复制到报表中。将列的 name 设置为以下值之一。

字段	描述
Id	文章唯一标识符
Date	文章发表日期
Study	文章标题
Study Link	文章的 HTTP 链接
Journal	出版物名称
Source	数据源名称
Entry	文章录入日期
Matches	导致该文章匹配报表查询的章节

生成列

paperai 最具创新性的功能是能够通过 RAG 流水线生成动态列。每个字段需要以下参数。

参数	描述
name	列名
query	搜索/相似度查询
question	LLM 的问题参数

对于每篇匹配的文章，query 会根据与该查询的相关性对各章节进行排序。这可以是向量查询、关键词查询或混合查询。具体由嵌入索引配置控制。question 会与查询中排名靠前的 n 个上下文元素一起插入到 RAG 流水线模板中。生成的列将以 name 的形式存储在报表输出中。

构建报表文件

报表可以生成多种格式的输出。以下是一个报表调用示例：

python -m paperai.report crc.yml 10 csv <模型目录路径>

在上面的例子中，将创建一个名为 Research.csv 的文件，其中包含最相关的前 10 篇文章。

支持的报表格式如下：

• Markdown（默认） - 渲染 Markdown 报表。从文章中提取列和答案，并将结果存储在 Markdown 文件中。
• CSV - 渲染 CSV 报表。从文章中提取列和答案，并将结果存储在 CSV 文件中。
• 注释 - 从文章中提取列和答案，并将结果注释在原始 PDF 文件上。需要传入包含原始 PDF 文件的路径。

有关报表示例，请参阅 examples 目录。更多历史报表配置文件可在 这里 找到。

技术概述

paperai 是由 txtai 嵌入索引、包含文章的 SQLite 数据库以及 LLM 组成的组合。这些组件通过 txtai RAG 流水线 结合在一起。

每篇文章会被解析成多个章节，并连同文章元数据一起存储在数据存储中。整个语料库会构建嵌入。LLM 会分析受限于上下文的请求并生成输出。

有多个入口点可以与模型交互。

• paperai.report - 为一系列查询构建报表。对于每个查询，都会显示得分最高的文章及其匹配内容。还有一个亮点部分，展示最相关的结果。
• paperai.query - 从终端运行单个查询
• paperai.shell - 允许从终端运行多个查询

认可

paperai 和/或 NeuML 已在以下文章中被提及。

• 机器学习专家深入研究冠状病毒家族的 47,000 篇论文
• 数据科学家协助医学研究人员抗击 COVID-19
• CORD-19 Kaggle 挑战赛奖项

paperai 快速上手指南

paperai 是一款专为医学和科学论文设计的 AI 应用。它利用大语言模型（LLM）和检索增强生成（RAG）技术，批量处理文献库，自动生成基于证据的研究报告、CSV 表格或直接对 PDF 进行标注。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：Python 3.10 或更高版本
• 推荐环境：建议使用 Python 虚拟环境以避免依赖冲突

  python -m venv venv
  # Linux/macOS
  source venv/bin/activate
  # Windows
  venv\Scripts\activate
  

• 前置数据：paperai 需要基于由 paperetl 构建的数据库索引运行。在使用前，您需要先准备好文献数据并完成索引构建（详见“基本使用”中的建库步骤）。

提示：国内开发者在安装大型依赖时，如遇网络问题，可配置 pip 使用国内镜像源（如清华源）： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple ...

安装步骤

您可以通过 PyPI 直接安装稳定版，或从 GitHub 安装最新开发版。

方式一：通过 pip 安装（推荐）

pip install paperai

方式二：从 GitHub 安装（获取最新功能）

pip install git+https://github.com/neuml/paperai

方式三：使用 Docker

如果您希望隔离环境或使用预构建镜像：

wget https://raw.githubusercontent.com/neuml/paperai/master/docker/Dockerfile
docker build -t paperai .
docker run --name paperai --rm -it paperai

基本使用

paperai 的核心工作流程分为三步：配置索引 -> 构建向量库 -> 生成报告。

1. 准备索引配置 (可选)

创建一个名为 index.yml 的文件，用于指定嵌入模型。如果不创建此文件，系统将使用默认配置。

path: sentence-transformers/all-MiniLM-L6-v2
content: True

2. 构建 embeddings 索引

使用 paperai.index 命令处理您的输入数据目录（需包含由 paperetl 处理过的数据），生成向量索引。

python -m paperai.index <path to input data> <optional index configuration>

• <path to input data>: 输入数据路径。
• <optional index configuration>: 可选，指向 index.yml 文件或向量模型路径。

3. 定义报告 schema

创建一个 YAML 配置文件（例如 report_config.yml），定义您想要提取的信息。以下是一个提取结肠癌研究信息的示例：

name: ColonCancer
options:
    llm: Intelligent-Internet/II-Medical-8B-1706-GGUF/II-Medical-8B-1706.Q4_K_M.gguf
    system: You are a medical literature document parser. You extract fields from data.
    template: |
        Quickly extract the following field using the provided rules and context.
        Rules:
          - Keep it simple, don't overthink it
          - ONLY extract the data
          - NEVER explain why the field is extracted
          - NEVER restate the field name only give the field value
          - Say no data if the field can't be found within the context
        Field:
        {question}
        Context:
        {context}
    context: 5
    params:
        maxlength: 4096
        stripthink: True

Research:
    query: colon cancer young adults
    columns:
        - name: Date
        - name: Study
        - name: Study Link
        - name: Journal
        - {name: Sample Size, query: number of patients, question: Sample Size}
        - {name: Objective, query: objective, question: Study Objective}
        - {name: Causes, query: possible causes, question: List of possible causes}
        - {name: Detection, query: diagnosis, question: List of ways to diagnose}

4. 生成报告

运行报告生成命令，输出格式支持 Markdown (默认), CSV 或 PDF 标注。

生成 CSV 报告示例： 以下命令将查找最相关的 10 篇文章，并生成 Research.csv 文件。

python -m paperai.report report_config.yml 10 csv <path to model directory>

• report_config.yml: 上一步创建的配置文件。
• 10: 限制处理最相关的前 10 篇文章。
• csv: 输出格式。
• <path to model directory>: 第 2 步生成的模型索引目录路径。

5. 交互式查询 (可选)

您也可以启动交互式 Shell 进行即时查询：

paperai <path to model directory>

启动后，直接在控制台输入问题即可获取基于文献的回答。