面向系统综述筛选的开源多大语言模型集成工具

---

概述

MetaScreener 利用开源大型语言模型的集成，自动化系统综述的筛选阶段。它不依赖单一模型，而是并行运行多个大语言模型，并通过校准后的置信度流水线聚合其输出——生成透明、可重复且带有不确定性量化结果的决策。

核心理念： 上传您从 PubMed、Scopus 等数据库获取的检索结果，定义您的综述标准（PICO/PEO/SPIDER），MetaScreener 将逐篇读取标题和摘要，并返回包含/排除的决策及置信度分数。对于不确定的情况，则会转交给人工审核。

为什么选择 MetaScreener？

特性	描述
多大语言模型集成	4个以上的开源模型共同投票——不存在单点故障
校准后的置信度	后处理校准（Platt/等温）将原始得分映射为真实概率
分级决策	对高置信度案例自动决策，标记不确定案例供人工复核
要素共识	跨模型对各个要素（P/I/C/O）的一致性评分
主动学习	通过人工反馈循环实时重新校准模型权重
完全可重复性	temperature=0.0，seed=42，每项决策均有审计追踪
成本效益	使用免费层级的 API 提供商，每篇论文约需 $0.003–0.009

---

架构

MetaScreener 采用层次化共识网络（HCN）——一个四层筛选流水线：

                        ┌──────────────────────────────────┐
    上传              │         第一层：推理        │
  .ris/.bib ──────────▶ │  4+ 大语言模型通过 API 并行运行  │
  .csv/.xlsx            │  (DeepSeek, Qwen, Llama, Kimi…)  │
                        └──────────────┬───────────────────┘
                                       ▼
                        ┌──────────────────────────────────┐
    PICO/PEO/           │       第二层：规则引擎        │
    SPIDER  ──────────▶ │  硬性规则（自动排除）        │
    标准            │  软性规则（打分惩罚）      │
                        └──────────────┬───────────────────┘
                                       ▼
                        ┌──────────────────────────────────┐
                        │     第三层：CCA + ECS            │
                        │  校准后的置信度聚合               │
                        │  元素共识评分                     │
                        └──────────────┬───────────────────┘
                                       ▼
                        ┌──────────────────────────────────┐
                        │    第四层：决策路由        │
                        │  0级 → 硬性规则排除      │
                        │  1级 → 高置信度自动决定   │
                        │  2级 → 中等置信度自动决定 │
                        │  3级 → 人工审核             │
                        └──────────────────────────────────┘

---

支持的模型

通过 OpenRouter 支持 15 种开源大语言模型，按能力划分如下：

层级	模型	特性
旗舰级	DeepSeek V3、Qwen 3、Kimi K2.5	准确率最高，医学知识储备雄厚
强效级	Llama 4 Maverick、GLM 5、MiniMax M2.7、Nous Hermes 4、Nvidia Nemotron、Cogito 671B、AI21 Jamba	成本与性能平衡良好
轻量级	Gemma 3 27B、Mistral Small 4、Phi 4	速度快、成本低，适合预算有限的筛选任务

推荐预设：

预设	模型	每篇论文成本	适用场景
平衡型	4个模型	~$0.005	多数综述
精准型	2个思考类 + 2个大型模型	~$0.009	高风险综述
经济型	1个基准模型 + 3个快速模型	~$0.003	大规模筛选

---

快速入门

前提条件

• Python 3.11+
• API 密钥，来自 OpenRouter（免费注册，按使用付费）

方案 A：使用 pip 安装

pip install metascreener

然后启动 Web UI：

python -m metascreener
# → 打开 http://localhost:8000

方案 B：使用 Docker（无需 Python）

docker pull chaokunhong/metascreener:latest

docker run -p 8000:8000 \
  -e OPENROUTER_API_KEY="sk-or-v1-your-key-here" \
  chaokunhong/metascreener
# → 打开 http://localhost:8000

方案 C：从源码构建（面向开发者）

需要 uv 和 Node.js 18+。

git clone https://github.com/ChaokunHong/MetaScreener.git
cd MetaScreener

uv sync --extra dev        # 安装 Python 依赖
python run.py              # 启动 FastAPI + Vite 开发服务器
# → 后端：http://localhost:8000
# → 前端：http://localhost:5173

配置

通过以下方法之一设置您的 API 密钥：

1. Web UI — 进入设置页面并粘贴您的密钥
2. 环境变量：

   export OPENROUTER_API_KEY="sk-or-v1-your-key-here"
   

---

Web UI 工作流程

MetaScreener 提供现代化的 Web 界面（Vue 3），并配有引导式的分步工作流程：

步骤	页面	功能
0	标准	根据您的研究问题，由 AI 自动生成 PICO/PEO/SPIDER 标准
1	设置	选择模型、调整阈值、配置 API 密钥
2	标题摘要筛选	上传检索结果 → 运行标题摘要筛选 → 审核决策
3	全文筛选	上传 PDF 文件 → 使用智能分块技术进行全文筛选
4	数据提取	从纳入的 PDF 中提取结构化数据（表格、字段）
5	质量评估	偏倚风险评估（RoB 2 / ROBINS-I / QUADAS-2）
6	评估	性能指标、校准诊断及可视化
7	历史记录	包含完整决策来源的会话审计轨迹

筛选流程

1. 上传 您的检索导出文件（.ris、.bib、.csv、.xlsx）
2. 定义标准 — 输入您的研究问题，让 AI 生成 PICO 标准，或上传现有标准
3. 运行筛选 — 文献将逐篇处理，并实时显示进度
4. 审核 — 每篇文献会显示：决策、置信度分数、层级、各要素的一致性评分、模型一致性
5. 覆盖 — 如果您不同意某项决策？可直接覆盖，系统会根据您的反馈进行学习
6. 导出 — 将结果下载为 CSV、Excel、JSON 或 RIS 格式

---

工作原理

第一层 — 并行大语言模型推理

每篇文献会同时发送至 4 个以上的大语言模型。每个模型会返回：

• 决策（纳入 / 排除 / 不确定）
• 置信度分数（0–1）
• 各要素评估（人群、干预、对照、结局）
• 推理链 解释决策依据

第二层 — 语义规则引擎

硬性规则会自动排除不符合不可协商标准的文献（例如语言错误、应为人类研究却为动物研究）。柔性规则则会对部分匹配的文献给予扣分。

第三层 — 校准置信度聚合（CCA）

原始模型得分会使用 Platt 缩放或等熵回归进行校准，随后通过层级加权融合进行聚合。**要素一致性评分（ECS）**用于衡量各模型在各个要素上的一致程度——如果所有模型都认为“人群”匹配，但在“结局”上存在分歧，这一情况会被精准捕捉。

第四层 — 决策路由

文献会被路由到四个层级之一：

层级	条件	行动
0	违反硬性规则	自动排除
1	高 ECS（≥0.60）且所有模型一致	自动决策
2	中等 ECS（≥0.10）且异议在可接受范围内	以较低置信度自动决策
3	置信度低或意见高度不一致	转交人工审核

---

支持的文件格式

格式	扩展名	来源
RIS	.ris	PubMed、Scopus、Web of Science、Ovid、Embase
BibTeX	.bib	Google Scholar、Zotero、Mendeley
CSV	.csv	任何电子表格（需包含 title 和 abstract 列）
Excel	.xlsx	任何电子表格（需包含 title 和 abstract 列）
PDF	.pdf	用于全文筛选和数据提取

---

项目结构

MetaScreener/
├── configs/models.yaml            # 模型注册表 + 阈值（唯一可信来源）
├── src/metascreener/
│   ├── api/                       # FastAPI 后端 + 路由
│   ├── core/                      # Pydantic 模型、枚举、异常
│   ├── io/                        # 文件读写器、PDF 解析器
│   ├── llm/                       # 大语言模型后端、适配器、并行运行器
│   ├── criteria/                  # PICO/PEO/SPIDER 标准生成器
│   ├── module1_screening/         # HCN 四层筛选流程
│   │   ├── layer1/                #   并行大语言模型推理
│   │   ├── layer2/                #   语义规则引擎
│   │   ├── layer3/                #   CCA + ECS 聚合
│   │   └── layer4/                #   决策路由
│   ├── module2_extraction/        # PDF 数据提取
│   ├── module3_quality/           # 偏倚风险评估（RoB 2 / ROBINS-I / QUADAS-2）
│   └── evaluation/                # 指标、校准、可视化
├── frontend/                      # Vue 3 + TypeScript + Vite
├── tests/                         # 单元测试 + 集成测试（全部离线）
├── validation/                    # 可重复性实验
├── docker/Dockerfile              # 多阶段构建（精简版 / 完整版）
├── run.py                         # 开发服务器启动脚本
└── pyproject.toml

---

评估指标

MetaScreener 计算标准的系统综述评估指标：

• 灵敏度（召回率）— 正确识别的相关研究比例
• 特异性 — 正确排除的无关研究比例
• WSS@95 — 在 95% 召回率下的工作节省量
• AUROC — 受试者工作特征曲线下的面积
• 布里尔分数 — 校准质量（置信度与正确性的匹配程度）
• 校准曲线 — 用于诊断模型概率校准的可视化工具
• 自助法 95% 置信区间 — 所有指标的置信区间

---

开发

# 安装依赖
uv sync --extra dev

# 运行测试（全部离线，无需 API 密钥）
uv run pytest

# 代码检查
uv run ruff check src/

# 类型检查
uv run mypy src/

# 开发服务器（FastAPI + Vite 热重载）
python run.py

Docker 构建

# 精简版构建（日常使用）
docker build -f docker/Dockerfile --target slim -t metascreener .

# 完整版构建（可重复性实验 + 可视化扩展功能）
docker build -f docker/Dockerfile --target full -t metascreener:full .

---

可重复性

MetaScreener 专为符合 TRIPOD-LLM 标准 的可重复性设计：

• 所有大语言模型调用均设置为 temperature = 0.0（输出确定性）
• 所有随机操作均设置为 seed = 42
• 完整审计追踪：每项决策都会记录模型输出、规则违反情况、置信度分数及时间戳
• 会话持久化：所有筛选会话均以 JSON 格式保存，便于后续分析
• 校准诊断：包括布里尔分数、校准曲线和置信区间

---

技术栈

组件	技术
后端	FastAPI、Uvicorn、Pydantic 2
前端	Vue 3（组合式 API）、TypeScript、Vite、Pinia
大语言模型路由	LiteLLM → OpenRouter API
PDF 处理	PyMuPDF (fitz)、Tesseract OCR
数据处理	pandas、NumPy、scikit-learn、SciPy
可视化	Plotly、Chart.js
日志记录	structlog（结构化 JSON）
测试	pytest、MockLLMAdapter（完全离线）

---

引用

如果您在研究中使用 MetaScreener，请引用以下内容：

@software{hong2025metascreener,
  author    = {Hong, Chaokun},
  title     = {{MetaScreener}: 开源多大语言模型集成系统用于系统综述筛选},
  year      = {2025},
  url       = {https://github.com/ChaokunHong/MetaScreener},
  license   = {Apache-2.0}
}

---

许可证

Apache 许可证 2.0 — 免费供学术和商业用途使用。

MetaScreener 快速上手指南

MetaScreener 是一个开源的多大语言模型（LLM）集成工具，专为系统综述的文献筛选阶段设计。它通过并行运行多个开源模型并聚合结果，提供透明、可复现且带有置信度量化的筛选决策。

环境准备

在开始之前，请确保满足以下系统要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：3.11 或更高版本
• API 密钥：需要 OpenRouter 的 API Key（支持按量付费，注册免费）。
• 可选依赖：
  • 若使用 Docker 方案，需安装 Docker Desktop。
  • 若从源码开发，需安装 uv 和 Node.js 18+。

安装步骤

你可以选择以下任意一种方式进行安装：

方案 A：使用 pip 安装（推荐）

最简单的方式是通过 PyPI 安装：

pip install metascreener

方案 B：使用 Docker（无需配置 Python 环境）

如果你希望隔离环境或避免依赖冲突，可以使用 Docker：

docker pull chaokunhong/metascreener:latest

方案 C：从源码安装（开发者适用）

适合需要修改代码或贡献项目的用户：

git clone https://github.com/ChaokunHong/MetaScreener.git
cd MetaScreener

uv sync --extra dev        # 安装 Python 依赖
# 前端依赖将在启动时自动处理

基本使用

安装完成后，你可以通过以下两种方式启动 MetaScreener。

1. 启动 Web 界面

MetaScreener 提供现代化的 Web 界面，引导你完成从标准定义到文献筛选的全流程。

使用 pip 安装的用户：

python -m metascreener

使用 Docker 的用户：

请替换 sk-or-v1-your-key-here 为你的真实 OpenRouter API Key：

docker run -p 8000:8000 \
  -e OPENROUTER_API_KEY="sk-or-v1-your-key-here" \
  chaokunhong/metascreener

启动成功后，在浏览器中访问：http://localhost:8000

2. 配置与运行流程

进入 Web 界面后，按照以下步骤操作：

1. 配置 API Key：

   • 方法一：在网页 "Settings" 页面粘贴你的 OpenRouter API Key。
   • 方法二：在终端设置环境变量（重启服务生效）：

     export OPENROUTER_API_KEY="sk-or-v1-your-key-here"
     

2. 定义筛选标准 (Criteria)：

   • 输入你的研究问题，AI 将自动生成 PICO/PEO/SPIDER 筛选标准，或直接上传已有标准。

3. 上传文献 (Upload)：

   • 支持格式：.ris, .bib, .csv, .xlsx (来自 PubMed, Scopus, Web of Science 等)。
   • 确保文件包含 title 和 abstract 列。

4. 执行筛选 (Screening)：

   • 选择模型预设（如 Balanced, Precision, Budget）。
   • 点击运行，系统将并行调用多个 LLM 对标题和摘要进行分析。
   • 实时查看每篇文献的决策（纳入/排除）、置信度分数及模型共识情况。

5. 人工复核与导出：

   • 系统会自动标记低置信度或不确定的案例供人工复核。
   • 你可以手动修正决策，系统会根据反馈实时调整权重。
   • 最终结果可导出为 CSV, Excel, JSON 或 RIS 格式。

开发者模式启动（仅限源码安装）

如果你选择了方案 C，可以使用以下命令同时启动后端和前端热重载服务：

python run.py

• 后端地址：http://localhost:8000
• 前端地址：http://localhost:5173