GPT4论文助手：每日ArXiv扫描器

这个仓库实现了一个非常简单的ArXiv每日扫描工具，它利用GPT4和作者匹配功能来寻找你可能感兴趣的论文。该工具会通过GitHub Actions每天自动运行，并可以通过机器人将信息发布到Slack，或者直接在静态的GitHub Pages网站上展示。

一个简单的每日论文演示可以在这里查看，当前运行在cs.CL类别下。

作为成本估算，在2024年2月7日，对整个cs.CL类别运行此工具的成本为0.07美元。

更改记录

• 2024年2月15日：修复了RSS格式中作者解析的错误，以及标题过滤导致成本估算不准确的问题；同时修复了当源中没有论文时程序崩溃的故障。
• 2024年2月7日：修复了由于ArXiv更改其RSS格式而引发的关键问题，并添加并启用了标题过滤以降低成本。

快速入门

以下是让扫描器运行所需的最少步骤。强烈建议阅读完整文档，以便决定如何配置和运行。

在GitHub Actions上运行

1. 复制或分叉本仓库到一个新的GitHub仓库，如果你是分叉的话，请启用计划工作流。
2. 将config/paper_topics.template.txt复制到config/paper_topics.txt，并填写你希望关注的论文类型。
3. 将config/authors.template.txt复制到config/authors.txt，列出你真正想关注的作者。作者后面的数字非常重要，它们是Semantic Scholar的作者ID，你可以在Semantic Scholar上搜索作者后，从URL末尾获取这些数字。
4. 在config/config.ini中设置你期望的ArXiv类别。
5. 将你的OpenAI密钥（OAI_KEY）作为GitHub秘密变量进行设置。
6. 在你的仓库设置中，将GitHub Pages的构建源设置为GitHub Actions。

至此，你的机器人应该会每天运行，并发布一个静态网站。你可以手动运行GitHub Actions工作流来测试这一点。

可选但强烈推荐：

7. 获取并设置Semantic Scholar API密钥（S2_KEY）作为GitHub秘密变量。否则，作者搜索步骤将会非常缓慢。
8. 设置一个Slack机器人，获取OAuth密钥，并将其设置为GitHub秘密变量SLACK_KEY。
9. 为机器人创建一个频道（并邀请它加入该频道），获取其Slack频道ID，并将其设置为GitHub秘密变量SLACK_CHANNEL_ID。
10. 查看configs/config.ini文件，调整过滤规则。
11. 将GitHub仓库设为私有，以避免GitHub Actions在60天后被自动禁用。

每天UTC时间下午1点，机器人将会运行，向Slack发送消息，并发布GitHub Pages网站（详情请参阅publish_md和cron_runs工作流）。

本地运行

步骤与上述大致相同，但你需要通过requirements.txt来设置环境。

不同于通过GitHub秘密变量传递凭证，你需要设置环境变量OAI_KEY、SLACK_KEY和SLACK_CHANNEL_ID。

要运行所有内容，只需调用main.py即可。

其他注意事项： 你也可以选择不推送至Slack，此时可在config/config.ini中的dump_json、dump_md和push_to_slack字段中设置你期望的输出端点（JSON、Markdown或Slack）。

如果Semantic Scholar API出现超时或响应缓慢的情况，你应该获取一个S2 API密钥，并将其设置为环境变量S2_KEY。（由于GitHub Actions的限制，只有在本地运行代码时才能起到效果）

使其独立运行： 整个系统几乎不需要计算资源，因此你可以租用AWS上最便宜的虚拟机，将此仓库部署到其中，并安装requirements.txt中的依赖项。然后正确设置环境变量，并添加以下crontab：

0 13 * * * python ~/arxiv_scanner/main.py

这条crontab将在每天UTC下午1点（太平洋时间下午6点）运行脚本。

如何编写paper_topics.txt提示

paper_topics.txt文件用于生成GPT的提示语，它是一个你希望关注的主题列表。 一组示例可能如下所示：

1. RLHF或指令跟随方面的新型方法论改进，即为了提升语言模型在各类任务中更好地遵循用户指令而采取的具体微调步骤。
    - 相关：讨论RLHF等具体方法、指令微调数据集、改进这些方法或对其进行分析的论文。
    - 不相关：仅涉及某种任务适应的论文。单纯地遵循指令或输入并不足以说明问题。
2. 展示针对语言模型的新型强大测试集污染检测或成员推理方法。测试集污染是指语言模型在预训练过程中接触到基准数据集的现象。
    - 相关：能够检测语言模型中基准数据集污染的统计指标，尤其是能提供可靠保证的统计方法；同样相关的还有适用于语言模型的通用成员推理方法。
    - 不相关：任何不涉及语言模型，或未考虑测试集污染的论文。
3. 显示扩散式语言模型性能的重大突破。
    - 相关：研究既是扩散模型又是语言模型的论文。连续扩散模型更为重要，而离散扩散模型则相对次要。
    - 不相关：关于DALL-E或Stable Diffusion等图像扩散模型的论文，以及未明确提及语言模型或文本应用的论文。

这只是一个标准的提示语，但越具体越好，尤其是在“扩散式语言模型”或“指令跟随”这类主题上，因为语言模型可能会混淆图像扩散是否相关，或者仅仅提高某项任务的表现是否足以改善指令跟随能力。

你还可以在后面补充一些更广泛的兴趣领域，例如：

在为你朋友推荐论文时，请记住他喜欢统计机器学习和自然语言处理中的生成建模方面的论文。此外，他也乐于了解语言模型中令人惊讶的实证结果，以及巧妙的统计技巧。但他并不希望阅读那些主要关注方法在特定领域应用的论文。

工作原理详解

该脚本通过 RSS 订阅源抓取特定日期的 ArXiv 论文候选集。为避免重复推送论文，它只会获取过去一天内的 RSS 源。为了不遗漏任何论文，建议每天运行一次。

脚本会过滤掉所有标记为“已更新”的论文，仅推送新的论文。

过滤逻辑非常简单：首先检查作者是否匹配。

1. 在 Semantic Scholar 上查询作者，获取可能的匹配列表。
2. 检查论文中的作者。如果某位作者的 Semantic Scholar ID 与 authors.txt 文件中的某个人匹配，则该论文会被加入候选集，并赋予默认分数 author_match_score。

接下来，脚本会根据 GPT 评估的相关性进行筛选。这一过程分为两步：

1. 过滤掉所有没有 h-index 高于 config.ini 中 hcutoff 值的作者的论文，以降低成本。
2. 将剩余的论文分批提交给 config.ini 中指定的 GPT 模型进行评估。调试时应仅使用 GPT-3.5，因为它在此任务中效果不佳！ 此步骤采用 configs/ 中定义的以下提示模板：

你是一位贴心的论文阅读助手，负责每日浏览 ArXiv 的最新帖子，为你的朋友挑选几篇可能相关的论文。以下是最多五篇论文，请从中找出符合以下条件的论文：

1. 条件一
2. 条件二

[论文列表]

请以 JSONL 格式在每行中输出 {ARXIVID, COMMENT, RELEVANCE, NOVELTY}，每篇论文对应一行。 ARXIVID 应为论文的 ArXiv ID。 COMMENT 应指明是否有某条条件与论文高度契合；若有，需明确指出具体是哪一条（无需提及未匹配的条件）。 匹配依据不应是“语言建模”或“进展”等宽泛术语，而应具体指向某一明确条件。 RELEVANCE 是相关性评分，范围为 1 到 10：10 分表示论文与特定条件完全吻合，关键词近似且作者在该领域享有盛名；1 分表示与任何条件均无关，也与你朋友的兴趣领域毫不相干；2–3 分表示论文虽与兴趣领域相关，但未满足具体条件；5 分则表示与某一特定条件直接匹配。 NOVELTY 是创新性评分，范围为 1 到 10：10 分代表具有突破性的通用发现，将彻底改变整个领域；1 分则表示仅改进了问题的某个方面，或应用于非常特定的子领域。请仔细阅读摘要来判断，并假设作者关于创新性的声明不可信。

3. GPT 会对论文的相关性和创新性分别打分（评分范围均为 1–10）。
4. 如果论文的相关性或创新性得分低于 config.ini 中设定的阈值，则将其过滤掉。
5. 最后，根据相关性和创新性得分各占一半的权重，计算每篇论文的综合得分。

最终，所有论文将按照其 author_match_score 与 GPT 评定的相关性和创新性得分之和的最大值进行排序（相关性和创新性得分仅在高于配置文件中设定的阈值时才会出现在最终输出中）。随后，这些论文会被渲染并推送到各自的端点（文本文件或 Slack）。

贡献说明

本仓库使用 ruff 工具：ruff check . 和 ruff format .。 请通过运行 pre-commit install 安装预提交钩子。

测试与优化 GPT 过滤器

filter_papers.py 脚本也可以作为独立脚本运行。 它会从 in/debug_papers.json 中读取一批论文，按照当前的配置和提示模板进行处理，并将结果输出到 out/filter_paper_test.debug.json。如果发现机器人存在误判，可以找到对应的批次文件 out/gpt_paper_batches.debug.json，将其复制到相应的 debug_papers 文件中。

这样可以帮助你构建过滤器的基准测试，并查看最终的输出结果。

其他信息

本仓库及代码最初由 Tatsunori Hashimoto 开发，采用 Apache 2.0 许可证授权。感谢 Chenglei Si 对 GPT 过滤器的测试与基准测试工作。

gpt_paper_assistant 快速上手指南

gpt_paper_assistant 是一个基于 GPT-4 的每日 ArXiv 论文扫描工具。它能根据你设定的研究主题和关注的作者，自动筛选出你可能感兴趣的最新论文，并通过 GitHub Pages 静态网站或 Slack 机器人推送结果。

环境准备

在开始之前，请确保满足以下要求：

• 操作系统：Linux, macOS 或 Windows (需配置 Python 环境)
• Python 版本：推荐 Python 3.8+
• 必备账号与密钥：
  • GitHub 账号：用于托管代码、运行定时任务 (GitHub Actions) 及发布页面。
  • OpenAI API Key：用于调用 GPT 模型进行论文相关性评估 (OAI_KEY)。
  • Semantic Scholar API Key (可选但强烈推荐)：用于加速作者匹配过程 (S2_KEY)。若无此密钥，本地运行时作者搜索会变慢。
  • Slack Bot Token & Channel ID (可选)：若需通过 Slack 接收推送，需创建 Slack 应用并获取 SLACK_KEY 和 SLACK_CHANNEL_ID。

安装步骤

1. 部署代码库

将项目 Fork 到你自己的 GitHub 仓库，或克隆到本地：

git clone https://github.com/<你的用户名>/gpt_paper_assistant.git
cd gpt_paper_assistant

2. 配置运行环境

方案 A：使用 GitHub Actions (推荐，全自动运行)

此方案利用 GitHub 的免费算力每天自动运行扫描任务。

1. 启用工作流：如果是 Fork 的仓库，请在 GitHub 页面点击 "Actions" 标签页并启用 workflows。
2. 配置关注主题：

   cp config/paper_topics.template.txt config/paper_topics.txt
   

   编辑 config/paper_topics.txt，填入你感兴趣的具体研究方向（提示词格式参考下文“基本使用”）。
3. 配置关注作者：

   cp config/authors.template.txt config/authors.txt
   

   编辑 config/authors.txt，列出作者姓名及其 Semantic Scholar ID（ID 为该作者 Semantic Scholar 主页 URL 末尾的数字）。
4. 设置 ArXiv 分类： 编辑 config/config.ini，在 arxiv_categories 中设定需要扫描的分类（如 cs.CL）。
5. 设置 GitHub Secrets： 进入仓库 Settings -> Secrets and variables -> Actions，添加以下 secrets：
   • OAI_KEY: 你的 OpenAI API Key。
   • S2_KEY: 你的 Semantic Scholar API Key (可选)。
   • SLACK_KEY: Slack Bot OAuth Token (可选)。
   • SLACK_CHANNEL_ID: Slack 频道 ID (可选)。
6. 配置 GitHub Pages： 进入仓库 Settings -> Pages，将 "Build and deployment" 的 Source 设置为 GitHub Actions。

方案 B：本地运行 (适合调试)

1. 安装依赖：

   pip install -r requirements.txt
   # 国内用户可使用清华源加速
   # pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

2. 配置环境变量： 在终端中导出必要的密钥（Windows PowerShell 使用 $env:VAR_NAME="value"）：

   export OAI_KEY="your_openai_key"
   export S2_KEY="your_semantic_scholar_key"
   export SLACK_KEY="your_slack_token"
   export SLACK_CHANNEL_ID="your_channel_id"
   

3. 完成配置文件： 同方案 A，需手动创建并编辑 config/paper_topics.txt, config/authors.txt 和 config/config.ini。

基本使用

1. 定义筛选提示词 (Prompt)

工具的核心在于 config/paper_topics.txt。你需要清晰地描述你关注的领域，区分“相关”与“不相关”的情况，以避免 GPT 产生幻觉。

示例 (config/paper_topics.txt)：

1. 针对 RLHF 或指令遵循的新方法论改进，特别是使语言模型在多任务中更好遵循用户指令的微调步骤。
   - 相关：讨论具体方法如 RLHF、指令微调数据集、改进这些方法或对其进行分析的论文。
   - 不相关：仅关于适应特定任务的论文。仅仅遵循指令或输入是不够的。

2. 展示新的强力测试集污染检测方法或成员推断方法。测试集污染是指语言模型在预训练期间观察到基准数据集的现象。
   - 相关：能检测语言模型基准污染的统计方法；提供保证的统计方法更有趣；适用于语言模型的通用成员推断方法。
   - 不相关：不考虑语言模型或不考虑测试集污染的论文。

3. 展示扩散语言模型性能的显著进步。
   - 相关：研究同时也是扩散模型的语言模型的论文。连续扩散更相关，离散扩散次之。
   - 不相关：关于图像扩散（如 DALL-E, Stable Diffusion）的论文，或未明确提及语言模型及文本应用的论文。

在向朋友推荐论文时，请记住他喜欢统计机器学习和自然语言处理中的生成模型方面的论文。
他也喜欢了解语言模型中令人惊讶的实证结果以及巧妙的统计技巧。
他不想阅读主要关于将方法应用于特定领域的论文。

2. 运行与验证

在 GitHub Actions 上运行

配置完成后，工作流默认会在每天 UTC 时间 13:00 (北京时间 21:00) 自动运行。

• 手动测试：进入仓库 "Actions" 标签页，选择对应 workflow，点击 "Run workflow" 立即触发一次运行。
• 查看结果：运行成功后，结果将发布在 GitHub Pages 网站上（地址通常为 https://<你的用户名>.github.io/gpt_paper_assistant/），若配置了 Slack，也会收到推送消息。

在本地运行

执行主脚本即可启动单次扫描：

python main.py

输出文件将生成在项目目录中（取决于 config/config.ini 中的 dump_json, dump_md 等配置），若配置了 Slack 且网络通畅，也会发送通知。

3. 调试 GPT 过滤器

如果发现筛选结果不准确，可以单独测试过滤逻辑：

1. 准备一批测试论文数据放入 in/debug_papers.json。
2. 运行过滤脚本：

   python filter_papers.py
   

3. 查看输出结果 out/filter_paper_test.debug.json，根据结果调整 config/paper_topics.txt 中的提示词或 config/config.ini 中的阈值。