arxiv-sanity-lite

一个更加轻量级的、从头开始重写的 arxiv-sanity 版本。它会定期轮询 arXiv API 以获取新论文，然后允许用户为感兴趣的论文打上标签，并基于论文摘要的 TF-IDF 特征训练的 SVM 模型，为每个标签推荐新的相关论文。用户可以在一个美观的 Web 界面中搜索、排序、筛选和分析这些结果。最后，arxiv-sanity-lite 还可以每天向您发送包含根据您的标签推荐的新论文的电子邮件。管理好您的标签，追踪您所在领域的最新论文，不错过任何重要信息！

我在 arxiv-sanity-lite.com 上运行着这个代码的实时版本。

如何运行

要在本地运行，我通常会执行以下脚本来更新数据库中的新论文。我一般会通过定期的 cron 作业来调度这个任务：

#!/bin/bash

python3 arxiv_daemon.py --num 2000

if [ $? -eq 0 ]; then
    echo "检测到新论文！正在运行 compute.py"
    python3 compute.py
else
    echo "没有新增论文，跳过特征计算"
fi

可以看到，更新数据库的过程分为两步：首先使用 arxiv_daemon.py 通过 arXiv API 下载新论文，然后运行 compute.py 来计算论文的 TF-IDF 特征。最后，要本地启动 Flask 服务器，可以运行如下命令：

export FLASK_APP=serve.py; flask run

整个数据库都会存储在 data 目录下。如果您想在互联网上运行自己的实例，我建议直接在 Linode 上部署上述脚本。例如，我目前就在最小的“Nanode 1 GB”实例上运行这段代码，索引了约 3 万篇论文，每月仅需 5 美元。

（可选）此外，如果您希望定期向用户发送关于新论文的邮件，可以参考 send_emails.py 脚本。您还需要先安装 sendgrid 库。我会将此脚本设置为每日的 cron 作业来运行。

需求

通过 requirements 文件安装依赖：

pip install -r requirements.txt

待办事项

• 使用 CSS 中的媒体查询等技术使网站适配移动设备。
• metas 表不应再使用 sqlitedict，而应改为标准的 SQLite 表，以提高效率。
• 构建倒排索引以支持更快的搜索，目前我们是遍历整个数据库。

许可证

MIT 许可证

arxiv-sanity-lite 快速上手指南

arxiv-sanity-lite 是一个轻量级的 arXiv 论文推荐系统重写版本。它定期轮询 arXiv API 获取新论文，允许用户标记感兴趣的论文，并基于论文摘要的 TF-IDF 特征和 SVM 算法为每个标签推荐新论文。支持通过 Web 界面进行搜索、排序和筛选，并可配置每日邮件推送推荐结果。

环境准备

• 操作系统：Linux 或 macOS（Windows 需使用 WSL）
• Python 版本：Python 3.6+
• 依赖管理：pip
• 数据库：内置 SQLite（数据存储在 data 目录）
• 可选依赖：若需启用邮件推送功能，需安装 sendgrid

提示：国内开发者建议使用国内镜像源加速依赖安装，例如清华源：

export PIP_INDEX_URL=https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆项目代码

   git clone <repository-url>
   cd arxiv-sanity-lite
   

2. 安装 Python 依赖

   pip install -r requirements.txt
   

3. （可选）安装邮件推送依赖 如果需要启用每日邮件推荐功能：

   pip install sendgrid
   

基本使用

1. 更新论文数据库

首先运行守护进程脚本从 arXiv API 下载新论文，并计算特征向量。通常将此过程设置为定时任务（cron job）。

手动执行示例：

#!/bin/bash

python3 arxiv_daemon.py --num 2000

if [ $? -eq 0 ]; then
    echo "New papers detected! Running compute.py"
    python3 compute.py
else
    echo "No new papers were added, skipping feature computation"
fi

2. 启动 Web 服务

本地启动 Flask 服务器以访问 Web 界面：

export FLASK_APP=serve.py; flask run

启动后，在浏览器访问 http://127.0.0.1:5000 即可使用。所有数据将自动保存在项目根目录下的 data 文件夹中。

3. （可选）配置邮件推送

若需向用户发送每日论文推荐邮件，可运行以下脚本（建议配合 cron 定时执行）：

python3 send_emails.py