science-parse
Science Parse 是一款专为科研文献设计的开源解析工具，能够将复杂的 PDF 格式学术论文自动转换为结构清晰的 JSON 数据。它有效解决了研究人员和开发者从非结构化文档中手动提取关键信息耗时费力的痛点，支持精准识别论文标题、作者、摘要、章节正文、参考文献详情以及文中引用位置等核心字段。
这款工具特别适合需要批量处理文献数据的 AI 研究人员、数据挖掘工程师以及构建学术搜索应用的开发者使用。其技术亮点在于提供了灵活多样的集成方式：既可以直接部署为在线服务快速调用，也支持命令行批量处理，还能作为库嵌入到任何基于 JVM 的项目中（如 Java 或 Scala）。此外，项目还推出了新一代版本 SPv2，虽然在功能覆盖上有所精简，但显著提升了输出结果的质量与准确性。首次运行时，Science Parse 会自动下载必要的模型文件并本地缓存，确保后续启动高效流畅。无论是用于构建知识图谱还是进行大规模文献分析，它都能提供可靠的数据基础。
使用场景
某高校科研团队正在构建一个垂直领域的学术文献知识库，需要从数万篇 PDF 格式的论文中自动提取标题、作者、摘要及参考文献等关键元数据。
没有 science-parse 时
- 研究人员只能依靠人工阅读并手动录入论文信息，处理一篇文档平均耗时 20 分钟，效率极低且无法规模化。
- 若尝试使用通用 PDF 解析库，往往只能提取出混乱的纯文本流，难以区分正文段落、章节标题和页脚噪声，数据结构化清洗成本极高。
- 参考文献的引用关系完全丢失，无法自动构建论文间的引用图谱，导致后续的关联分析工作无法开展。
- 不同期刊的排版格式差异巨大，自定义编写的正则规则频繁失效，维护一套适配所有模板的代码几乎是不可能的任务。
使用 science-parse 后
- 团队部署 science-parse 服务后，实现了批量自动化处理，单篇论文解析仅需数秒，将原本需要数月的数据整理工作缩短至几天。
- 直接获得标准的 JSON 格式输出，标题、作者、摘要、各章节内容及参考文献被精准分离，无需再进行繁琐的文本清洗即可入库。
- 工具自动识别文中对参考文献的提及位置（Mentions），轻松构建了完整的引文网络，为知识图谱的生成提供了坚实基础。
- 无论源文件来自何种期刊或会议，science-parse 均能稳定输出统一结构的数据，彻底消除了针对不同排版格式编写适配规则的痛点。
science-parse 通过将非结构化的科学论文 PDF 转化为高质量的结构化数据，让大规模学术挖掘从“人工劳作”跃升为“智能自动化”。
运行环境要求
- 未说明 (基于 JVM，理论上支持所有运行 Java/Scala 的系统)
未说明
建议至少 10GB (启动命令示例为 -Xmx10g)
快速开始
Science Parse
Science Parse 可以解析科学论文（PDF 格式），并将其转换为结构化格式。截至今日，它支持以下字段：
- 标题
- 作者
- 摘要
- 各个章节（每个章节包含标题和正文）
- 参考文献列表，其中每条参考文献包括：
- 标题
- 作者
- 发表期刊或会议名称
- 年份
- 引用信息，即论文中提到参考文献的地方
以 JSON 格式呈现时，输出看起来像这样链接（或者如果你需要章节信息，可以参考这个链接链接）。最简单的入门方式就是使用该服务器提供的输出。
新版本：SPv2
目前有一个全新的 science-parse 版本 SPv2，其工作方式与旧版完全不同。虽然功能较少，但输出质量更高。更多详细信息请参阅 https://github.com/allenai/spv2。
快速入门
有三种不同的方式可以开始使用 SP。每种方式都有对应的文档：
- 服务器：包含 SP 服务器，适合将 PDF 解析作为一项服务来使用。这也是最容易上手的方式。
- 命令行工具：包含 SP 的命令行接口，最适合批量处理任务。
- 核心库：包含 SP 作为一个库的实现，其中包括所有的提取代码以及训练和评估部分。无论是服务器还是命令行工具，实际的工作都是由这个核心库完成的。
如何集成到你的项目中
当前版本为 3.0.0。如果你想将其集成到自己的项目中，可以使用以下方法：
对于 SBT：
libraryDependencies += "org.allenai" %% "science-parse" % "3.0.0"
对于 Maven：
<dependency>
<groupId>org.allenai</groupId>
<artifactId>science-parse_2.12</artifactId>
<version>3.0.0</version>
</dependency>
首次运行时，SP 会下载一些较大的模型文件。请不必担心！这些模型文件会被缓存，因此第二次启动时速度会快很多。
出于许可限制，SP 不包含某些图像格式的库。如果没有这些库，SP 就无法处理包含这些格式图像的 PDF 文件。如果你的项目没有许可限制，我们建议你也添加以下依赖项：
"com.github.jai-imageio" % "jai-imageio-core" % "1.2.1",
"com.github.jai-imageio" % "jai-imageio-jpeg2000" % "1.3.0", // 用于处理 JPEG 2000 图像
"com.levigo.jbig2" % "levigo-jbig2-imageio" % "1.6.5", // 用于处理 JBIG2 图像
开发说明
该项目混合使用了 Java 和 Scala 语言。两种语言之间的交互非常流畅，SP 可以作为库被任何基于 JVM 的语言所使用。
我们的构建系统是 sbt。要构建 science-parse，你需要先安装并配置好 sbt。相关详情请参阅 https://www.scala-sbt.org。
一旦你完成了 sbt 的设置，只需在主项目目录下运行 sbt 命令即可启动 sbt 的交互式 shell。在 shell 中你可以执行许多操作，以下是几个最重要的命令：
+test会跨所有 Scala 版本运行所有项目的测试。cli/assembly会为命令行工具项目构建一个可运行的超级 JAR 包（即包含所有依赖的 JAR 文件）。你可以通过 bash 命令java -Xmx10g -jar <超级JAR路径>来运行它。server/assembly会为 Web 服务器项目构建一个可运行的超级 JAR 包。server/run可以直接从 sbt shell 启动服务器。
Lombok
该项目使用了 Lombok，这要求你在 IDE 中启用注解处理功能。IntelliJ 插件可以在这里找到，并且你需要启用注解处理功能（具体步骤请参考这里）。
Lombok 提供了许多有用的注解，能够实现 Scala 中的一些便捷特性：
val等同于final加右侧类型推断，通过一些技巧实现了类型推断功能。- 请查看
@Data注解。
致谢
特别感谢 @kermitt2，他在 kermitt2/grobid 上所做的工作启发了 Science Parse，并帮助我们获得了第一批标注数据。
发布新版本
该项目使用 BinTray 进行发布。发布步骤如下：
- 拉取你想要发布的 master 分支上的最新代码。
- 打标签
git tag -a vX.Y.Z -m "Release X.Y.Z"，将 X.Y.Z 替换为正确的版本号。 - 将标签推送到远程仓库
git push origin vX.Y.Z。 - 在 BinTray 上发布构建
sbt +publish（必须使用+来进行交叉编译）。 - 在 bintray.com 上验证发布是否成功。
- 在 master 分支的
build.sbt文件中将版本号递增 1（例如，在发布 2.5.0 后，将版本号更新为 2.5.1）。
如果出现错误，你可以使用 sbt bintrayUnpublish 回滚发布，并根据需要重新打标签到其他提交版本。
版本历史
v2.0.32018/12/05v1.3.22018/05/18常见问题
相似工具推荐
ML-For-Beginners
ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。 无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。
ragflow
RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。 在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。 这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。
PaddleOCR
PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。 面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。 PaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。
awesome-machine-learning
awesome-machine-learning 是一份精心整理的机器学习资源清单，汇集了全球优秀的机器学习框架、库和软件工具。面对机器学习领域技术迭代快、资源分散且难以甄选的痛点，这份清单按编程语言（如 Python、C++、Go 等）和应用场景（如计算机视觉、自然语言处理、深度学习等）进行了系统化分类，帮助使用者快速定位高质量项目。 它特别适合开发者、数据科学家及研究人员使用。无论是初学者寻找入门库，还是资深工程师对比不同语言的技术选型，都能从中获得极具价值的参考。此外，清单还延伸提供了免费书籍、在线课程、行业会议、技术博客及线下聚会等丰富资源，构建了从学习到实践的全链路支持体系。 其独特亮点在于严格的维护标准：明确标记已停止维护或长期未更新的项目，确保推荐内容的时效性与可靠性。作为机器学习领域的“导航图”，awesome-machine-learning 以开源协作的方式持续更新，旨在降低技术探索门槛，让每一位从业者都能高效地站在巨人的肩膀上创新。
scikit-learn
scikit-learn 是一个基于 Python 构建的开源机器学习库，依托于 SciPy、NumPy 等科学计算生态，旨在让机器学习变得简单高效。它提供了一套统一且简洁的接口，涵盖了从数据预处理、特征工程到模型训练、评估及选择的全流程工具，内置了包括线性回归、支持向量机、随机森林、聚类等在内的丰富经典算法。 对于希望快速验证想法或构建原型的数据科学家、研究人员以及 Python 开发者而言，scikit-learn 是不可或缺的基础设施。它有效解决了机器学习入门门槛高、算法实现复杂以及不同模型间调用方式不统一的痛点，让用户无需重复造轮子，只需几行代码即可调用成熟的算法解决分类、回归、聚类等实际问题。 其核心技术亮点在于高度一致的 API 设计风格，所有估算器（Estimator）均遵循相同的调用逻辑，极大地降低了学习成本并提升了代码的可读性与可维护性。此外，它还提供了强大的模型选择与评估工具，如交叉验证和网格搜索，帮助用户系统地优化模型性能。作为一个由全球志愿者共同维护的成熟项目，scikit-learn 以其稳定性、详尽的文档和活跃的社区支持，成为连接理论学习与工业级应用的最
keras
Keras 是一个专为人类设计的深度学习框架，旨在让构建和训练神经网络变得简单直观。它解决了开发者在不同深度学习后端之间切换困难、模型开发效率低以及难以兼顾调试便捷性与运行性能的痛点。 无论是刚入门的学生、专注算法的研究人员，还是需要快速落地产品的工程师，都能通过 Keras 轻松上手。它支持计算机视觉、自然语言处理、音频分析及时间序列预测等多种任务。 Keras 3 的核心亮点在于其独特的“多后端”架构。用户只需编写一套代码，即可灵活选择 TensorFlow、JAX、PyTorch 或 OpenVINO 作为底层运行引擎。这一特性不仅保留了 Keras 一贯的高层易用性，还允许开发者根据需求自由选择：利用 JAX 或 PyTorch 的即时执行模式进行高效调试，或切换至速度最快的后端以获得最高 350% 的性能提升。此外，Keras 具备强大的扩展能力，能无缝从本地笔记本电脑扩展至大规模 GPU 或 TPU 集群，是连接原型开发与生产部署的理想桥梁。