内容提取器与挖掘工具

CERMINE 是一个 Java 库，同时也提供了一个 Web 服务（cermine.ceon.pl），用于从包含学术出版物的 PDF 文件中提取元数据和内容。 CERMINE 由华沙大学跨学科数学与计算建模中心 Interdisciplinary Centre for Mathematical and Computational Modelling 下属的 Centre for Open Science 使用 Java 编写。

该代码采用 GNU Affero 通用公共许可证第 3 版进行授权。

如何引用 CERMINE：

Dominika Tkaczyk, Pawel Szostek, Mateusz Fedoryszak, Piotr Jan Dendek 和 Lukasz Bolikowski.
CERMINE：从科学文献中自动提取结构化元数据.
载于《国际文档分析与识别期刊》(IJDAR)，2015 年，第 18 卷第 4 期，第 317–335 页，doi: 10.1007/s10032-015-0249-8.

CERMINE 1.13 版本的 DOI：

使用 CERMINE

CERMINE 可用于：

• 从 PDF 文件中提取元数据、全文及解析后的参考文献；
• 从参考文献字符串中提取元数据；
• 从机构隶属关系字符串中提取元数据。

在所有任务中，默认输出格式为 NLM JATS。

根据用户需求，有三种使用 CERMINE 的方式：

• 独立应用程序——如果您需要在本地笔记本电脑或服务器上处理大量数据，请使用此方式。
• Maven 依赖——允许您在自己的 Java/Scala 代码中使用 CERMINE 的 API。
• Web 应用程序——仅适用于演示目的以及少量数据（少于 50 个文件）。

请参阅下方各节以获取详细信息。

独立应用程序

在笔记本电脑或服务器上处理文件最简单的方式是将 CERMINE 作为独立应用程序使用。您只需一个包含所有工具、外部库和训练模型的单个 JAR 文件即可。最新版本可从 仓库 下载（查找名为 cermine-impl-<VERSION>-jar-with-dependencies.jar 的文件）。当前版本为 1.13。

处理 PDF 文档

处理 PDF 文件的基本命令如下：

$ java -cp cermine-impl-<VERSION>-jar-with-dependencies.jar pl.edu.icm.cermine.ContentExtractor -path path/to/directory/with/pdfs/

可以使用附加参数 -outputs 来指定输出类型。该值应为以下一项或多项目的逗号分隔列表：

• jats —— NLM JATS 格式的文档元数据和内容；
• text —— 保留阅读顺序的原始文档文本；
• zones —— 标注了功能类别的文档文本区域；
• trueviz —— TrueViz 格式的文档几何结构；
• images —— 文档中的图像；
• bibtex —— BibTeX 格式的参考文献。

处理参考文献

要从参考文献字符串中提取元数据，请使用以下命令：

$ java -cp cermine-impl-<VERSION-jar-with-dependencies.jar pl.edu.icm.cermine.bibref.CRFBibReferenceParser -reference "the text of the reference"

处理机构隶属关系

要从机构隶属关系字符串中提取元数据，请使用：

$ java -cp cermine-impl-<VERSION>-jar-with-dependencies.jar pl.edu.icm.cermine.metadata.affiliation.CRFAffiliationParser -affiliation "the text of the affiliation"

（可选）如果您希望自行构建可执行 JAR 文件，请克隆项目并执行：

$ cd CERMINE/cermine-impl
$ mvn compile assembly:single

这将在 cermine-impl/target 目录下生成一个名为 cermine-impl-<VERSION>-jar-with-dependencies.jar 的文件。

Maven 依赖

可以通过在项目的 pom.xml 文件中添加以下依赖和仓库，将 CERMINE 用于 Java 项目：

<dependency>
	<groupId>pl.edu.icm.cermine</groupId>
	<artifactId>cermine-impl</artifactId>
	<version>${cermine.version}</version>
</dependency>

<repository>
	<id>icm</id>
	<name>ICM repository</name>
	<url>http://maven.icm.edu.pl/artifactory/repo</url>
</repository>

从 PDF 文件中提取内容的示例代码：

ContentExtractor extractor = new ContentExtractor();
InputStream inputStream = new FileInputStream("path/to/pdf/file");
extractor.setPDF(inputStream);
Element result = extractor.getContentAsNLM();

从参考文献字符串中提取元数据的示例代码：

CRFBibReferenceParser parser = CRFBibReferenceParser.getInstance();
BibEntry reference = parser.parseBibReference(referenceText);

从机构隶属关系字符串中提取元数据的示例代码：

CRFAffiliationParser parser = new CRFAffiliationParser();
Element affiliation = parser.parse(affiliationText);

REST 服务

第三种方式是使用 CERMINE 的 REST 服务配合 cURL 工具。需要注意的是，这种方式仅适用于少量数据，因为服务器资源有限。此外，Web 应用程序可能并未使用最新的代码版本。在大多数情况下，使用可执行 JAR 文件是更好的选择。

从 PDF 文件中提取内容：

$ curl -X POST --data-binary @article.pdf \
  --header "Content-Type: application/binary"\
  http://cermine.ceon.pl/extract.do

从参考文献字符串中提取元数据：

$ curl -X POST --data "reference=the text of the reference" \
  http://cermine.ceon.pl/parse.do

从机构隶属关系字符串中提取元数据：

$ curl -X POST --data "affiliation=the text of the affiliation" \
  http://cermine.ceon.pl/parse.do

CERMINE 快速上手指南

CERMINE 是一个用于从学术论文 PDF 文件中提取元数据和内容的 Java 库及 Web 服务。它支持提取元数据、全文、解析参考文献及机构信息，默认输出格式为 NLM JATS。

环境准备

• 操作系统：Linux、macOS 或 Windows（需安装 Java 环境）
• 前置依赖：
  • JDK 8 或更高版本
  • Maven（仅当需要自行构建或使用 Maven 依赖时）
• 网络要求：若使用在线 REST 服务需访问外网；本地运行无需联网。

安装步骤

方式一：独立应用（推荐用于批量处理）

1. 下载最新版本的包含所有依赖的 JAR 文件（当前版本 1.13）：

   wget https://maven.ceon.pl/artifactory/kdd-releases/pl/edu/icm/cermine/cermine-impl/1.13/cermine-impl-1.13-jar-with-dependencies.jar
   

   (注：国内用户若下载缓慢，可尝试配置 Maven 镜像后自行构建，见下方可选步骤)

2. (可选) 自行构建 JAR： 如果无法直接下载或需要最新版本，可克隆项目并构建：

   git clone https://github.com/CeON/CERMINE.git
   cd CERMINE/cermine-impl
   # 建议在 pom.xml 中配置阿里云 Maven 镜像以加速依赖下载
   mvn compile assembly:single
   

   构建完成后，可在 cermine-impl/target 目录下找到 cermine-impl-<VERSION>-jar-with-dependencies.jar。

方式二：Maven 依赖（适用于 Java/Scala 项目集成）

在项目的 pom.xml 中添加以下依赖和仓库配置：

<dependency>
    <groupId>pl.edu.icm.cermine</groupId>
    <artifactId>cermine-impl</artifactId>
    <version>1.13</version>
</dependency>

<repository>
    <id>icm</id>
    <name>ICM repository</name>
    <url>http://maven.icm.edu.pl/artifactory/repo</url>
</repository>

(提示：若构建速度慢，请在 Maven settings.xml 中配置阿里云等国内镜像代理该仓库地址)

基本使用

1. 使用独立应用处理 PDF

提取 PDF 中的元数据和内容（默认输出 NLM JATS 格式）：

java -cp cermine-impl-1.13-jar-with-dependencies.jar pl.edu.icm.cermine.ContentExtractor -path path/to/directory/with/pdfs/

指定输出格式（例如同时输出纯文本和 BibTeX 参考文献）：

java -cp cermine-impl-1.13-jar-with-dependencies.jar pl.edu.icm.cermine.ContentExtractor -path path/to/pdfs/ -outputs text,bibtex

支持的输出类型包括：jats, text, zones, trueviz, images, bibtex。

2. 解析参考文献字符串

java -cp cermine-impl-1.13-jar-with-dependencies.jar pl.edu.icm.cermine.bibref.CRFBibReferenceParser -reference "the text of the reference"

3. 解析机构 affiliation 字符串

java -cp cermine-impl-1.13-jar-with-dependencies.jar pl.edu.icm.cermine.metadata.affiliation.CRFAffiliationParser -affiliation "the text of the affiliation"

4. 代码集成示例 (Java)

提取 PDF 内容：

ContentExtractor extractor = new ContentExtractor();
InputStream inputStream = new FileInputStream("path/to/pdf/file");
extractor.setPDF(inputStream);
Element result = extractor.getContentAsNLM();

解析参考文献：

CRFBibReferenceParser parser = CRFBibReferenceParser.getInstance();
BibEntry reference = parser.parseBibReference(referenceText);

5. 使用 REST 服务 (仅限少量测试)

利用 curl 调用官方在线服务（注意：不适合大批量数据）：

提取 PDF 内容：

curl -X POST --data-binary @article.pdf \
  --header "Content-Type: application/binary"\
  http://cermine.ceon.pl/extract.do

解析参考文献：

curl -X POST --data "reference=the text of the reference" \
  http://cermine.ceon.pl/parse.do