Trafilatura：发现并提取网络上的文本数据

简介

Trafilatura 是一款尖端的 Python 库和命令行工具，旨在 从网络上收集文本，并简化将原始 HTML 转换为结构化、有意义数据的过程。它包含了执行 网络爬取、下载、抓取和提取 主要文本、元数据及评论所需的所有必要组件。其设计目标是保持 便捷性和模块化：无需数据库，输出可转换为常用格式。

从大量 HTML 中提取关键内容，能够有效缓解许多与文本质量相关的问题，通过 聚焦实际内容、避免由页眉、页脚等重复元素带来的噪声，以及 利用精选信息对数据和元数据进行合理解读 来实现。该提取器在减少噪声（精确度）和包含所有有效部分（召回率）之间取得了良好的平衡。它具有 鲁棒性且速度较快。

Trafilatura 已被 广泛使用，并集成到 数千个项目 中，合作公司包括 HuggingFace、IBM 和微软研究院，以及艾伦研究所、斯坦福大学、东京工业大学和慕尼黑大学等机构。

特性

• 高级网页爬取与文本发现：

  • 支持站点地图（TXT、XML）和信息源（ATOM、JSON、RSS）
  • 智能爬取与 URL 管理（过滤与去重）

• 在线与离线输入的并行处理：

  • 实时 URL，高效且礼貌地处理下载队列
  • 之前下载的 HTML 文件及已解析的 HTML 树

• 关键元素的稳健且可配置提取：

  • 主要文本（基于常见模式及 jusText、Readability 等通用算法）
  • 元数据（标题、作者、日期、网站名称、分类与标签）
  • 格式与结构：段落、标题、列表、引用、代码、换行符、内联文本格式
  • 可选元素：评论、链接、图片、表格

• 多种输出格式：

  • TXT 和 Markdown
  • CSV
  • JSON
  • HTML、XML 以及 XML-TEI

• 可选插件：

  • 提取内容的语言检测
  • 速度优化

• 积极维护，并得到开源社区的支持：

  • 定期更新、功能添加与优化
  • 详尽的文档

评估与替代方案

在文本提取基准测试中，Trafilatura 始终优于其他开源库，展现出其在提取网络内容方面的高效性和准确性。该提取器力求在减少噪声和包含所有有效部分之间取得平衡。

更多信息请参阅 基准测试章节 以及 评估自述文件，以使用最新数据和软件包运行评估。

其他评估：

• 在 ScrapingHub 的 文章提取基准测试 中，是最高效的开源库。
• 根据 Bien choisir son outil d'extraction de contenu à partir du Web（Lejeune & Barbaresi 2020），是最佳综合工具。
• 在 An Empirical Comparison of Web Content Extraction Algorithms（Bevendorff 等 2023）中，以 ROUGE-LSum 平均 F1 分数位居单个工具之首。

使用与文档

开始使用 Trafilatura 非常简单。如需更多信息和详细指南，请访问 Trafilatura 文档：

• 安装
• 使用方法： 命令行、 Python、 R
• 核心 Python 函数
• 交互式 Python 笔记本：Trafilatura 概览
• 教程与用例

多语言视频教程 YouTube 播放列表：

• 网页抓取教程与操作指南

许可证

本软件包采用 Apache 2.0 许可证 发布。

v1.8.0 之前的版本则采用 GPLv3+ 许可证。

贡献

欢迎各类贡献。更多信息请访问 贡献页面。漏洞报告可在 专用问题页面 上提交。

衷心感谢所有扩展文档或提交漏洞报告、新功能和修复补丁的 贡献者!

背景

本项目最初作为语言学与自然语言处理交叉领域的博士研究课题启动，这些专业知识多年来对 Trafilatura 的发展起到了关键作用。该项目最初旨在为柏林-勃兰登堡科学院（DWDS 和 ZDL 部门）的研究目的创建文本数据库。尽管该软件包目前仍在维护中，但其未来的发展取决于社区的支持。

如果您重视这款软件或将其用于您的产品，请考虑为其提供赞助并参与代码贡献。您在 GitHub 或 ko-fi.com 上的支持将有助于维护和改进这一广受欢迎的工具。

“Trafilatura” 是意大利语中“拉丝”的意思，象征着提炼与转换的过程，同时也指代意大利面的成型工艺。

作者

如需咨询、合作或反馈，请通过软件仓库或联系页面与我取得联系。更多最新动态请关注我的社交媒体账号。

• Barbaresi, A. Trafilatura：用于文本发现与提取的网络爬虫库及命令行工具，ACL/IJCNLP 2021 系统演示会议论文集，2021 年，第 122–131 页。
• Barbaresi, A. “使用开源软件进行通用网页内容提取”，KONVENS 2019 大会论文集，万花筒摘要，2019 年。
• Barbaresi, A. “高效构建元数据增强型网络语料库”，第十届网络作为语料库研讨会 (WAC-X)，2016 年。

如何引用 Trafilatura

Trafilatura 在学术界被广泛应用于数据采集领域。引用方式如下：

@inproceedings{barbaresi-2021-trafilatura,
  title = {{Trafilatura: 用于文本发现与提取的网络爬虫库及命令行工具}},
  author = {Barbaresi, Adrien},
  booktitle = {计算语言学协会第 59 届年会暨第 11 届国际自然语言处理联合会议联合会议：系统演示会议论文集},
  pages = {122--131},
  publisher = {计算语言学协会},
  url = {https://aclanthology.org/2021.acl-demo.15},
  year = 2021,
}

软件生态体系

我们共同开发的插件及其他扩展包也为网络数据抽取与分析领域做出了重要贡献：

相关文章可在 Bits of Language 上找到。

太棒了！您已经阅读到页面的末尾了：感谢您的关注！

Trafilatura 快速上手指南

Trafilatura 是一款先进的 Python 库和命令行工具，专为从网页中发现并提取高质量文本数据而设计。它能将原始 HTML 转换为结构化的正文、元数据（标题、作者、日期等）及评论，有效去除导航栏、页脚等噪声，广泛应用于数据采集、NLP 预处理及大模型训练数据构建。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：支持 Linux、macOS 和 Windows。
• Python 版本：需要 Python 3.8 或更高版本。
• 前置依赖：
  • pip：Python 包管理工具。
  • （可选）对于中文内容处理，建议安装 jieba 以提升分词和语言检测的准确性（非强制，但推荐）。

安装步骤

您可以使用 pip 直接安装最新稳定版。国内开发者建议使用清华或阿里云镜像源以加速下载。

使用官方源安装：

pip install trafilatura

使用国内镜像源加速安装（推荐）：

pip install trafilatura -i https://pypi.tuna.tsinghua.edu.cn/simple

注意：如果需要处理大量并发任务或使用高级功能，可能需要额外安装 lxml 和 cchardet 等编译型依赖。若安装失败，请先确保系统已安装构建工具（如 Linux 下的 build-essential 或 Windows 下的 Visual C++ Build Tools）。

基本使用

Trafilatura 支持命令行操作和 Python 代码调用两种方式。

1. 命令行使用 (CLI)

这是最快捷的使用方式，适合直接抓取单个网页或批量处理本地 HTML 文件。

抓取网页并输出纯文本：

trafilatura -u https://example.com -o output.txt

抓取网页并输出为 Markdown 格式（保留标题、列表等结构）：

trafilatura -u https://example.com --output-format markdown -o output.md

从本地 HTML 文件提取内容：

trafilatura -f input.html -o output.txt

常用参数说明：

• -u : 指定目标 URL。
• -f : 指定本地输入文件。
• -o : 指定输出文件路径。
• --output-format : 设置输出格式（支持 txt, markdown, csv, json, xml 等）。
• --include-comments : 可选，提取评论区内容。

2. Python 代码调用

在 Python 脚本中集成 Trafilatura，适合构建自定义爬虫或数据处理流水线。

基础示例：下载并提取文本

import trafilatura

# 目标网址
url = "https://example.com"

# 下载页面内容
downloaded = trafilatura.download(url)

# 提取正文文本
text = trafilatura.extract(downloaded)

print(text)

进阶示例：提取结构化数据（含元数据）

import trafilatura

url = "https://example.com"
downloaded = trafilatura.download(url)

# 提取包含元数据的字典对象
record = trafilatura.extract_record(downloaded)

if record:
    print(f"标题：{record['title']}")
    print(f"作者：{record['author']}")
    print(f"日期：{record['date']}")
    print(f"正文：{record['text']}")
else:
    print("未提取到有效内容")

处理本地 HTML 字符串：

import trafilatura

html_content = "<html><body><h1>测试标题</h1><p>这是测试内容。</p></body></html>"

# 直接从字符串提取
text = trafilatura.extract(html_content, include_comments=False)
print(text)