Craw4LLM

此仓库包含论文“Craw4LLM: 面向 LLM 预训练的高效网络爬取”的代码。

前置条件

1. 申请 ClueWeb22 数据集。
2. 创建一个 Python >= 3.10 的虚拟环境，并安装以下依赖：

   numpy
   tqdm
   fasttext
   pyyaml
   wandb
   

3. 将 DCLM fastText 分类器 下载至 fasttext_scorers/ 目录下。

[!重要] 为高效运行爬虫，ClueWeb22 数据应放置在 SSD 硬盘 上。

运行爬虫

要执行（模拟）爬取，首先在 configs/ 目录下创建一个 YAML 配置文件，然后运行以下命令：

python crawl.py crawl --config <你的配置文件路径>

Craw4LLM

在 configs/ 目录下创建一个 YAML 文件，内容如下：

cw22_root_path: <clueweb22_a 数据路径>
seed_docs_file: seed.txt
output_dir: crawl_results/seed_10k_crawl_20m_dclm_fasttext
num_selected_docs_per_iter: 10000
num_workers: 16  # 根据你的机器配置设置
save_state_every: -1  # 设置为正数以每隔若干步保存爬虫状态（队列及已访问集合）
max_num_docs: 20000000
selection_method: dclm_fasttext_score
order: desc  # desc 表示降序，asc 表示升序
wandb: true  # 设置为 false 可禁用 WandB 日志记录
wandb_project: crawler
wandb_run_name: seed_10k_crawl_20m_dclm_fasttext
rating_methods:
    - 
        type: length
    - 
        type: fasttext_score
        rater_name: dclm_fasttext_score
        model_path: fasttext_scorers/openhermes_reddit_eli5_vs_rw_v2_bigram_200k_train.bin

文档将由 rating_methods 中的所有评分器进行打分。在上述配置文件中，我们设置了一个按长度打分的 length 评分器，以及一个使用 DCLM fastText 模型打分的 fasttext_score 评分器。最终排名由 selection_method 决定，此处设置为 dclm_fasttext_score，即 fasttext_score 评分器的名称。

基线爬虫

随机爬虫

cw22_root_path: <clueweb22_a 数据路径>
seed_docs_file: seed.txt
output_dir: crawl_results/seed_10k_crawl_20m_random
num_selected_docs_per_iter: 10000
num_workers: 16
save_state_every: -1
max_num_docs: 20000000
selection_method: random_score
order: desc
wandb: true
wandb_project: crawler
wandb_run_name: seed_10k_crawl_20m_random
rating_methods:
    - 
        type: random_score

基于入链数的爬虫

cw22_root_path: <clueweb22_a 数据路径>
seed_docs_file: seed.txt
output_dir: crawl_results/seed_10k_crawl_20m_indegree
num_selected_docs_per_iter: 10000
num_workers: 16
save_state_every: -1
max_num_docs: 20000000
selection_method: inlink_count
order: desc
wandb: true
wandb_project: crawler
wandb_run_name: seed_10k_crawl_20m_indegree
rating_methods:
    - 
        type: inlink_count

预训练与评估

爬虫运行完成后，爬取到的文档 ID 将被存放在配置文件中指定的 output_dir 目录下。运行以下命令以获取文档文本：

python fetch_docs.py  --input_dir <文档ID目录>  --output_dir <文档文本目录>  --num_workers <工作进程数>

随后，您可以使用 DCLM 框架进行 LLM 的预训练和评估。

其他

浏览数据

运行以下命令可按文档 ID 打印该文档及其外链：

python access_data.py <clueweb22路径> <文档ID>

Craw4LLM 快速上手指南

Craw4LLM 是一个专为大语言模型（LLM）预训练设计的高效网页爬虫工具，基于论文 Craw4LLM: Efficient Web Crawling for LLM Pretraining 实现。它支持基于多种评分策略（如 FastText 质量评分、入链数量等）从 ClueWeb22 数据集中筛选高质量文档。

环境准备

在开始之前，请确保满足以下系统和依赖要求：

• 操作系统：Linux 推荐（需高性能磁盘 I/O）。
• Python 版本：>= 3.10。
• 存储要求：强烈建议将 ClueWeb22 数据集放置在 SSD 固态硬盘上，以保证爬虫运行效率。
• 前置数据：
  1. 申请并下载 ClueWeb22 数据集。
  2. 下载 DCLM FastText 分类器模型，并将其放入项目根目录下的 fasttext_scorers/ 文件夹中。

安装步骤

1. 创建虚拟环境（推荐使用 conda 或 venv）：

   python -m venv craw4llm_env
   source craw4llm_env/bin/activate  # Windows 用户请使用: craw4llm_env\Scripts\activate
   

2. 安装依赖包： 为确保下载速度，建议使用国内镜像源（如清华源）安装：

   pip install numpy tqdm fasttext pyyaml wandb -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   注意：fasttext 在某些系统上可能需要先安装构建工具（如 build-essential 或 gcc）。

基本使用

以下是使用 Craw4LLM 策略（基于 DCLM FastText 评分）进行模拟爬取的最简流程。

1. 准备配置文件

在项目根目录的 configs/ 文件夹下创建一个 YAML 配置文件（例如 my_crawl.yaml），内容如下。请根据实际情况修改路径：

cw22_root_path: <path_to_clueweb22_a>  # 替换为你的 ClueWeb22 数据实际路径
seed_docs_file: seed.txt               # 种子文档列表文件
output_dir: crawl_results/seed_10k_crawl_20m_dclm_fasttext
num_selected_docs_per_iter: 10000      # 每轮迭代选择的文档数
num_workers: 16                        # 根据机器 CPU 核心数调整
save_state_every: -1                   # 设为正整数可定期保存爬虫状态
max_num_docs: 20000000                 # 最大抓取文档总数
selection_method: dclm_fasttext_score  # 选择策略：基于 FastText 评分
order: desc                            # 排序：desc 为降序（高分优先）
wandb: true                            # 是否启用 WandB 日志
wandb_project: crawler
wandb_run_name: seed_10k_crawl_20m_dclm_fasttext
rating_methods:
    - 
        type: length                   # 长度评分器
    - 
        type: fasttext_score           # FastText 质量评分器
        rater_name: dclm_fasttext_score
        model_path: fasttext_scorers/openhermes_reddit_eli5_vs_rw_v2_bigram_200k_train.bin

提示：如果你没有 seed.txt，需要自行准备一个包含初始文档 ID 的文本文件。

2. 运行爬虫

执行以下命令启动爬取任务：

python crawl.py crawl --config configs/my_crawl.yaml

3. 获取文档文本

爬虫结束后，输出目录中将包含被选中的文档 ID 列表。使用以下命令提取具体的文档文本内容：

python fetch_docs.py --input_dir <document_ids_dir> --output_dir <document_texts_dir> --num_workers 16

请将 <document_ids_dir> 替换为配置文件中 output_dir 的路径，<document_texts_dir> 为你希望保存文本的路径。

提取完成后，即可使用 DCLM 框架进行后续的 LLM 预训练和评估。

其他内置策略

除了默认的 FastText 评分策略，工具还支持通过修改配置文件中的 selection_method 和 rating_methods 来使用其他基线策略：

• 随机爬取 (Random Crawler): 设置 selection_method: random_score。
• 基于入链数量爬取 (Indegree-based Crawler): 设置 selection_method: inlink_count。

数据浏览（可选）

若需查看特定文档的内容及其出链信息，可运行：

python access_data.py <path_to_clueweb22> <document_id>