DNABERT

本仓库包含“DNABERT：用于基因组中DNA语言的预训练双向Transformer编码器表示模型”的实现。如果您使用了这些模型或代码，请引用我们的论文。该仓库仍在积极开发中，如遇到任何问题，请及时报告。

在本软件包中，我们提供了以下资源：DNABERT模型的源代码、使用示例、预训练模型、微调后的模型以及可视化工具。本软件包仍在开发中，未来将逐步增加更多功能。DNABERT的训练包括通用目的的预训练和特定任务的微调。作为我们项目的一部分，我们在本仓库中发布了预训练模型。我们基于HuggingFace的代码进行了扩展，并将其适配到DNA场景。

更新 2025年7月8日

原预训练DNABERT模型（DNABERT-3、4、5、6）的链接已失效。请前往HuggingFace获取并下载这些模型：

DNABERT-3：https://huggingface.co/zhihan1996/DNA_bert_3
DNABERT-4：https://huggingface.co/zhihan1996/DNA_bert_4
DNABERT-5：https://huggingface.co/zhihan1996/DNA_bert_5
DNABERT-6：https://huggingface.co/zhihan1996/DNA_bert_6

更新 2023年6月26日

第二代DNABERT，名为DNABERT-2，已在https://github.com/Zhihan1996/DNABERT_2上公开发布。DNABERT-2是在多物种基因组上训练的，相比第一代更加高效、强大且易于使用。我们在新软件包中也提供了更简单的DNABERT使用方法。同时，我们还发布了一个全面的基准测试——基因组理解评估（GUE），其中包含了7项任务下的28个数据集。如果您对我们的工作感兴趣，请查看DNABERT-2。谢谢！

引用

如果您在研究中使用了DNABERT，请引用以下文献：

@article{ji2021dnabert,
    author = {Ji, Yanrong and Zhou, Zhihan and Liu, Han and Davuluri, Ramana V},
    title = "{DNABERT: pre-trained Bidirectional Encoder Representations from Transformers model for DNA-language in genome}",
    journal = {Bioinformatics},
    volume = {37},
    number = {15},
    pages = {2112-2120},
    year = {2021},
    month = {02},
    issn = {1367-4803},
    doi = {10.1093/bioinformatics/btab083},
    url = {https://doi.org/10.1093/bioinformatics/btab083},
    eprint = {https://academic.oup.com/bioinformatics/article-pdf/37/15/2112/50578892/btab083.pdf},
}


@misc{zhou2023dnabert2,
      title={DNABERT-2: Efficient Foundation Model and Benchmark For Multi-Species Genome}, 
      author={Zhihan Zhou and Yanrong Ji and Weijian Li and Pratik Dutta and Ramana Davuluri and Han Liu},
      year={2023},
      eprint={2306.15006},
      archivePrefix={arXiv},
      primaryClass={q-bio.GN}
}

1. 环境设置

我们建议您使用Anaconda创建一个Python虚拟环境。此外，请确保您至少拥有一块配备Linux x86_64驱动程序版本≥410.48（兼容CUDA 10.0）的NVIDIA GPU。我们曾在8块具有11 GB显存的NVIDIA GeForce RTX 2080 Ti上进行分布式训练，相应的批处理大小也据此设定。如果您使用的GPU规格和显存容量不同，请相应调整您的批处理大小。

1.1 创建并激活新的虚拟环境

conda create -n dnabert python=3.6
conda activate dnabert

1.2 安装软件包及其他依赖项

（必选）

conda install pytorch torchvision cudatoolkit=10.0 -c pytorch

git clone https://github.com/jerryji1993/DNABERT
cd DNABERT
python3 -m pip install --editable .
cd examples
python3 -m pip install -r requirements.txt

（可选，安装apex以支持fp16训练）

切换到所需目录：cd PATH_NAME

git clone https://github.com/NVIDIA/apex
cd apex
pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./

2. 预训练（如果您直接在预训练模型上进行微调，请跳过此部分）

2.1 数据处理

请参阅位于/example/sample_data/pre的模板数据。如果您希望使用自己的数据进行DNABERT的预训练，需将数据处理成与模板相同格式。请注意，序列采用kmer格式，因此您需要先将序列转换为kmer形式。我们还在motif/motif_utils.py中提供了一个自定义函数seq2kmer用于这一转换。

以下示例以kmer=6的DNABERT为例。

2.2 模型训练

cd examples

export KMER=6
export TRAIN_FILE=sample_data/pre/6_3k.txt
export TEST_FILE=sample_data/pre/6_3k.txt
export SOURCE=DNABERT仓库路径
export OUTPUT_PATH=output$KMER

python run_pretrain.py \
    --output_dir $OUTPUT_PATH \
    --model_type=dna \
    --tokenizer_name=dna$KMER \
    --config_name=$SOURCE/src/transformers/dnabert-config/bert-config-$KMER/config.json \
    --do_train \
    --train_data_file=$TRAIN_FILE \
    --do_eval \
    --eval_data_file=$TEST_FILE \
    --mlm \
    --gradient_accumulation_steps 25 \
    --per_gpu_train_batch_size 10 \
    --per_gpu_eval_batch_size 6 \
    --save_steps 500 \
    --save_total_limit 20 \
    --max_steps 200000 \
    --evaluate_during_training \
    --logging_steps 500 \
    --line_by_line \
    --learning_rate 4e-4 \
    --block_size 512 \
    --adam_epsilon 1e-6 \
    --weight_decay 0.01 \
    --beta1 0.9 \
    --beta2 0.98 \
    --mlm_probability 0.025 \
    --warmup_steps 10000 \
    --overwrite_output_dir \
    --n_process 24

若需进行混合精度训练，可添加--fp16标签。（您需要先从源码安装‘apex’）。

3. 微调（如果您使用微调后的模型，请跳过此部分）

3.1 数据处理

请参阅 /example/sample_data/ft/ 中的模板数据。如果您希望使用自己的数据对 DNABERT 进行微调，请将您的数据处理成与模板数据相同的格式。请注意，序列采用 kmer 格式，因此您需要先将序列转换为该格式。我们还在 motif/motif_utils.py 中提供了一个自定义函数 seq2kmer 用于进行这种转换。

3.2 下载预训练的 DNABERT 模型

DNABERT3

DNABERT4

DNABERT5

DNABERT6

请将预训练模型下载到一个目录中。（如果您想复现以下示例，请下载 DNABERT 6）。然后通过运行以下命令解压文件：

unzip 6-new-12w-0.zip

我们还提供了一个 KMER=6 的微调模型，该模型在样本数据集上进行了微调，可用于预测、可视化和基序分析。如果您使用的是微调后的模型而不是自己进行微调，请下载该微调模型并将其放置在 examples/ft/6 目录下。

微调模型

3.3 使用预训练模型进行微调

在下面的示例中，我们以 kmer=6 的 DNABERT 为例，并以 prom-core 这一二分类任务作为示例。

cd examples

export KMER=6
export MODEL_PATH=预训练模型路径
export DATA_PATH=sample_data/ft/$KMER
export OUTPUT_PATH=./ft/$KMER

python run_finetune.py \
    --model_type dna \
    --tokenizer_name=dna$KMER \
    --model_name_or_path $MODEL_PATH \
    --task_name dnaprom \
    --do_train \
    --do_eval \
    --data_dir $DATA_PATH \
    --max_seq_length 100 \
    --per_gpu_eval_batch_size=32   \
    --per_gpu_train_batch_size=32   \
    --learning_rate 2e-4 \
    --num_train_epochs 5.0 \
    --output_dir $OUTPUT_PATH \
    --evaluate_during_training \
    --logging_steps 100 \
    --save_steps 4000 \
    --warmup_percent 0.1 \
    --hidden_dropout_prob 0.1 \
    --overwrite_output \
    --weight_decay 0.01 \
    --n_process 8

如果您希望进行混合精度训练，可以添加 --fp16 标签。（您需要先从源代码安装 apex 库）。

我们还提供了一个 KMER=6 的微调模型，该模型在样本数据集上进行了微调，可用于预测、可视化和基序分析。如果您使用的是微调后的模型而不是自己进行微调，请下载该微调模型并将其放置在 examples/ft/6 目录下。

微调模型

4. 预测

模型微调完成后，我们可以通过运行以下命令进行预测：

export KMER=6
export MODEL_PATH=./ft/$KMER
export DATA_PATH=sample_data/ft/$KMER
export PREDICTION_PATH=./result/$KMER

python run_finetune.py \
    --model_type dna \
    --tokenizer_name=dna$KMER \
    --model_name_or_path $MODEL_PATH \
    --task_name dnaprom \
    --do_predict \
    --data_dir $DATA_PATH  \
    --max_seq_length 75 \
    --per_gpu_pred_batch_size=128   \
    --output_dir $MODEL_PATH \
    --predict_dir $PREDICTION_PATH \
    --n_process 48

通过上述命令，微调后的 DNABERT 模型将从 MODEL_PATH 加载，并对保存在 DATA_PATH 中的 dev.tsv 文件进行预测，预测结果将保存在 PREDICTION_PATH 中。

如果您希望进行混合精度预测，可以添加 --fp16 标签。（您需要先从源代码安装 apex 库）。

5. 可视化

DNABERT 的可视化分为两个步骤：计算注意力分数和绘图。

5.1 计算注意力分数

仅使用一个模型（例如，DNABERT6）进行计算：

export KMER=6
export MODEL_PATH=./ft/$KMER
export DATA_PATH=sample_data/ft/$KMER
export PREDICTION_PATH=./result/$KMER

python run_finetune.py \
    --model_type dna \
    --tokenizer_name=dna$KMER \
    --model_name_or_path $MODEL_PATH \
    --task_name dnaprom \
    --do_visualize \
    --visualize_data_dir $DATA_PATH \
    --visualize_models $KMER \
    --data_dir $DATA_PATH \
    --max_seq_length 81 \
    --per_gpu_pred_batch_size=16   \
    --output_dir $MODEL_PATH \
    --predict_dir $PREDICTION_PATH \
    --n_process 96

通过上述命令，微调后的 DNABERT 模型将从 MODEL_PATH 加载，并对保存在 DATA_PATH 中的 dev.tsv 文件计算注意力分数，结果将保存在 PREDICTION_PATH 中。

如果您希望进行混合精度计算，可以添加 --fp16 标签。（您需要先从源代码安装 apex 库）。

5.2 绘图工具

6. 基序分析

一旦生成了注意力分数，我们可以继续使用 motif/find_motifs.py 进行基序分析：

cd ../motif

export KMER=6
export DATA_PATH=../examples/sample_data/ft/$KMER
export PREDICTION_PATH=../examples/result/$KMER
export MOTIF_PATH=./result/$KMER

python find_motifs.py \
    --data_dir $DATA_PATH \
    --predict_dir $PREDICTION_PATH \
    --window_size 24 \
    --min_len 5 \
    --pval_cutoff 0.005 \
    --min_n_motif 3 \
    --align_all_ties \
    --save_file_dir $MOTIF_PATH \
    --verbose

该脚本将在 MOTIF_PATH 中为每个基序生成一个 .txt 文件和一个 WebLogo .png 文件。

7. 基因组变异分析

要进行基因组变异分析（例如SNP），我们首先需要确保已生成序列的预测结果。然后，创建一个文件（模板位于SNP/example_mut_file.txt），指定在dev.tsv中哪些序列以及需要进行突变的起始和结束位置。第一列指示dev.tsv中待突变序列的索引，第二、三列分别为起始和结束位置，第四列则指明突变的目标类型（可以是替换、插入、删除等）。

一旦创建了该文件，即可对序列进行突变：

cd ../SNP
python mutate_seqs.py ./../examples/sample_data/ft/6/dev.tsv ./examples/ --mut_file ./example_mut_file.txt --k 6

或者，也可以将--mut_file参数留空，此时程序会尝试对所有序列中的每个碱基执行四种可能的核苷酸替换（‘A’、‘T’、‘C’或‘G’）。这在绘制论文中包含的突变热图时非常有用。请注意，如果dev.tsv包含大量序列或输入序列非常长，此操作将会非常耗时，因为命令会尝试对其所有可能的位置进行突变。

cd ../SNP
python mutate_seqs.py ./../examples/sample_data/ft/6/dev.tsv ./examples/ --k 6

之后，我们可以再次对生成的序列进行预测。注意：如果你的mut_file.txt中包含插入或删除操作，请考虑调整我们在进行预测时使用的max_seq_length参数。

export KMER=6
export MODEL_PATH=../examples/ft/$KMER
export DATA_PATH=examples
export PREDICTION_PATH=examples

python ../examples/run_finetune.py \
    --model_type dna \
    --tokenizer_name=dna$KMER \
    --model_name_or_path $MODEL_PATH \
    --task_name dnaprom \
    --do_predict \
    --data_dir $DATA_PATH  \
    --max_seq_length 75 \
    --per_gpu_pred_batch_size=128   \
    --output_dir $MODEL_PATH \
    --predict_dir $PREDICTION_PATH \
    --n_process 48

这将再次在$PREDICTION_PATH下生成pred_results.npy文件。完成上述步骤后，我们可以通过以下命令计算这些突变的影响：

python SNP.py \
    --orig_seq_file ../examples/sample_data/ft/6/dev.tsv \
    --orig_pred_file ../examples/result/6/pred_results.npy \
    --mut_seq_file examples/dev.tsv \
    --mut_pred_file examples/pred_results.npy \
    --save_file_dir examples

这将在save_file_dir下保存一个mutations.tsv文件，其中包含原始序列的索引（来自原始dev.tsv）、原始序列及其预测结果、突变后的序列及其预测结果，以及每种情况下的差异得分和对数似然比。

问答

1. 我无法开始训练模型/依赖项安装出现问题。

请确保您已满足DNABERT的所有系统要求，并且正确设置了conda环境。我们最近已在Amazon EC2 Deep Learning AMI（Ubuntu 18.04）上成功测试了我们的流程。作为参考，您可以将自己的系统/环境配置与该AMI进行比较。

2. DNABERT能否处理长度超过512的序列？

3. DNABERT是否可以扩展到多分类任务？

DNABERT 快速上手指南

DNABERT 是一个基于 Transformer 架构的预训练模型，专为基因组 DNA 序列语言设计。本指南将帮助您快速搭建环境并运行基础任务。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux x86_64
• GPU: 至少一张 NVIDIA GPU，驱动版本 >= 410.48 (兼容 CUDA 10.0)
  • 注：官方示例基于 8 张 RTX 2080 Ti (11GB 显存) 测试，若显存较小请调整 batch size。
• 软件依赖:
  • Anaconda (推荐用于管理虚拟环境)
  • Python 3.6
  • PyTorch (兼容 CUDA 10.0)

2. 安装步骤

2.1 创建虚拟环境

使用 Conda 创建并激活名为 dnabert 的环境：

conda create -n dnabert python=3.6
conda activate dnabert

2.2 安装依赖包

依次安装 PyTorch、克隆代码库并安装项目依赖：

# 安装 PyTorch 及相关组件 (CUDA 10.0)
conda install pytorch torchvision cudatoolkit=10.0 -c pytorch

# 克隆 DNABERT 仓库
git clone https://github.com/jerryji1993/DNABERT
cd DNABERT

# 安装当前包为可编辑模式
python3 -m pip install --editable .

# 进入 examples 目录并安装额外依赖
cd examples
python3 -m pip install -r requirements.txt

(可选) 如需开启混合精度训练 (fp16)，需从源码安装 NVIDIA Apex：

cd PATH_NAME  # 替换为您想要的目录
git clone https://github.com/NVIDIA/apex
cd apex
pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./

3. 基本使用

DNABERT 的核心工作流程通常包括：数据预处理 (K-mer 转换) -> 微调 (Fine-tuning) -> 预测/分析。 如果您直接使用官方提供的预训练模型进行微调，可跳过“预训练”步骤。

3.1 数据预处理

DNABERT 输入需要是 K-mer 格式。您可以使用工具包自带的 seq2kmer 函数将原始 DNA 序列转换为 K-mer 格式。 参考模板数据位于：/example/sample_data/ft/。

3.2 下载预训练模型

从 HuggingFace 下载所需的预训练模型（以 kmer=6 为例）：

• DNABERT-6: https://huggingface.co/zhihan1996/DNA_bert_6

下载后解压到指定目录，例如 PATH_TO_THE_PRETRAINED_MODEL。

3.3 微调模型 (Fine-tuning)

以下示例展示如何使用 kmer=6 的预训练模型，在启动子识别任务 (dnaprom) 上进行微调。

cd examples

export KMER=6
export MODEL_PATH=PATH_TO_THE_PRETRAINED_MODEL  # 替换为您的模型路径
export DATA_PATH=sample_data/ft/$KMER
export OUTPUT_PATH=./ft/$KMER

python run_finetune.py \
    --model_type dna \
    --tokenizer_name=dna$KMER \
    --model_name_or_path $MODEL_PATH \
    --task_name dnaprom \
    --do_train \
    --do_eval \
    --data_dir $DATA_PATH \
    --max_seq_length 100 \
    --per_gpu_eval_batch_size=32   \
    --per_gpu_train_batch_size=32   \
    --learning_rate 2e-4 \
    --num_train_epochs 5.0 \
    --output_dir $OUTPUT_PATH \
    --evaluate_during_training \
    --logging_steps 100 \
    --save_steps 4000 \
    --warmup_percent 0.1 \
    --hidden_dropout_prob 0.1 \
    --overwrite_output \
    --weight_decay 0.01 \
    --n_process 8

提示：若已安装 Apex 且希望使用混合精度训练，请在命令末尾添加 --fp16 参数。

3.4 执行预测

微调完成后，使用以下命令对数据进行预测：

export KMER=6
export MODEL_PATH=./ft/$KMER
export DATA_PATH=sample_data/ft/$KMER
export PREDICTION_PATH=./result/$KMER

python run_finetune.py \
    --model_type dna \
    --tokenizer_name=dna$KMER \
    --model_name_or_path $MODEL_PATH \
    --task_name dnaprom \
    --do_predict \
    --data_dir $DATA_PATH  \
    --max_seq_length 75 \
    --per_gpu_pred_batch_size=128   \
    --output_dir $MODEL_PATH \
    --predict_dir $PREDICTION_PATH \
    --n_process 48

预测结果将保存在 PREDICTION_PATH 目录下。

3.5 可视化与 Motif 分析 (可选)

生成注意力分数并进行 Motif 分析：

1. 计算注意力分数:

   python run_finetune.py \
       --model_type dna \
       --tokenizer_name=dna$KMER \
       --model_name_or_path $MODEL_PATH \
       --task_name dnaprom \
       --do_visualize \
       --visualize_data_dir $DATA_PATH \
       --visualize_models $KMER \
       --data_dir $DATA_PATH \
       --max_seq_length 81 \
       --per_gpu_pred_batch_size=16   \
       --output_dir $MODEL_PATH \
       --predict_dir $PREDICTION_PATH \
       --n_process 96
   

2. 提取 Motif:

   cd ../motif
   export MOTIF_PATH=./result/$KMER
   python find_motifs.py \
       --data_dir $DATA_PATH \
       --predict_dir $PREDICTION_PATH \
       --window_size 24 \
       --min_len 5 \
       --pval_cutoff 0.005 \
       --min_n_motif 3 \
       --align_all_ties \
       --save_file_dir $MOTIF_PATH \
       --verbose
   

   脚本将在 MOTIF_PATH 下生成 .txt 结果文件和 WebLogo .png 图像。