基因组学的AI基础模型

这是InstaDeep在基因组学领域前沿深度学习模型与研究的汇聚地，源自核苷酸Transformer及其后续演进。

---

🎯 我们的重点：用AI推动基因组学发展

欢迎来到InstaDeep基因组学AI仓库！这里展示了我们基于Transformer的基因组语言模型系列及创新的下游应用。我们在基因组学领域的研究始于核苷酸Transformer，该模型由Nvidia和TUM合作开发，并在Cambridge-1超级计算机上训练；随后扩展至农业核苷酸Transformer（与Google合作，在TPU-v4加速器上训练）、SegmentNT和ChatNT等项目。

我们的使命是为科学界提供强大、可复现且易于使用的工具，以从生物序列中挖掘新洞见。本仓库作为分享我们基因组学领域模型、推理代码、预训练权重及研究贡献的核心平台，同时也探索单细胞转录组学等未来方向。

我们非常高兴将这些成果开源，向社区开放我们多样化的基因组语言模型和分割模型的代码及预训练权重。

✨ 精选模型与研究进展

本节重点介绍我们团队的关键模型与研究方向。每个条目都提供简要概述，并附有详细文档、论文及相关资源的链接。详细的代码示例、特定模型的部署指南以及深入图表现已移至./docs文件夹内的相应文档页面中。

---

🧬 核苷酸Transformer v3 (NTv3)

一款统一的多物种基础模型，将表征学习、功能位点与基因组注释预测，以及可控序列生成整合于一个高效的框架之中。NTv3采用类似U-Net的架构，并使用单碱基分词法，能够在核苷酸分辨率下高效建模长达1 Mb的上下文。该模型在OpenGenome2数据集上的9万亿个碱基对上进行了预训练，并在来自24种动植物的超过16,000个功能位点数据上进行了微调，从而在跨物种的功能位点预测和基因组注释任务中达到最先进水平。此外，该模型还可进一步微调为可控生成模型，用于设计具有指定活性水平的增强子序列，并通过STARR-seq实验加以验证。

• 关键词: 多物种基础模型、长上下文（1 Mb）、单碱基分辨率、功能位点预测、基因组注释、可控序列生成、U-Net架构、掩码扩散
• ➡️ 模型详情与使用方法
• 📜 阅读论文（bioRxiv）
• 🤗 Hugging Face合集

---

🧬 核苷酸Transformer (NT)

我们的基础语言模型基于超过3,200个人类基因组及850个其他物种基因组的DNA序列构建，相较于现有方法，能够实现极为精准的分子表型预测。该系列包含多个变体（如500M_human_ref、2B5_1000G、NT-v2系列），具体细节请参阅相关文档。

• 关键词: 基础模型、基因组学、DNA/RNA、预训练、序列嵌入、表型预测
• ➡️ 模型详情、变体及使用方法
• 📜 阅读论文（Nature Methods 2025）
• 🤗 Hugging Face合集
• 🚀 微调笔记本（HF）：(LoRA 和 常规)

---

🌾 农业核苷酸Transformer (AgroNT)

一款全新的大型基础语言模型，基于48种植物参考基因组进行训练，重点关注作物物种。AgroNT在调控元件、RNA加工及植物基因表达等多个预测任务中均表现出最先进的性能。

• 关键词: 植物基因组学、基础模型、作物科学、基因表达、农业AI
• ➡️ 模型详情与使用方法
• 📜 阅读论文（Communications Biology 2024）
• 🤗 Hugging Face合集

---

🧩 SegmentNT（及其家族：SegmentEnformer、SegmentBorzoi）

基于Transformer骨干网络（核苷酸Transformer、Enformer、Borzoi）的分割模型，可在单碱基分辨率下预测基因组元件。例如，SegmentNT能够对长达30 kb的人类基因组序列中的14种不同类别的基因组元件进行预测，并展现出卓越的性能。

• 关键词: 基因组分割、单碱基分辨率、基因组元件、U-Net、Enformer、Borzoi
• ➡️ 模型详情与使用方法（涵盖SegmentNT、SegmentEnformer、SegmentBorzoi）
• 📜 阅读论文（Nature Methods 2025）
• 🤗 Hugging Face合集
• 🚀 SegmentNT推理笔记本（HF）

---

💬 ChatNT

一款多模态对话代理，专为深入理解DNA生物序列而设计，可通过自然语言实现对基因组数据的交互式探索与分析。

• 关键词: 对话式AI、多模态、DNA分析、基因组聊天机器人、交互式生物学
• ➡️ 模型详情与使用方法
• 📜 阅读论文（Nature Machine Intelligence 2025）
• 🤗 ChatNT 在 Hugging Face 上
• 🚀 ChatNT 推理笔记本（Jax）

---

3️⃣ Codon-NT（探索3-mer分词法）

一种基于3-mer（密码子）训练的核苷酸Transformer模型变体。本研究探讨了基因组语言模型的替代分词策略及其对下游性能和可解释性的影响。

• 关键词: 基因组学、语言模型、密码子、分词、3-mer、核苷酸Transformer变体
• ➡️ 模型详情与使用方法
• 📜 阅读论文（Bioinformatics 2024）
• 🤗 Hugging Face 链接

---

🧬 Isoformer

一款直接从RNA-seq数据中学习异构体感知嵌入的模型，能够更深入地理解转录本特异性表达与调控机制。

• 关键词: RNA-seq、转录组学、异构体、基因表达、嵌入
• ➡️ 模型详情与使用方法
• 📜 阅读论文（NeurIPS 2024）
• 🤗 Hugging Face 链接
• 🚀 Isoformer 推理笔记本（HF）

---

🔬 sCT（单细胞Transformer）

我们用于单细胞和空间转录组学数据的基础Transformer模型。sCT旨在从复杂、高维的单细胞数据集中学习丰富的表征，以提升各类下游分析任务的性能。

• 关键词: 单细胞RNA-seq、空间转录组学、基础模型、Transformer、基因表达
• ➡️ 模型详情与使用方法
• 📜 阅读论文（OpenReview 预印本）
• 🤗 Hugging Face 链接
• 🚀 sCT 推理笔记本（HF）

---

🧪 BulkRNABert

BulkRNABert是一款基于Transformer的仅编码器型基础模型，专为批量RNA-seq数据设计。它可以从大规模转录组谱中学习具有生物学意义的表征。

• 关键词: 批量RNA-seq、基础模型、Transformer、癌症预后
• ➡️ 模型详情与使用方法
• 📜 阅读论文（Machine Learning for Health 2024）
• 🤗 Hugging Face 链接
• 🚀 BulkRNABert 推理笔记本（HF）

---

🔗 MOJO（Multi-Omics JOint representation）

MOJO是一种多模态模型，旨在学习多组学数据的嵌入表示。它整合了批量RNA-seq和DNA甲基化数据，生成强大的联合表征，专门用于癌症类型分类和生存分析。

• 关键词: 批量RNA-seq、DNA甲基化、基础模型、Transformer、多模态、癌症预后
• ➡️ 模型详情与使用方法
• 📜 阅读论文（ICML 生物生成式AI研讨会 2025）
• 🤗 Hugging Face 链接
• 🚀 MOJO 推理笔记本（HF）

---

💡 为什么选择 InstaDeep 的基因组学模型？

• 建立在坚实基础上： 利用大规模预训练和多样化的基因组数据集。
• 前沿研究： 融合深度学习在生物序列分析领域的最新进展。
• 高性能： 经过精心设计和验证，在具有挑战性的基因组学任务上达到最先进水平。
• 开放且易用： 我们提供预训练权重、使用示例，并致力于使其易于集成到科研工作流中。
• 协作精神： 与领先的学术界和工业界合作伙伴共同开发。
• 专注的专业知识： 由 InstaDeep 专注于基因组学AI的专家团队打造。

🚀 开始使用

要开始使用本仓库中的模型：

1. 克隆仓库：

   git clone https://github.com/instadeepai/nucleotide-transformer.git
   cd nucleotide-transformer
   

2. 设置环境（建议使用虚拟环境）：

   python -m venv .venv
   source .venv/bin/activate # Windows系统请使用 `source .venv\Scripts\activate`
   

3. 安装包及依赖项：

   pip install . # 安装本地包
   # 或者，如果您有通用的依赖文件，可以运行：
   # pip install -r requirements.txt
   

有关各模型的详细说明，包括特定依赖项、预训练权重下载以及Python使用示例，请参阅上述“精选模型与研究进展”部分中链接的专用文档页面（例如：./docs/nucleotide_transformer.md）。

🤝 社区与支持

• 问题与错误报告： 请使用 GitHub Issues 页面。
• 讨论： 如需更广泛的讨论或提问，请使用 GitHub Discussions 标签页（如已启用）。
• 保持更新： 关注 InstaDeep 的官方渠道，以获取新模型发布和研究进展的相关公告。

Nucleotide Transformer 快速上手指南

Nucleotide Transformer 是 InstaDeep 推出的一系列基于深度学习的基因组学基础模型，涵盖 DNA/RNA 序列分析、功能预测、基因组注释及多组学整合等任务。本指南将帮助您快速搭建环境并运行模型。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux 或 macOS (Windows 用户建议使用 WSL2)
• Python: 版本需为 3.11 (官方推荐，兼容 JAX 最新特性)
• 硬件加速:
  • 推荐使用 GPU (NVIDIA) 或 TPU 以获得最佳推理和训练性能。
  • 若仅进行小规模测试，CPU 亦可运行，但速度较慢。
• 前置依赖: 确保已安装 git 和 pip。

注意：该项目主要基于 JAX 框架，部分模型（如 sCT, BulkRNABert, MOJO）也提供了 PyTorch 的推理示例。

2. 安装步骤

第一步：克隆仓库

首先从 GitHub 获取源代码：

git clone https://github.com/instadeepai/nucleotide-transformer.git
cd nucleotide-transformer

第二步：创建虚拟环境

建议创建一个独立的 Python 虚拟环境以避免依赖冲突：

python -m venv .venv
source .venv/bin/activate 
# Windows 用户请使用: .venv\Scripts\activate

第三步：安装依赖

安装项目包及其依赖。由于 JAX 对硬件后端敏感，建议先安装适配您硬件的 JAX 版本，再安装本项目。

方案 A：直接安装（自动处理依赖）

pip install .

方案 B：手动指定 JAX 版本（推荐用于 GPU 用户） 如果您使用 NVIDIA GPU，建议显式安装带有 CUDA 支持的 JAX：

# 示例：安装支持 CUDA 12 的 JAX (具体版本请参考 jax.readthedocs.io)
pip install "jax[cuda12_pip]" -f https://storage.googleapis.com/jax-releases/jax_cuda_releases.html
pip install .

国内加速提示：如果下载速度较慢，可使用国内镜像源安装：

pip install . -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 基本使用

安装完成后，您可以加载预训练模型进行序列嵌入或预测。以下以经典的 Nucleotide Transformer (NT) 为例，展示如何生成 DNA 序列的嵌入向量。

简单推理示例

import jax
import jax.numpy as jnp
from transformers import AutoTokenizer, AutoModel # 假设通过 huggingface 接口调用，或引用本地库

# 1. 准备输入序列 (DNA 字符串)
dna_sequence = "ACGTACGTACGTACGTACGT"

# 2. 加载分词器和模型 (以 Hugging Face 托管的模型为例)
# 请根据具体模型名称替换 repo_id，例如 "InstaDeepAI/nucleotide-transformer-v2-500m-human-ref"
model_name = "InstaDeepAI/nucleotide-transformer-v2-500m-human-ref"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name)

# 3. 预处理输入
inputs = tokenizer(dna_sequence, return_tensors="pt") # 或 return_tensors="jax" 取决于具体实现

# 4. 执行推理
with jax.no_grad(): # 如果使用纯 JAX 实现，语法略有不同，参考具体 docs
    outputs = model(**inputs)
    
# 5. 获取结果 (序列嵌入)
embeddings = outputs.last_hidden_state

print(f"输入序列长度：{len(dna_sequence)}")
print(f"输出嵌入形状：{embeddings.shape}")

进阶资源指引

本仓库包含多个专用模型，详细用法请参阅对应的文档：

• NTv3: 适用于长上下文 (1Mb) 和功能轨道预测 -> ./docs/nucleotide_transformer_v3.md
• AgroNT: 专为植物基因组设计 -> ./docs/agro_nucleotide_transformer.md
• SegmentNT: 单碱基分辨率的基因组分割 -> ./docs/segment_nt.md
• ChatNT: 基因组数据的多模态对话助手 -> ./docs/chat_nt.md

您可以直接在 ./notebooks 目录中找到各模型的 Colab 或 Jupyter 推理示例代码。