NVIDIA BioNeMo框架是一套全面的编程工具、库和模型，专为数字生物学设计。它通过提供领域特定的优化模型配方和易于集成到基于GPU的计算资源中的工具链，以最先进的性能，加速构建和调整生物分子AI模型过程中最耗时且成本高昂的阶段。

使用BERT架构的知名蛋白质序列模型ESM-2的训练基准。

⚡ 快速入门

# 在Google Colab中尝试BioNeMo配方（推荐A100，T4可能太慢或内存不足）
# 复制粘贴到Google Colab单元格中

!git clone https://github.com/NVIDIA/bionemo-framework.git
cd bionemo-framework/bionemo-recipes/recipes/esm2_native_te/

# 从源代码安装transformer_engine[pytorch]，从PYPI安装需要很长时间
!curl -L -o transformer_engine_torch-2.8.0-cp312-cp312-linux_x86_64.whl "https://drive.google.com/uc?export=download&id=1Oz6dkkIMahv3LN_fQhhQRolZ3m-sr9SF"
!pip install --no-build-isolation transformer-engine transformer_engine_torch-2.8.0-cp312-cp312-linux_x86_64.whl

# 安装依赖
!pip install -r requirements.txt

# 使用TE运行ESM2原生配方
!python train_ddp.py

最新消息

用于CodonFM 1B的稀疏自编码器特征仪表板,展示了学习到的潜在特征及其在蛋白质序列上的激活情况。

• 2026年3月13日 用于模型可解释性的稀疏自编码器 — 在生物基础模型上训练并分析SAE。包含ESM2和CodonFM的配方，以及交互式特征仪表板。
• 2026年3月9日 Qwen2.5 / Qwen3模型 带有TE加速、FP8/MXFP8、KV缓存推理及双向HF检查点转换。
• 2026年3月5日 ESM2 NVFP4和MXFP8 低精度训练 — 在NVIDIA B300上以15B规模进行逐层精度控制时，最高可达每GPU 2,367 TFLOPS。
• 2026年2月23日 Mixtral MoE模型 带有TE GroupedLinear 用于高效并行专家计算，支持FP8/FP4，并可转换为HF格式。
• 2026年2月13日 ESM2 PEFT配方 用于LoRA微调，支持序列打包。
• 2026年1月14日 Llama3上下文并行 — 将Llama 3 70B扩展到144K上下文，在36个GB300 NVL36上实现约65%的MFU。
• 2025年10月27日 CodonFM配方 发布！这是原始研究代码库的加速版本，附带科学预印本。
• 2025年9月1日 bionemo-recipes 正式上线！轻量级且便携的示例，具备最先进的训练性能，您可以根据自身需求进行调整和扩展。

代码概览

BioNeMo框架的一个核心用例是帮助数字生物学家将其模型训练加速并扩展到计算集群上。本仓库围绕两个互补的领域组织：

1. 自包含的模型和配方位于bionemo-recipes中。这些示例展示了不同的生物AI工作负载训练模式，包括原生PyTorch、Hugging Face Accelerate以及NVIDIA megatron-FSDP，并在适当的情况下使用NVIDIA TransformerEngine (TE)进行加速。

(点击展开) bionemo-recipes 支持矩阵

目录	描述	支持状态	5D 并行	Megatron-FSDP	TE	序列打包	FP8	上下文并行
models/ amplify	使用 TE 加速的蛋白质 BERT，已推送到 HuggingFace	✅ 活跃	❌	✅	✅	🚧 开发中	✅	🚧 开发中
models/ esm2	使用 TE 加速的蛋白质 BERT，已推送到 HuggingFace	✅ 活跃	❌	✅	✅	✅	✅	✅
models/ llama3	使用 TE 加速的 Llama 3	✅ 活跃	❌	🚧 开发中	✅	✅	✅	✅
models/ geneformer	使用 TE 加速的单细胞 BERT	🚧 开发中	❌	✅	🚧 开发中	🚧 开发中	🚧 开发中	🚧 开发中
recipes/ codonfm_ptl_te	使用 TE 的 CodonFM Encodon 配方	✅ 活跃	❌	🚧 开发中	✅	✅	🚧 开发中	🚧 开发中
recipes/ esm2_accelerate_te	ESM2 TE + HF Accelerate 的配方	✅ 活跃	❌	🚧 开发中	✅	❌	✅	🚧 开发中
recipes/ esm2_native_te	ESM2 TE + 原生 PyTorch 的配方	✅ 活跃	❌	✅	✅	✅	✅	✅
recipes/ geneformer_native_te_mfsdp_fp8	Geneformer HF 模型的配方	🚧 开发中	❌	✅	✅	❌	✅	🚧 开发中
recipes/ llama3_native_te	Llama 3 TE + 原生 PyTorch 的配方	✅ 活跃	❌	🚧 开发中	✅	✅	✅	✅
models/ mixtral	使用 TE 加速的 MoE 模型	✅ 活跃	❌	🚧 开发中	✅	✅	✅	🚧 开发中
models/ qwen	使用 TE 加速的 Qwen2.5/Qwen3	✅ 活跃	❌	🚧 开发中	✅	✅	✅	🚧 开发中
recipes/ esm2_peft_te	ESM2 LoRA 微调的配方	✅ 活跃	❌	❌	✅	✅	🚧 开发中	❌
recipes/ evo2_megatron	通过 Megatron Bridge 的 Evo2 配方	🚧 开发中	❌	❌	✅	❌	✅	❌
recipes/ fp8_analysis	FP8 训练分析器及热图工具	✅ 活跃	无	无	无	无	无	无
recipes/ vit	视觉 Transformer 的配方	🚧 开发中	❌	✅	✅	❌	✅	🚧 开发中

2. sub-packages 中的可重用 BioNeMo 库。这些包仅限于实用函数和生物工作流支持，例如共享的核心接口、数据集助手、I/O、基准测试和配方工具。它们轻量级、可单独安装，可以直接用于 bionemo-recipes 或独立的流程中。

（点击展开）sub-packages 库概览

目录	描述	典型用途
bionemo-core	核心接口、共享数据助手和 PyTorch 工具	BioNeMo 库的共享基础
bionemo-recipeutils	共享的、与框架无关的配方工具和 CLI	多个配方使用
bionemo-moco	用于生成式工作流的分子协同设计工具	独立工作流和可重用组件
bionemo-noodles	基于 noodles 的高性能 FASTA I/O 包装器	序列 I/O 工具
bionemo-scdl	单细胞数据加载和转换工具	单细胞数据工作流
bionemo-scspeedtest	单细胞数据加载器的基准测试工具	基准测试和评估
bionemo-size-aware-batching	内存感知的小批量处理工具	训练和数据管道辅助
bionemo-webdatamodule	WebDataset 数据模块工具	工作流和配方中的数据加载辅助

BioNeMo 框架是 NVIDIA 生物制药产品更大生态系统的一部分。获取生物制药领域的新版本、错误修复、关键安全更新等通知。订阅。

文档资源

• 官方文档: 框架的指南、API 参考和故障排除信息均记录在我们的官方文档中。该文档的每日构建版本可在BioNeMo Framework GitHub Pages上获取。

• 🚧 文档正在进行中 🚧: bionemo-recipes 的文档目前仍在开发中，不过这些示例本身设计为自说明且易于理解——我们建议您将其输入到您最喜欢的生成式 AI 代码助手中！

本地开发

关于如何使用 BioNeMo 框架的完整文档已在我们的文档中提供： https://docs.nvidia.com/bionemo-framework/latest/user-guide/。我们还在 NGC 上发布了 BioNeMo 框架的容器镜像。要启动预构建的容器，您可以使用 brev.dev 的可部署链接 ，或者执行以下命令：

docker run --rm -it \
  --gpus=all --ipc=host --ulimit memlock=-1 --ulimit stack=67108864 \
  nvcr.io/nvidia/clara/bionemo-framework:nightly \
  /bin/bash

设置本地开发环境

在本地构建 Docker 镜像

在本地克隆仓库后，使用以下命令构建 BioNeMo 容器：

docker buildx build . -t my-container-tag

如果您遇到类似 No file descriptors available (os error 24) 的错误消息，请在 docker 构建命令中添加 --ulimit nofile=65535:65535 选项。

用于交互式调试的 VSCode Devcontainer

我们分发了一个适用于 VSCode 的开发容器配置文件（.devcontainer/devcontainer.json），它简化了 bionemo-recipes 和 sub-packages 的本地测试与开发流程。使用 VSCode 打开 bionemo-framework 文件夹时，系统应提示您在 devcontainer 环境中重新打开该文件夹。

sub-packages 下的包不会自动安装到该环境中。当您正在开发其中一个包时，可以使用可编辑安装的方式将其安装到当前环境中，例如：

uv pip install -e ./sub-packages/bionemo-core
uv pip install -e ./sub-packages/bionemo-scdl
uv pip install -e "./sub-packages/bionemo-recipeutils[basecamp]"

您也可以选择使用 pip install -e ...。

[!NOTE] 第一次启动 devcontainer 时，构建镜像可能需要较长时间。如果您先在本地构建镜像（使用上述命令），则可以确保大部分层已存在于本地 Docker 缓存中。

更多示例

请参阅tutorials 页面以获取示例应用和入门指南。

git clone https://github.com/NVIDIA/bionemo-framework.git
cd bionemo-framework/bionemo-recipes/recipes/esm2_native_te/

# 下载预编译包
curl -L -o transformer_engine_torch-2.8.0-cp312-cp312-linux_x86_64.whl "https://drive.google.com/uc?export=download&id=1Oz6dkkIMahv3LN_fQhhQRolZ3m-sr9SF"

# 安装核心库及 Wheel 包 (禁用构建隔离以加速)
pip install --no-build-isolation transformer-engine transformer_engine_torch-2.8.0-cp312-cp312-linux_x86_64.whl

pip install -r requirements.txt

python train_ddp.py