[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-NVIDIA--bionemo-framework":3,"tool-NVIDIA--bionemo-framework":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",157379,2,"2026-04-15T23:32:42",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":76,"owner_email":76,"owner_twitter":76,"owner_website":77,"owner_url":78,"languages":79,"stars":107,"forks":108,"last_commit_at":109,"license":76,"difficulty_score":110,"env_os":111,"env_gpu":112,"env_ram":113,"env_deps":114,"category_tags":123,"github_topics":124,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":129,"updated_at":130,"faqs":131,"releases":160},7943,"NVIDIA\u002Fbionemo-framework","bionemo-framework","BioNeMo Framework: For building and adapting AI models in drug discovery at scale","BioNeMo Framework 是 NVIDIA 专为数字生物学打造的一套开源开发框架，旨在帮助研究人员和开发者高效构建及适配用于药物发现的大规模生物 AI 模型。在生物医药领域，训练蛋白质序列等生物大分子模型通常耗时极长且计算成本高昂，BioNeMo 通过提供针对 GPU 深度优化的预置方案（Recipes）和工具库，显著加速了这一过程，让复杂的模型训练与微调变得更加便捷。\n\n该框架特别适合从事生物信息学、药物研发以及大模型训练的科研人员与工程师使用。其核心亮点在于对 Transformer 架构的深度优化，支持 ESM-2、CodonFM 等主流生物基础模型，并集成了稀疏自编码器（SAE）以增强模型可解释性。此外，BioNeMo 率先支持 FP8、MXFP8 等低精度训练技术，能在 NVIDIA 最新硬件上实现极高的算力利用率，大幅降低显存占用并提升训练速度。无论是从零训练大规模模型，还是利用 LoRA 等技术进行轻量级微调，BioNeMo 都能提供流畅的开发体验，是推动 AI 赋能新药研发的强大引擎。","\u003Cdiv align=\"center\">\n \u003Ch1>BioNeMo Framework\u003C\u002Fh1>\n \u003Ch4>GPU-optimized recipes & toolkits for training transformer models at scale with biological data\u003C\u002Fh4>\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"left\">\n\n[![Click here to deploy.](https:\u002F\u002Fuohmivykqgnnbiouffke.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Flandingpage\u002Fbrevdeploynavy.svg)](https:\u002F\u002Fconsole.brev.dev\u002Flaunchable\u002Fdeploy\u002Fnow?launchableID=env-2pPDA4sJyTuFf3KsCv5KWRbuVlU)\n[![Docs Build](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002FNVIDIA\u002Fbionemo-framework\u002Fpages\u002Fpages-build-deployment?label=docs-build)](https:\u002F\u002Fnvidia.github.io\u002Fbionemo-framework)\n[![Test Status](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Factions\u002Fworkflows\u002Funit-tests.yml\u002Fbadge.svg)](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Factions\u002Fworkflows\u002Funit-tests.yml)\n[![Latest Tag](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fv\u002Ftag\u002FNVIDIA\u002Fbionemo-framework?label=latest-version)](https:\u002F\u002Fcatalog.ngc.nvidia.com\u002Forgs\u002Fnvidia\u002Fteams\u002Fclara\u002Fcontainers\u002Fbionemo-framework\u002Ftags)\n[![codecov](https:\u002F\u002Fcodecov.io\u002Fgh\u002FNVIDIA\u002Fbionemo-framework\u002Fbranch\u002Fmain\u002Fgraph\u002Fbadge.svg?token=XqhegdZRqB)](https:\u002F\u002Fcodecov.io\u002Fgh\u002FNVIDIA\u002Fbionemo-framework)\n\n\u003Cdiv align=\"left\">\n\nNVIDIA BioNeMo Framework is a comprehensive suite of programming tools, libraries, and models designed for digital biology. It accelerates the most time-consuming and costly stages of building and adapting biomolecular AI models by providing domain-specific, optimized model recipes and tooling that are easily integrated into GPU-based computational resources with state-of-the-art performance.\n\n\u003Cp align=\"center\">\n \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_bionemo-framework_readme_e4d26b24148f.png\" width=\"600\">\n \u003Cbr>\n \u003Cem> Training benchmarks for ESM-2, a well known protein sequence model using the BERT architecture.\u003C\u002Fem>\n\u003C\u002Fp>\n\n## ⚡ Quick Start\n\n```bash\n# Try BioNeMo Recipes in Google Colab (Recommend A100, may be too slow or run out of memory on T4)\n# Copy paste into Google Colab cells\n\n!git clone https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework.git\ncd bionemo-framework\u002Fbionemo-recipes\u002Frecipes\u002Fesm2_native_te\u002F\n\n# Install transformer_engine[pytorch] from source, it takes a long time to install from PYPI\n!curl -L -o transformer_engine_torch-2.8.0-cp312-cp312-linux_x86_64.whl \"https:\u002F\u002Fdrive.google.com\u002Fuc?export=download&id=1Oz6dkkIMahv3LN_fQhhQRolZ3m-sr9SF\"\n!pip install --no-build-isolation transformer-engine transformer_engine_torch-2.8.0-cp312-cp312-linux_x86_64.whl\n\n# Install dependencies\n!pip install -r requirements.txt\n\n# Run ESM2 Native Recipes with TE\n!python train_ddp.py\n```\n\n## Recent News\n\n\u003Cp align=\"center\">\n \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_bionemo-framework_readme_db89bff6592c.png\" width=\"600\">\n \u003Cbr>\n \u003Cem>\u003Ca href=\"https:\u002F\u002Fresearch.nvidia.com\u002Flabs\u002Fdbr\u002Fblog\u002Fsae\u002F\">Sparse autoencoder feature dashboard for CodonFM 1B\u003C\u002Fa>, showing learned latent features and their activations on protein sequences.\u003C\u002Fem>\n\u003C\u002Fp>\n\n- 03\u002F13\u002F2026 [Sparse Autoencoders for model interpretability](bionemo-recipes\u002Finterpretability\u002Fsparse_autoencoders\u002F) — train and analyze SAEs on biological foundation models. Includes recipes for ESM2 and CodonFM with interactive feature dashboards.\n- 03\u002F09\u002F2026 [Qwen2.5 \u002F Qwen3 model](bionemo-recipes\u002Fmodels\u002Fqwen\u002F) with TE acceleration, FP8\u002FMXFP8, KV-cache inference, and bidirectional HF checkpoint conversion.\n- 03\u002F05\u002F2026 [ESM2 NVFP4 and MXFP8](bionemo-recipes\u002Frecipes\u002Fesm2_native_te\u002FREADME.md#low-precision-performance-benchmarks) low-precision training — up to **2,367 TFLOPS\u002FGPU** on NVIDIA B300 at 15B scale with per-layer precision control.\n- 02\u002F23\u002F2026 [Mixtral MoE model](bionemo-recipes\u002Fmodels\u002Fmixtral\u002F) with TE `GroupedLinear` for efficient parallel expert computation, FP8\u002FFP4 support, and HF conversion.\n- 02\u002F13\u002F2026 [ESM2 PEFT recipe](bionemo-recipes\u002Frecipes\u002Fesm2_peft_te\u002F) for LoRA fine-tuning with sequence packing support.\n- 01\u002F14\u002F2026 [Llama3 Context Parallelism](bionemo-recipes\u002Frecipes\u002Fllama3_native_te\u002FREADME.md#performance-benchmarks) — scaling Llama 3 70B to 144K context on 36x GB300 NVL36 with ~65% MFU.\n- 10\u002F27\u002F2025 [CodonFM recipe](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Ftree\u002Fmain\u002Fbionemo-recipes\u002Frecipes\u002Fcodonfm_ptl_te) released! This is an accelerated version of the original [research codebase](https:\u002F\u002Fgithub.com\u002FNVIDIA-Digital-Bio\u002FCodonFM) with [scientific preprint](https:\u002F\u002Fresearch.nvidia.com\u002Flabs\u002Fdbr\u002Fassets\u002Fdata\u002Fmanuscripts\u002Fnv-codonfm-preprint.pdf).\n- 09\u002F01\u002F2025 [bionemo-recipes](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Ftree\u002Fmain\u002Fbionemo-recipes) goes live! Lightweight and portable examples with state-of-the-art training performance you can riff on to meet your needs.\n\n## Code Overview\n\nA core use-case of the BioNeMo Framework is to help digital biology scientists accelerate and scale their model training onto a compute cluster. This repository is organized around two complementary areas:\n\n1\\. Self-contained models and recipes in [`bionemo-recipes`](.\u002Fbionemo-recipes\u002F). These examples show different training patterns for biological AI workloads, including native PyTorch, Hugging Face Accelerate, and [NVIDIA megatron-FSDP](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FMegatron-LM\u002Ftree\u002Fmain\u002Fmegatron\u002Fcore\u002Fdistributed\u002Ffsdp\u002Fsrc), with [NVIDIA TransformerEngine (TE)](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FTransformerEngine) acceleration where appropriate.\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>(Click to expand) \u003Ccode>bionemo-recipes\u003C\u002Fcode> support matrix \u003C\u002Fb>\u003C\u002Fsummary>\n\u003Csmall>\n\n| Directory | Description | Support Status | 5D Parallel | Megatron-FSDP | TE | Sequence Packing | FP8 | Context Parallelism |\n| ---------------------------------------------- | ----------------------------------------------------------------------------------------------------------------------------- | -------------- | ----------- | ------------- | ------ | ---------------- | ------ | ------------------- |\n| `models\u002F`\u003Cbr>`amplify` | TE accelerated protein BERT, pushed to HuggingFace | ✅ Active | ❌ | ✅ | ✅ | 🚧 WIP | ✅ | 🚧 WIP |\n| `models\u002F`\u003Cbr>`esm2` | TE accelerated protein BERT, pushed to HuggingFace | ✅ Active | ❌ | ✅ | ✅ | ✅ | ✅ | ✅ |\n| `models\u002F`\u003Cbr>`llama3` | TE accelerated Llama 3 | ✅ Active | ❌ | 🚧 WIP | ✅ | ✅ | ✅ | ✅ |\n| `models\u002F`\u003Cbr>`geneformer` | TE accelerated single-cell BERT | 🚧 WIP | ❌ | ✅ | 🚧 WIP | 🚧 WIP | 🚧 WIP | 🚧 WIP |\n| `recipes\u002F`\u003Cbr>`codonfm_ptl_te` | Recipe for [CodonFM](https:\u002F\u002Fresearch.nvidia.com\u002Flabs\u002Fdbr\u002Fassets\u002Fdata\u002Fmanuscripts\u002Fnv-codonfm-preprint.pdf)'s Encodon using TE | ✅ Active | ❌ | 🚧 WIP | ✅ | ✅ | 🚧 WIP | 🚧 WIP |\n| `recipes\u002F`\u003Cbr>`esm2_accelerate_te` | Recipe for ESM2 TE + HF Accelerate | ✅ Active | ❌ | 🚧 WIP | ✅ | ❌ | ✅ | 🚧 WIP |\n| `recipes\u002F`\u003Cbr>`esm2_native_te` | Recipe for ESM2 TE + native PyTorch | ✅ Active | ❌ | ✅ | ✅ | ✅ | ✅ | ✅ |\n| `recipes\u002F`\u003Cbr>`geneformer_native_te_mfsdp_fp8` | Recipe for Geneformer HF model | 🚧 WIP | ❌ | ✅ | ✅ | ❌ | ✅ | 🚧 WIP |\n| `recipes\u002F`\u003Cbr>`llama3_native_te` | Recipe for Llama 3 TE + native PyTorch | ✅ Active | ❌ | 🚧 WIP | ✅ | ✅ | ✅ | ✅ |\n| `models\u002F`\u003Cbr>`mixtral` | TE accelerated MoE model | ✅ Active | ❌ | 🚧 WIP | ✅ | ✅ | ✅ | 🚧 WIP |\n| `models\u002F`\u003Cbr>`qwen` | TE accelerated Qwen2.5\u002FQwen3 | ✅ Active | ❌ | 🚧 WIP | ✅ | ✅ | ✅ | 🚧 WIP |\n| `recipes\u002F`\u003Cbr>`esm2_peft_te` | Recipe for ESM2 LoRA fine-tuning | ✅ Active | ❌ | ❌ | ✅ | ✅ | 🚧 WIP | ❌ |\n| `recipes\u002F`\u003Cbr>`evo2_megatron` | Recipe for Evo2 via Megatron Bridge | 🚧 WIP | ❌ | ❌ | ✅ | ❌ | ✅ | ❌ |\n| `recipes\u002F`\u003Cbr>`fp8_analysis` | FP8 training analyzer & heatmap tool | ✅ Active | N\u002FA | N\u002FA | N\u002FA | N\u002FA | N\u002FA | N\u002FA |\n| `recipes\u002F`\u003Cbr>`vit` | Recipe for Vision Transformer | 🚧 WIP | ❌ | ✅ | ✅ | ❌ | ✅ | 🚧 WIP |\n\n\u003C\u002Fsmall>\n\n\u003C\u002Fdetails>\n\n2\\. Reusable BioNeMo libraries in `sub-packages`. These packages are limited to utility functions and biological workflow support, such as shared core interfaces, dataset helpers, I\u002FO, benchmarking, and recipe utilities. They are lightweight, individually installable, and may be used directly in `bionemo-recipes` or in standalone pipelines.\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>(Click to expand) \u003Ccode>sub-packages\u003C\u002Fcode> library overview\u003C\u002Fb>\u003C\u002Fsummary>\n\u003Csmall>\n\n| Directory | Description | Typical Use |\n| ----------------------------- | ----------------------------------------------------------- | --------------------------------------------- |\n| `bionemo-core` | Core interfaces, shared data helpers, and PyTorch utilities | Shared foundation for BioNeMo libraries |\n| `bionemo-recipeutils` | Shared, framework-agnostic utilities and CLIs for recipes | Used by multiple recipes |\n| `bionemo-moco` | Molecular co-design utilities for generative workflows | Standalone workflows and reusable components |\n| `bionemo-noodles` | High-performance FASTA I\u002FO wrapper around `noodles` | Sequence I\u002FO utilities |\n| `bionemo-scdl` | Single-cell dataset loading and conversion utilities | Single-cell data workflows |\n| `bionemo-scspeedtest` | Benchmarking utilities for single-cell dataloaders | Benchmarking and evaluation |\n| `bionemo-size-aware-batching` | Memory-aware mini-batching utilities | Training and data-pipeline helper |\n| `bionemo-webdatamodule` | `WebDataset` data module utilities | Data loading helper for workflows and recipes |\n\n\u003C\u002Fsmall>\n\u003C\u002Fdetails>\n\nBioNeMo Framework is part of a larger ecosystem of NVIDIA Biopharma products. Get notified of new releases, bug fixes, critical security updates, and more for biopharma. [Subscribe.](https:\u002F\u002Fwww.nvidia.com\u002Fen-us\u002Fclara\u002Fbiopharma\u002Fproduct-updates\u002F)\n\n## Documentation Resources\n\n- **Official Documentation:** Guides, API references, and troubleshooting for the framework are documented on our [official documentation](https:\u002F\u002Fdocs.nvidia.com\u002Fbionemo-framework\u002Flatest\u002F). Nightly builds of this documentation are available on [BioNeMo Framework GitHub Pages](https:\u002F\u002Fnvidia.github.io\u002Fbionemo-framework\u002F)\n\n- **🚧 In-Progress Documentation 🚧:** `bionemo-recipes` documentation is currently work in progress, however the recipes are meant to be self-documented and easy to understand—we suggest you throw them into your favorite genai code assistant!\n\n## Local Development\n\nFull documentation on using the BioNeMo Framework is provided in our documentation:\n\u003Chttps:\u002F\u002Fdocs.nvidia.com\u002Fbionemo-framework\u002Flatest\u002Fuser-guide\u002F>. We also publish a container image for the BioNeMo Framework on\n[NGC](https:\u002F\u002Fcatalog.ngc.nvidia.com\u002Forgs\u002Fnvidia\u002Fteams\u002Fclara\u002Fcontainers\u002Fbionemo-framework). To launch a pre-built container, you can use the brev.dev launchable [![ Click here to deploy.](https:\u002F\u002Fuohmivykqgnnbiouffke.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Flandingpage\u002Fbrevdeploynavy.svg)](https:\u002F\u002Fconsole.brev.dev\u002Flaunchable\u002Fdeploy\u002Fnow?launchableID=env-2pPDA4sJyTuFf3KsCv5KWRbuVlU) or execute the following command:\n\n```bash\ndocker run --rm -it \\\n --gpus=all --ipc=host --ulimit memlock=-1 --ulimit stack=67108864 \\\n nvcr.io\u002Fnvidia\u002Fclara\u002Fbionemo-framework:nightly \\\n \u002Fbin\u002Fbash\n```\n\n### Setting up a local development environment\n\n#### Build the Docker Image Locally\n\nWith a locally cloned repository, build the BioNeMo container using:\n\n```bash\ndocker buildx build . -t my-container-tag\n```\n\nIf you see an error message like `No file descriptors available (os error 24)`, add the option `--ulimit nofile=65535:65535` to the docker build command.\n\n#### VSCode Devcontainer for Interactive Debugging\n\nWe distribute a [development container](https:\u002F\u002Fdevcontainers.github.io\u002F) configuration for vscode\n(`.devcontainer\u002Fdevcontainer.json`) that simplifies the process of local testing and development for both `bionemo-recipes` and `sub-packages`. Opening the\nbionemo-framework folder with VSCode should prompt you to re-open the folder inside the devcontainer environment.\n\nPackages under `sub-packages` are not installed into that environment automatically. When working on one of them, install it into the active environment with an editable install, for example:\n\n```bash\nuv pip install -e .\u002Fsub-packages\u002Fbionemo-core\nuv pip install -e .\u002Fsub-packages\u002Fbionemo-scdl\nuv pip install -e \".\u002Fsub-packages\u002Fbionemo-recipeutils[basecamp]\"\n```\n\nYou can also use `pip install -e ...` if you prefer.\n\n> [!NOTE]\n> The first time you launch the devcontainer, it may take a long time to build the image. Building the image locally\n> (using the command shown above) will ensure that most of the layers are present in the local docker cache.\n\n### More Examples\n\nSee the [tutorials pages](https:\u002F\u002Fdocs.nvidia.com\u002Fbionemo-framework\u002Flatest\u002Fuser-guide\u002Fexamples\u002Fbionemo-esm2\u002Fpretrain\u002F)\nfor example applications and getting started guides.\n","\u003Cdiv align=\"center\">\n \u003Ch1>BioNeMo框架\u003C\u002Fh1>\n \u003Ch4>针对生物数据的大规模Transformer模型训练的GPU优化配方与工具包\u003C\u002Fh4>\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"left\">\n\n[![点击此处部署。](https:\u002F\u002Fuohmivykqgnnbiouffke.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Flandingpage\u002Fbrevdeploynavy.svg)](https:\u002F\u002Fconsole.brev.dev\u002Flaunchable\u002Fdeploy\u002Fnow?launchableID=env-2pPDA4sJyTuFf3KsCv5KWRbuVlU)\n[![文档构建](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002FNVIDIA\u002Fbionemo-framework\u002Fpages\u002Fpages-build-deployment?label=docs-build)](https:\u002F\u002Fnvidia.github.io\u002Fbionemo-framework)\n[![测试状态](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Factions\u002Fworkflows\u002Funit-tests.yml\u002Fbadge.svg)](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Factions\u002Fworkflows\u002Funit-tests.yml)\n[![最新标签](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fv\u002Ftag\u002FNVIDIA\u002Fbionemo-framework?label=latest-version)](https:\u002F\u002Fcatalog.ngc.nvidia.com\u002Forgs\u002Fnvidia\u002Fteams\u002Fclara\u002Fcontainers\u002Fbionemo-framework\u002Ftags)\n[![codecov](https:\u002F\u002Fcodecov.io\u002Fgh\u002FNVIDIA\u002Fbionemo-framework\u002Fbranch\u002Fmain\u002Fgraph\u002Fbadge.svg?token=XqhegdZRqB)](https:\u002F\u002Fcodecov.io\u002Fgh\u002FNVIDIA\u002Fbionemo-framework)\n\n\u003Cdiv align=\"left\">\n\nNVIDIA BioNeMo框架是一套全面的编程工具、库和模型，专为数字生物学设计。它通过提供领域特定的优化模型配方和易于集成到基于GPU的计算资源中的工具链，以最先进的性能，加速构建和调整生物分子AI模型过程中最耗时且成本高昂的阶段。\n\n\u003Cp align=\"center\">\n \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_bionemo-framework_readme_e4d26b24148f.png\" width=\"600\">\n \u003Cbr>\n \u003Cem> 使用BERT架构的知名蛋白质序列模型ESM-2的训练基准。\u003C\u002Fem>\n\u003C\u002Fp>\n\n## ⚡ 快速入门\n\n```bash\n# 在Google Colab中尝试BioNeMo配方（推荐A100，T4可能太慢或内存不足）\n# 复制粘贴到Google Colab单元格中\n\n!git clone https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework.git\ncd bionemo-framework\u002Fbionemo-recipes\u002Frecipes\u002Fesm2_native_te\u002F\n\n# 从源代码安装transformer_engine[pytorch]，从PYPI安装需要很长时间\n!curl -L -o transformer_engine_torch-2.8.0-cp312-cp312-linux_x86_64.whl \"https:\u002F\u002Fdrive.google.com\u002Fuc?export=download&id=1Oz6dkkIMahv3LN_fQhhQRolZ3m-sr9SF\"\n!pip install --no-build-isolation transformer-engine transformer_engine_torch-2.8.0-cp312-cp312-linux_x86_64.whl\n\n# 安装依赖\n!pip install -r requirements.txt\n\n# 使用TE运行ESM2原生配方\n!python train_ddp.py\n```\n\n## 最新消息\n\n\u003Cp align=\"center\">\n \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_bionemo-framework_readme_db89bff6592c.png\" width=\"600\">\n \u003Cbr>\n \u003Cem>\u003Ca href=\"https:\u002F\u002Fresearch.nvidia.com\u002Flabs\u002Fdbr\u002Fblog\u002Fsae\u002F\">用于CodonFM 1B的稀疏自编码器特征仪表板\u003C\u002Fa>,展示了学习到的潜在特征及其在蛋白质序列上的激活情况。\u003C\u002Fem>\n\u003C\u002Fp>\n\n- 2026年3月13日 [用于模型可解释性的稀疏自编码器](bionemo-recipes\u002Finterpretability\u002Fsparse_autoencoders\u002F) — 在生物基础模型上训练并分析SAE。包含ESM2和CodonFM的配方，以及交互式特征仪表板。\n- 2026年3月9日 [Qwen2.5 \u002F Qwen3模型](bionemo-recipes\u002Fmodels\u002Fqwen\u002F) 带有TE加速、FP8\u002FMXFP8、KV缓存推理及双向HF检查点转换。\n- 2026年3月5日 [ESM2 NVFP4和MXFP8](bionemo-recipes\u002Frecipes\u002Fesm2_native_te\u002FREADME.md#low-precision-performance-benchmarks) 低精度训练 — 在NVIDIA B300上以15B规模进行逐层精度控制时，最高可达**每GPU 2,367 TFLOPS**。\n- 2026年2月23日 [Mixtral MoE模型](bionemo-recipes\u002Fmodels\u002Fmixtral\u002F) 带有TE `GroupedLinear` 用于高效并行专家计算，支持FP8\u002FFP4，并可转换为HF格式。\n- 2026年2月13日 [ESM2 PEFT配方](bionemo-recipes\u002Frecipes\u002Fesm2_peft_te\u002F) 用于LoRA微调，支持序列打包。\n- 2026年1月14日 [Llama3上下文并行](bionemo-recipes\u002Frecipes\u002Fllama3_native_te\u002FREADME.md#performance-benchmarks) — 将Llama 3 70B扩展到144K上下文，在36个GB300 NVL36上实现约65%的MFU。\n- 2025年10月27日 [CodonFM配方](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Ftree\u002Fmain\u002Fbionemo-recipes\u002Frecipes\u002Fcodonfm_ptl_te) 发布！这是原始[研究代码库](https:\u002F\u002Fgithub.com\u002FNVIDIA-Digital-Bio\u002FCodonFM)的加速版本，附带[科学预印本](https:\u002F\u002Fresearch.nvidia.com\u002Flabs\u002Fdbr\u002Fassets\u002Fdata\u002Fmanuscripts\u002Fnv-codonfm-preprint.pdf)。\n- 2025年9月1日 [bionemo-recipes](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Ftree\u002Fmain\u002Fbionemo-recipes) 正式上线！轻量级且便携的示例，具备最先进的训练性能，您可以根据自身需求进行调整和扩展。\n\n## 代码概览\n\nBioNeMo框架的一个核心用例是帮助数字生物学家将其模型训练加速并扩展到计算集群上。本仓库围绕两个互补的领域组织：\n\n1\\. 自包含的模型和配方位于[`bionemo-recipes`](.\u002Fbionemo-recipes\u002F)中。这些示例展示了不同的生物AI工作负载训练模式，包括原生PyTorch、Hugging Face Accelerate以及[NVIDIA megatron-FSDP](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FMegatron-LM\u002Ftree\u002Fmain\u002Fmegatron\u002Fcore\u002Fdistributed\u002Ffsdp\u002Fsrc)，并在适当的情况下使用[NVIDIA TransformerEngine (TE)](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FTransformerEngine)进行加速。\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>(点击展开) \u003Ccode>bionemo-recipes\u003C\u002Fcode> 支持矩阵 \u003C\u002Fb>\u003C\u002Fsummary>\n\u003Csmall>\n\n| 目录 | 描述 | 支持状态 | 5D 并行 | Megatron-FSDP | TE | 序列打包 | FP8 | 上下文并行 |\n| ---------------------------------------------- | ----------------------------------------------------------------------------------------------------------------------------- | -------------- | ----------- | ------------- | ------ | ---------------- | ------ | ------------------- |\n| `models\u002F`\u003Cbr>`amplify` | 使用 TE 加速的蛋白质 BERT，已推送到 HuggingFace | ✅ 活跃 | ❌ | ✅ | ✅ | 🚧 开发中 | ✅ | 🚧 开发中 |\n| `models\u002F`\u003Cbr>`esm2` | 使用 TE 加速的蛋白质 BERT，已推送到 HuggingFace | ✅ 活跃 | ❌ | ✅ | ✅ | ✅ | ✅ | ✅ |\n| `models\u002F`\u003Cbr>`llama3` | 使用 TE 加速的 Llama 3 | ✅ 活跃 | ❌ | 🚧 开发中 | ✅ | ✅ | ✅ | ✅ |\n| `models\u002F`\u003Cbr>`geneformer` | 使用 TE 加速的单细胞 BERT | 🚧 开发中 | ❌ | ✅ | 🚧 开发中 | 🚧 开发中 | 🚧 开发中 | 🚧 开发中 |\n| `recipes\u002F`\u003Cbr>`codonfm_ptl_te` | 使用 TE 的 [CodonFM](https:\u002F\u002Fresearch.nvidia.com\u002Flabs\u002Fdbr\u002Fassets\u002Fdata\u002Fmanuscripts\u002Fnv-codonfm-preprint.pdf) Encodon 配方 | ✅ 活跃 | ❌ | 🚧 开发中 | ✅ | ✅ | 🚧 开发中 | 🚧 开发中 |\n| `recipes\u002F`\u003Cbr>`esm2_accelerate_te` | ESM2 TE + HF Accelerate 的配方 | ✅ 活跃 | ❌ | 🚧 开发中 | ✅ | ❌ | ✅ | 🚧 开发中 |\n| `recipes\u002F`\u003Cbr>`esm2_native_te` | ESM2 TE + 原生 PyTorch 的配方 | ✅ 活跃 | ❌ | ✅ | ✅ | ✅ | ✅ | ✅ |\n| `recipes\u002F`\u003Cbr>`geneformer_native_te_mfsdp_fp8` | Geneformer HF 模型的配方 | 🚧 开发中 | ❌ | ✅ | ✅ | ❌ | ✅ | 🚧 开发中 |\n| `recipes\u002F`\u003Cbr>`llama3_native_te` | Llama 3 TE + 原生 PyTorch 的配方 | ✅ 活跃 | ❌ | 🚧 开发中 | ✅ | ✅ | ✅ | ✅ |\n| `models\u002F`\u003Cbr>`mixtral` | 使用 TE 加速的 MoE 模型 | ✅ 活跃 | ❌ | 🚧 开发中 | ✅ | ✅ | ✅ | 🚧 开发中 |\n| `models\u002F`\u003Cbr>`qwen` | 使用 TE 加速的 Qwen2.5\u002FQwen3 | ✅ 活跃 | ❌ | 🚧 开发中 | ✅ | ✅ | ✅ | 🚧 开发中 |\n| `recipes\u002F`\u003Cbr>`esm2_peft_te` | ESM2 LoRA 微调的配方 | ✅ 活跃 | ❌ | ❌ | ✅ | ✅ | 🚧 开发中 | ❌ |\n| `recipes\u002F`\u003Cbr>`evo2_megatron` | 通过 Megatron Bridge 的 Evo2 配方 | 🚧 开发中 | ❌ | ❌ | ✅ | ❌ | ✅ | ❌ |\n| `recipes\u002F`\u003Cbr>`fp8_analysis` | FP8 训练分析器及热图工具 | ✅ 活跃 | 无 | 无 | 无 | 无 | 无 | 无 |\n| `recipes\u002F`\u003Cbr>`vit` | 视觉 Transformer 的配方 | 🚧 开发中 | ❌ | ✅ | ✅ | ❌ | ✅ | 🚧 开发中 |\n\n\u003C\u002Fsmall>\n\n\u003C\u002Fdetails>\n\n2. `sub-packages` 中的可重用 BioNeMo 库。这些包仅限于实用函数和生物工作流支持，例如共享的核心接口、数据集助手、I\u002FO、基准测试和配方工具。它们轻量级、可单独安装，可以直接用于 `bionemo-recipes` 或独立的流程中。\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>（点击展开）\u003Ccode>sub-packages\u003C\u002Fcode> 库概览\u003C\u002Fb>\u003C\u002Fsummary>\n\u003Csmall>\n\n| 目录 | 描述 | 典型用途 |\n| ----------------------------- | ----------------------------------------------------------- | --------------------------------------------- |\n| `bionemo-core` | 核心接口、共享数据助手和 PyTorch 工具 | BioNeMo 库的共享基础 |\n| `bionemo-recipeutils` | 共享的、与框架无关的配方工具和 CLI | 多个配方使用 |\n| `bionemo-moco` | 用于生成式工作流的分子协同设计工具 | 独立工作流和可重用组件 |\n| `bionemo-noodles` | 基于 `noodles` 的高性能 FASTA I\u002FO 包装器 | 序列 I\u002FO 工具 |\n| `bionemo-scdl` | 单细胞数据加载和转换工具 | 单细胞数据工作流 |\n| `bionemo-scspeedtest` | 单细胞数据加载器的基准测试工具 | 基准测试和评估 |\n| `bionemo-size-aware-batching` | 内存感知的小批量处理工具 | 训练和数据管道辅助 |\n| `bionemo-webdatamodule` | `WebDataset` 数据模块工具 | 工作流和配方中的数据加载辅助 |\n\n\u003C\u002Fsmall>\n\u003C\u002Fdetails>\n\nBioNeMo 框架是 NVIDIA 生物制药产品更大生态系统的一部分。获取生物制药领域的新版本、错误修复、关键安全更新等通知。[订阅。](https:\u002F\u002Fwww.nvidia.com\u002Fen-us\u002Fclara\u002Fbiopharma\u002Fproduct-updates\u002F)\n\n## 文档资源\n\n- **官方文档:** 框架的指南、API 参考和故障排除信息均记录在我们的[官方文档](https:\u002F\u002Fdocs.nvidia.com\u002Fbionemo-framework\u002Flatest\u002F)中。该文档的每日构建版本可在[BioNeMo Framework GitHub Pages](https:\u002F\u002Fnvidia.github.io\u002Fbionemo-framework\u002F)上获取。\n\n- **🚧 文档正在进行中 🚧:** `bionemo-recipes` 的文档目前仍在开发中，不过这些示例本身设计为自说明且易于理解——我们建议您将其输入到您最喜欢的生成式 AI 代码助手中！\n\n## 本地开发\n\n关于如何使用 BioNeMo 框架的完整文档已在我们的文档中提供：\n\u003Chttps:\u002F\u002Fdocs.nvidia.com\u002Fbionemo-framework\u002Flatest\u002Fuser-guide\u002F>。我们还在\n[NGC](https:\u002F\u002Fcatalog.ngc.nvidia.com\u002Forgs\u002Fnvidia\u002Fteams\u002Fclara\u002Fcontainers\u002Fbionemo-framework) 上发布了 BioNeMo 框架的容器镜像。要启动预构建的容器，您可以使用 brev.dev 的可部署链接 [![ 点击此处进行部署。](https:\u002F\u002Fuohmivykqgnnbiouffke.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Flandingpage\u002Fbrevdeploynavy.svg)](https:\u002F\u002Fconsole.brev.dev\u002Flaunchable\u002Fdeploy\u002Fnow?launchableID=env-2pPDA4sJyTuFf3KsCv5KWRbuVlU)，或者执行以下命令：\n\n```bash\ndocker run --rm -it \\\n --gpus=all --ipc=host --ulimit memlock=-1 --ulimit stack=67108864 \\\n nvcr.io\u002Fnvidia\u002Fclara\u002Fbionemo-framework:nightly \\\n \u002Fbin\u002Fbash\n```\n\n### 设置本地开发环境\n\n#### 在本地构建 Docker 镜像\n\n在本地克隆仓库后，使用以下命令构建 BioNeMo 容器：\n\n```bash\ndocker buildx build . -t my-container-tag\n```\n\n如果您遇到类似 `No file descriptors available (os error 24)` 的错误消息，请在 docker 构建命令中添加 `--ulimit nofile=65535:65535` 选项。\n\n#### 用于交互式调试的 VSCode Devcontainer\n\n我们分发了一个适用于 VSCode 的[开发容器](https:\u002F\u002Fdevcontainers.github.io\u002F)配置文件（`.devcontainer\u002Fdevcontainer.json`），它简化了 `bionemo-recipes` 和 `sub-packages` 的本地测试与开发流程。使用 VSCode 打开 bionemo-framework 文件夹时，系统应提示您在 devcontainer 环境中重新打开该文件夹。\n\n`sub-packages` 下的包不会自动安装到该环境中。当您正在开发其中一个包时，可以使用可编辑安装的方式将其安装到当前环境中，例如：\n\n```bash\nuv pip install -e .\u002Fsub-packages\u002Fbionemo-core\nuv pip install -e .\u002Fsub-packages\u002Fbionemo-scdl\nuv pip install -e \".\u002Fsub-packages\u002Fbionemo-recipeutils[basecamp]\"\n```\n\n您也可以选择使用 `pip install -e ...`。\n\n> [!NOTE]\n> 第一次启动 devcontainer 时，构建镜像可能需要较长时间。如果您先在本地构建镜像（使用上述命令），则可以确保大部分层已存在于本地 Docker 缓存中。\n\n### 更多示例\n\n请参阅[tutorials 页面](https:\u002F\u002Fdocs.nvidia.com\u002Fbionemo-framework\u002Flatest\u002Fuser-guide\u002Fexamples\u002Fbionemo-esm2\u002Fpretrain\u002F)以获取示例应用和入门指南。","# BioNeMo Framework 快速上手指南\n\nBioNeMo Framework 是 NVIDIA 推出的一套专为数字生物学设计的 GPU 优化工具包，旨在加速生物分子 AI 模型（如蛋白质序列模型）的大规模训练与微调。\n\n## 1. 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n* **硬件要求**：\n * 推荐使用 **NVIDIA A100** 或更高性能的 GPU（如 H100\u002FB200）。\n * *注意*：在 T4 等低端显卡上运行可能会因显存不足或速度过慢而失败。\n* **软件要求**：\n * Linux 操作系统 (x86_64)\n * Python 3.12+ (参考示例中的 wheel 包版本)\n * CUDA Toolkit (需与 TransformerEngine 版本兼容)\n * Git\n\n## 2. 安装步骤\n\n本指南以在 **Google Colab** 或类似 Linux 环境中快速运行 ESM2 原生训练食谱为例。\n\n### 第一步：克隆代码库\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework.git\ncd bionemo-framework\u002Fbionemo-recipes\u002Frecipes\u002Fesm2_native_te\u002F\n```\n\n### 第二步：安装 TransformerEngine\n由于从 PyPI 直接安装 `transformer_engine` 耗时较长，建议直接下载预编译的 Wheel 包进行安装（以下为 Linux x86_64 + Python 3.12 示例）：\n\n```bash\n# 下载预编译包\ncurl -L -o transformer_engine_torch-2.8.0-cp312-cp312-linux_x86_64.whl \"https:\u002F\u002Fdrive.google.com\u002Fuc?export=download&id=1Oz6dkkIMahv3LN_fQhhQRolZ3m-sr9SF\"\n\n# 安装核心库及 Wheel 包 (禁用构建隔离以加速)\npip install --no-build-isolation transformer-engine transformer_engine_torch-2.8.0-cp312-cp312-linux_x86_64.whl\n```\n\n> **国内开发者提示**：如果下载 Google Drive 链接受阻，可尝试配置代理或使用支持高速下载的镜像源。安装其他依赖时建议指定国内源：\n> `pip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple`\n\n### 第三步：安装项目依赖\n```bash\npip install -r requirements.txt\n```\n\n## 3. 基本使用\n\n安装完成后，您可以直接运行内置的 ESM2 原生训练脚本（已集成 TransformerEngine 加速）。\n\n### 运行训练示例\n```bash\npython train_ddp.py\n```\n\n该命令将启动分布式数据并行（DDP）训练流程。您可以根据实际需求修改脚本参数，或参考 `bionemo-recipes` 目录下的其他模型食谱（如 Llama3, CodonFM, Mixtral 等）进行适配。\n\n### 核心功能模块说明\nBioNeMo Framework 主要包含两部分内容，供您根据需求选择：\n1. **bionemo-recipes**：包含开箱即用的模型训练食谱（支持 Native PyTorch, HF Accelerate, Megatron-FSDP 等模式），集成了 FP8 低精度训练、序列打包等高级特性。\n2. **sub-packages**：可复用的底层库（如 `bionemo-noodles` 用于高性能 FASTA 读写，`bionemo-scdl` 用于单细胞数据加载），可独立集成到您的自定义流水线中。","某生物制药公司的 AI 研发团队正试图基于 150 亿参数的 ESM-2 大模型，对数百万种新型蛋白质序列进行微调，以加速抗癌靶点的发现。\n\n### 没有 bionemo-framework 时\n- **训练效率极低**：直接使用原生 PyTorch 框架无法充分利用 GPU 算力，导致单次训练周期长达数周，严重拖慢研发进度。\n- **显存资源受限**：缺乏针对生物数据的混合精度（如 FP8）和显存优化策略，常因显存溢出（OOM）而被迫缩小模型规模或批次大小。\n- **工程门槛过高**：团队需手动编写复杂的分布式训练代码和数据预处理管道，耗费大量精力在底层基建而非算法创新上。\n- **模型适配困难**：将通用大模型迁移至特定生物任务时，缺乏标准化的微调食谱（Recipes），实验复现性和稳定性差。\n\n### 使用 bionemo-framework 后\n- **训练速度飞跃**：利用内置的 GPU 优化食谱和 Transformer Engine 加速，同等硬件下训练吞吐量提升数倍，将迭代周期从数周缩短至数天。\n- **大规模模型落地**：支持每层精度控制和低精度训练（如 NVFP4），轻松在有限显存中运行 15B+ 规模的生物大模型，无需牺牲精度。\n- **开箱即用的流程**：直接调用预置的 ESM-2 微调脚本和数据加载器，研究人员可立即专注于调整超参数和分析生物特征。\n- **标准化与可解释性**：提供经过验证的领域专用模型配方及稀疏自编码器（SAE）分析工具，确保实验结果可靠且易于解读。\n\nbionemo-framework 通过提供专为数字生物学设计的 GPU 优化方案，将原本高不可攀的大模型训练转化为高效、标准的日常研发流程。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_bionemo-framework_db89bff6.png","NVIDIA","NVIDIA Corporation","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FNVIDIA_7dcf6000.png","",null,"https:\u002F\u002Fnvidia.com","https:\u002F\u002Fgithub.com\u002FNVIDIA",[80,84,88,92,96,100,104],{"name":81,"color":82,"percentage":83},"Jupyter Notebook","#DA5B0B",53.7,{"name":85,"color":86,"percentage":87},"Python","#3572A5",43.6,{"name":89,"color":90,"percentage":91},"JavaScript","#f1e05a",1.9,{"name":93,"color":94,"percentage":95},"Shell","#89e051",0.5,{"name":97,"color":98,"percentage":99},"Rust","#dea584",0.2,{"name":101,"color":102,"percentage":103},"Dockerfile","#384d54",0.1,{"name":105,"color":106,"percentage":103},"HTML","#e34c26",721,142,"2026-04-14T13:07:04",4,"Linux","必需 NVIDIA GPU。推荐 A100 或更高性能显卡（如 B300\u002FGB300）；T4 可能因显存不足或速度过慢而无法运行。支持 FP8\u002FMXFP8\u002FNVFP4 低精度训练以优化显存使用。","未说明（建议根据模型规模配置充足系统内存，通常需 64GB+ 以支持大规模数据加载）",{"notes":115,"python":116,"dependencies":117},"该框架专为数字生物学设计，深度集成 NVIDIA TransformerEngine (TE) 和 Megatron-LM (FSDP) 以实现大规模分布式训练。快速开始示例中明确指定了 Python 3.12 环境。安装 transformer_engine 时建议从源码编译或使用提供的预编译 wheel 包，避免直接从 PYPI 安装导致耗时过长。支持多种并行策略（5D 并行、上下文并行、序列打包等），主要面向多卡集群环境。","3.12",[118,119,120,121,122],"torch","transformer_engine>=2.8.0","megatron-core","huggingface_accelerate","noodles",[14],[125,126,127,128],"drug-discovery","gpu","machine-learning","pytorch","2026-03-27T02:49:30.150509","2026-04-16T08:19:16.205746",[132,137,142,147,151,156],{"id":133,"question_zh":134,"answer_zh":135,"source_url":136},35569,"如何在多 GPU 环境下运行 predict_evo2 以避免显存不足（OOM）错误？","该问题已在 BioNeMo Framework 容器版本 2.7 及夜间构建版中修复。请升级容器至 `nvcr.io\u002Fnvidia\u002Fclara\u002Fbionemo-framework:2.7` 或更新到最新代码。修复后的版本支持 Evo2 预测的数据并行、上下文并行和张量并行。如果您仍在使用旧版本，可以尝试设置 `--tensor-parallel-size` 为大于 1 的值（例如您的 GPU 数量），但强烈建议升级以获得完整的多 GPU 支持。","https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fissues\u002F910",{"id":138,"question_zh":139,"answer_zh":140,"source_url":141},35570,"为什么使用 infer_evo2 时，不同的提示词（prompt）生成的序列几乎相同？","这是一个已知的 Bug，源于前向传播中使用的有状态 Hyena 过滤器问题。官方已发布补丁（NeMo PR #14027）。\n临时解决方案是采用“分块生成”（chunked-generation）策略：不要一次性生成长序列，而是使用滚动窗口方法。具体步骤为：先生成较短的片段（例如 100 个 token），将每个新片段拼接到 growing sequence 后，并使用完整序列作为上下文来生成下一个片段。这可以显著提高生成序列对提示词的敏感度。","https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fissues\u002F890",{"id":143,"question_zh":144,"answer_zh":145,"source_url":146},35571,"Dockerfile 中绑定了过旧的 TransformerEngine 版本并手动打补丁，能否直接使用新版本？","可以。对于 Evo2 用户，`bionemo-recipes\u002Frecipes\u002Fevo2_megatron\u002F` 目录下的 Dockerfile 已经更新，使用的是 `pytorch:26.02-py3` 基础镜像，该镜像自带 TransformerEngine (TE) ≥ v2.11，其中已包含所需的上游修复（TE PR #1963），因此不再需要手动打补丁。根目录 Dockerfile 的更新也在进行中（PR #1194），建议直接使用 recipes 中的配置以获取最新支持。","https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fissues\u002F1455",{"id":148,"question_zh":149,"answer_zh":150,"source_url":146},35572,"在运行 Evo2 40B 模型进行推理时，如何正确配置并行参数以利用多张显卡？","最近的提交已为推理脚本添加了张量并行（Tensor Parallelism, TP）和流水线并行（Pipeline Parallelism）的支持。如果您有多张 GPU（例如 2 张或更多），请在运行命令中显式设置 `--tensor-parallel-size` 参数（例如 `--tensor-parallel-size 2`）。注意，40B 模型可以在任意长度下进行推理，只要显存足够；如果您的提示词很长或需要生成长序列，增加 TP 大小是解决显存瓶颈的关键。",{"id":152,"question_zh":153,"answer_zh":154,"source_url":155},35573,"Evo2 模型是否支持 LoRA 微调以降低长上下文模型的训练成本？","截至当前讨论，BioNeMo 框架尚未正式为 Evo2 集成 LoRA 微调功能（虽然 ESM2 模型已支持）。社区已提出相关功能请求，建议针对 Evo2 架构中参数量最大的层实施低秩适应（LoRA），以便在有限的 GPU 资源下对百万级上下文长度的模型进行微调。目前用户需关注官方后续更新或自行基于 NeMo 框架实现相关模块。","https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fissues\u002F884",{"id":157,"question_zh":158,"answer_zh":159,"source_url":141},35574,"在使用 infer_evo2 生成序列时，出现关于 window_size 的警告信息是否正常？","该警告 `[WARNING ...]: window_size should be (-1, -1) or (>=0, >=0) for attn_mask_type=no_mask` 通常与注意力掩码类型设置有关。虽然它可能不会直接导致程序崩溃，但它往往伴随着上述的“提示词无效”Bug 出现。在应用了针对 Hyena 过滤器的修复补丁或使用分块生成策略后，该警告所代表的潜在配置冲突通常也会得到缓解。如果仅看到此警告但生成结果正常，可暂时忽略；若生成结果异常，请优先参考提示词无效问题的解决方案。",[161,166,171,176,181,186,191,196,201,206,211,216,221],{"id":162,"version":163,"summary_zh":164,"released_at":165},280716,"v2.7","### 更新与改进\n\n- Evo2 模型改进：\n\n - 预测端点支持上下文并行、张量并行和数据并行，以及超过 8192 的上下文长度支持 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F1123。修复了 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fissues\u002F910 和 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fissues\u002F1048。\n\n - @gabenavarro 实现的 LoRA 微调：https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F980。注意：LoRA 收敛性的内部 CI 覆盖仍在开发中；因此，我们无法保证收敛性。\n\n - 修复 Evo2 生成过程中内存占用翻倍的问题：https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FNeMo\u002Fpull\u002F14515。\n\n - 在推理中添加 Flash-Decoding 支持：https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F1000。\n\n - 更新 Rotary Embedding 和序列长度默认值，以解决检查点转换错误问题：https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FNeMo\u002Fpull\u002F14514。\n\n - 改进 Evo2 损失函数中的标签掩码：https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F1008。\n\n - 支持 [Spike-no-more](https:\u002F\u002Farxiv.org\u002Fabs\u002F2312.16903)，以提高训练稳定性：https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F1011。\n\n- 为 SCDL 归档文件添加了头部信息，从而改善了来源追踪，并支持未来的版本发布。此外，还增加了对 SCDL 测试中 AnnData API 覆盖情况的跟踪。该头部存储了关于归档及其复合数组的元数据，包括版本号、数组长度和数据类型，以及 RowFeatureIndexes 的相关信息。这不仅解决了 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fissues\u002F999 的问题，还实现了 rowptr、colptr 和 data 数组的简单位打包。同时，这也应使 SCDL 更加安全，支持严格的兼容性检查，并为进一步提升性能奠定基础：https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F1030。\n\n- `bionemo-geometric` 已被弃用并移除。该软件包中的分子特征化工具已迁移到 [cuik-molmaker](https:\u002F\u002Fgithub.com\u002FNVIDIA-Digital-Bio\u002Fcuik-molmaker)。\n\n### 已知问题\n\n- 我们已从容器中移除了 `libtiff`，原因是其存在已知漏洞 [CVE-2025-9900](https:\u002F\u002Fubuntu.com\u002Fsecurity\u002FCVE-2025-9900)。尽管 `libtiff` 并未直接用于任何 BioNeMo 代码中，但用户在此容器内使用 Pillow 或其他常用图像处理库时，可能会遇到相关问题。\n\n## 变更内容\n* 由 @yzhang123 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F1002 中修复 ESM2 微调教程。\n* 由 @jstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F1008 中改进 Evo2 中的掩码机制，并默认使用更稳健的 Megatron 损失函数。\n* 由 @trvachov 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F1001 中重构 Docker 容器中的 aws-cli 安装流程，并更新版本号。\n* 由 @nvmvle 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F964 中添加 ESM2 微调基准配置。\n* 由 @edawson 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbion","2025-10-01T23:46:29",{"id":167,"version":168,"summary_zh":169,"released_at":170},280717,"v2.6.3","## 更新与改进\n* 修复了 Evo2 模型中的多项问题：\n 1. 解决了推理\u002F生成相关问题。https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fissues\u002F890\n 2. 解决了 FP8 训练恢复问题。https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fissues\u002F973\n 3. 修复了推理脚本中与检查点加载相关的 bug。https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F950\n* 解决了 ESM2 LoRA 模型的推理问题。https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F996\n* 新增了实验性 evo2-mamba 模型。https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F888\n* 将基础 Docker 镜像更新至 [nvidia-pytorch 25.06-py3](https:\u002F\u002Fcatalog.ngc.nvidia.com\u002Forgs\u002Fnvidia\u002Fcontainers\u002Fpytorch\u002Ftags)\n* 解决了 ESM2 预训练中的 NCCL 问题。https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fissues\u002F970\n\n## 变更内容\n* 由 @balvisio 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F965 中修复 test_train_evo2_stops 测试。\n* 由 @balvisio 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F966 中启用 test_train_evo2_stop_at_max_steps_and_continue。\n* 自动化基准测试：ESM2 650M 训练，与 bionemo-recipes 类似，由 @dorotat-nv 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F975 中完成。\n* 由 @pstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F978 中修复 esm2_pretrain_recipes 中的数据库路径问题。\n* 由 @jwilber 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F974 中添加了 Evo2 的 FP8 停止与继续测试。\n* 由 @tshimko-nv 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F981 中更新了 GitHub Pages 托管文档的横幅。\n* 由 @trvachov 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F971 中添加了 v2.6.2 (25.06) 的发布说明。\n* Evo2 生成功能的修复以及必要的基础依赖和容器更新。这是一项重大变更。由 @jwilber 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F949 中完成。\n* 由 @trvachov 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F984 中将 NeMo 子模块指向主仓库。\n* 由 @jwilber 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F985 中在 Evo2 Jet 测试中使用新的 b2b 内核。\n* 由 @pstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F989 中更改了检查点导出时 dtype 的查找位置。\n* Evo2 Mamba，由 @jstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F888 中实现。\n* 由 @jstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F991 中增加了推理 CDS 长度测试。\n* 由 @trvachov 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F992 中修复了 PIL CVE 漏洞。\n* [BIONEMO-2334] 通过补丁 TE 来修复 Evo2 的停止与继续训练，由 @balvisio 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F987 中完成。\n* 由 @jstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F994 中修复了 evo2-mamba 训练中的 bug，并添加了相关测试。\n* 由 @yzhang123 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F996 中修复了 ESM2 LoRA 的推理问题。\n* 由 @pstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F983 中重置了 HF 导出时 ESM-2 接触头的参数。\n\n\n**完整变更日志**：https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fcompare\u002Fv2.6.2...v2.6.3","2025-07-31T21:09:57",{"id":172,"version":173,"summary_zh":174,"released_at":175},280718,"v2.6.2","### 更新与改进\n\n* 修复了多个 ESM2 模型相关问题：\n 1. 修复了用于标记分类的微调指标。https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F946\n 2. 修复了数据并行和模型并行下的微调损失计算问题。https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F959\n 3. 修复了推理脚本中与检查点加载相关的 bug。https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F950\n* 将基础 Docker 镜像更新至 [nvidia-pytorch 25.04-py3](https:\u002F\u002Fcatalog.ngc.nvidia.com\u002Forgs\u002Fnvidia\u002Fcontainers\u002Fpytorch\u002Ftags)\n\n### 已知问题\n* Evo2 生成功能已损坏（即 `bionemo-evo2\u002Fsrc\u002Fbionemo\u002Fevo2\u002Frun\u002Finfer.py`）。请参阅 issue https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fissues\u002F890。目前在分支 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F949 上提供了一个临时解决方案，我们正努力在七月发布的版本中修复此问题。\n* 在某些 A100 多节点环境中存在 NCCL 通信问题。在我们的内部测试中，未能跨不同环境稳定复现该问题。如果终端用户遇到以下错误，请在 issue https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fissues\u002F970 中报告：\n```\n[rank9]: torch.distributed.DistBackendError: NCCL 错误：位于 \u002Fopt\u002Fpytorch\u002Fpytorch\u002Ftorch\u002Fcsrc\u002Fdistributed\u002Fc10d\u002FProcessGroupNCCL.cpp:3356，内部错误 - 请将此问题报告给 NCCL 开发人员，NCCL 版本为 2.26.3\n```\n\n\n## 变更内容\n* v2.6 版本发布说明，由 @trvachov 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F849 中提出。\n* 版本升级至 2.6，由 @trvachov 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F852 中完成。\n* 多 GPU 推理功能：在结果预测中添加“批次索引”，由 @skothenhill-nv 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F854 中实现。\n* 锁定 ngcsdk 版本，由 @pstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F857 中完成。\n* 修复 Evo2 训练崩溃问题——TE 提交，由 @dorotat-nv 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F796 中完成。\n* 根据 Hyena 架构的变化更新 EVO2 测试，由 @farhadrgh 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F798 中完成。\n* 修复 ESM2 检查点保存问题，由 @polinabinder1 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F842 中完成。\n* 在 Geneformer 配置中添加 wandb 组和模型大小：基准测试，由 @dorotat-nv 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F859 中完成。\n* 跳过 B200 上的 d3pm 笔记本测试，由 @nvdreidenbach 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F860 中完成。\n* 将 NeMo 升级至使用主干提交而非分支来处理 Evo2 的修复和推理问题，由 @cspades 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F861 中完成。\n* 从 bionemo-core 中移除未使用的依赖项，由 @pstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F862 中完成。\n* 为 Geneformer 添加 tflops 回调函数，由 @polinabinder1 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F856 中完成。\n* Polinabinder\u002Ffile 扩展，由 @polinabinder1 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F477 中完成。\n* Geneformer1B 更新，由 @skothenhill-nv 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-fr 中完成。","2025-07-02T23:18:41",{"id":177,"version":178,"summary_zh":179,"released_at":180},280719,"v2.6.1","### 更新与改进\n\n* 修复了关于 ESM2 预训练和微调检查点的相关问题。\n* 添加了用于 AMPLIFY 测试的 sanity 数据集。\n* 在 A100 [brev](https:\u002F\u002Fdeveloper.nvidia.com\u002Fbrev) 实例上进行了测试。\n* 将 `tornado` 包更新至 `>6.5.0`，以修复容器中的 CVE 漏洞。\n\n**完整变更日志**: https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fcompare\u002Fv2.6...v2.6.1","2025-06-02T18:38:18",{"id":182,"version":183,"summary_zh":184,"released_at":185},280720,"v2.6","### 新特性\n\n* 增加了对 AMPLIFY [doi:10.1101\u002F2024.09.23.614603](https:\u002F\u002Fdoi.org\u002F10.1101\u002F2024.09.23.614603) 预训练和推理的支持，在 100 万步预训练后，与基于 xformers 的注意力后端相比，速度提升了 70%，且最终困惑度值相近。（1.2 亿参数模型为 4.23，3.5 亿参数模型为 3.05）。该模型与 HuggingFace 上的现有权重完全兼容。\n* 增加了对 [ESM2 模型的 LoRA 微调](https:\u002F\u002Fnvidia.github.io\u002Fbionemo-framework\u002Fmodels\u002FESM-2\u002F#lora-fine-tuning-performace) 的 Alpha 支持。现已支持推理和微调，并可从检查点恢复。\n\n### 更新与改进\n\n* 支持 Blackwell 架构，已在 B200 系统上测试。\n* 修复了 Grace CPU 支持问题，并发布了 ARM 兼容容器。\n\n## 变更内容\n* 修复：由 @dorotat-nv 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F756 中完成的 CI 环境下的 Docker 构建问题。\n* 由 @dorotat-nv 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F755 中完成的 2.5 版本更新。\n* 由 @dorotat-nv 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F736 中完成的 evo2 部分卷积最大步数更新。\n* 由 @pstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F751 中将 ruff 升级至 0.9.10，并根据需要重新格式化文件。\n* 由 @polinabinder1 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F758 中更新了 SCDL README 中的图片文件路径。\n* 修复：CI 测试中失败的 test_train_evo2_stops 测试，由 @dorotat-nv 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F761 中完成。\n* 由 @dorotat-nv 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F764 中添加了 v2.5 版本的发布说明。\n* 由 @pstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F734 中切换至 GHA runners。\n* 由 @jwilber 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F759 中更新了 evo2 的 README 和相关资源。\n* 由 @dorotat-nv 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F740 中调整了 ESM2 和 evo2 的目录结构，使其与 TensorBoard 日志一致。\n* 由于所有内容均已合并，由 @jstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F772 中移除了 evo2 PR 的公告。\n* 由 @pstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F773 中切换了 cache-from 标志。\n* 由 @pstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F640 中添加了 AMPLIFY 模型及 HuggingFace 转换脚本。\n* 由 @dorotat-nv 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F768 中实现了 GitHub CI 中测试阶段的并行化。\n* 由 @nvdreidenbach 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F743 中修复了 D3pm Blackwell 测试中的稳定性问题。\n* 修复：由 @jomitchellnv 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F745 中尝试更新 GeneFormer 笔记本的问题。\n* [紧急修复]：由 @dorotat-nv 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F779 中将失败的 GeneFormer notebook geneformer_cellxgene_tutorial.ipynb 设置为“忽略”状态。\n* 由 @pstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F781 中移除了 xformers 的安装。\n* 由 @jstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F783 中移除了现已位于子模块中的过时 evo2 教程。\n* Blackwell 兼容性变更","2025-04-30T20:15:17",{"id":187,"version":188,"summary_zh":189,"released_at":190},280721,"v2.5","### 新特性\n\n* 添加 Evo2 模型训练工作流，包括数据预处理、预训练、微调和推理，并支持 bf16 和 fp8 数据类型。\n\n### 更新与改进\n\n* 在 [NVFlare](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FNVFlare\u002Ftree\u002F2.6.0rc1\u002Fexamples\u002Fadvanced\u002Fbionemo) 中支持\u002F升级 BioNeMo 的联邦学习示例\n* 将 bionemo-moco 升级至 v0.0.2\n* Brev.dev 可启动的教程\n\n## 变更内容\n* 由 @dependabot 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F692 中将 3rdparty\u002FMegatron-LM 从 `2a9793d` 升级至 `a0365bc`\n* 由 @dependabot 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F693 中将 3rdparty\u002FNeMo 从 `48f10af` 升级至 `ee28bc5`\n* 由 @ntadimeti 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F695 中添加公告 README.md\n* 由 @farhadrgh 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F689 中调整 ESM2 微调，以适应 NVFlare 的使用场景\n* 由 @nvdreidenbach 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F688 中将 bionemo-moco 升级至 v0.0.2\n* 由 @sichu2023 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F701 中在模型并行时禁用指标\n* 由 @farhadrgh 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F703 中升级 NeMo\n* 由 @pstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F696 中将 trufflehog 扫描拆分为两个动作，并在计划事件中对整个仓库运行\n* 由 @dorotat-nv 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F709 中修复主分支上的 CVE 漏洞\n* 由 @pstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F721 中将 trufflehog 扫描移至新动作\n* 由 @pstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F722 中进一步移动 trufflehog 动作 2\n* 由 @jstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F694 中引入 Evo2\n* 由 @pstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F728 中触发并跳过合并组中的 trufflehog 扫描\n* 由 @pstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F726 中移除 zstandard，以解决 nvbug 5149698 问题\n* 由 @dorotat-nv 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F727 中为 evo2 提供 JET：1b 模型训练\n* 如有需要，可在特定步骤停止训练，而不会影响学习率曲线。由 @jstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F739 中实现\n* 由 @jstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F748 中清理笔记本测试生成的所有新文件\n* 由 @jstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F747 中添加 evo2 1b 检查点的 bf16 微调变体\n* 由 @jstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F729 中升级 NeMo 版本，以修复 1b 检查点问题\n* 由 @jwilber 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F724 中提供 GTC Evo2 演示笔记本\n* 由 @cspades 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F725 中提出 [cye\u002Fsubpack-ci] 添加子包构建、测试和发布到 OSS。（正在进行中——尚需更多子包覆盖）\n* 由 @pstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework 中禁用合并队列中运行的笔记本和慢速测试","2025-03-17T13:40:36",{"id":192,"version":193,"summary_zh":194,"released_at":195},280722,"v2.4.1","## 变更内容\n\n应用了针对 ESM2 指标日志记录的修复，该修复在使用模型并行时会导致 `NotImplementedError` 错误。\n\n**完整变更日志**: https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fcompare\u002Fv2.4...v2.4.1","2025-02-28T19:39:54",{"id":197,"version":198,"summary_zh":199,"released_at":200},280723,"v2.4","### 新功能\n\n* 实现了 Evo2 的草稿版本，支持 Hyena 算子\n* 发布了 bionemo-moco v0.0.1，用于构建类似扩散的生成模型。\n\n### 更新与改进\n\n* 提供了带有命令行界面的 ESM2 微调脚本（finetune_esm2），支持使用 CSV 数据集进行序列级\u002F标记级分类或回归任务。\n* [Brev.dev 上发布的 ESM2 可部署微调教程](https:\u002F\u002Fnvidia.github.io\u002Fbionemo-framework\u002Fuser-guide\u002Fexamples\u002Fbionemo-esm2\u002Ffinetune\u002F)\n\n## 变更内容\n* @pstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F619 中提升了 nemo 版本，并移除了手动安装 tensorstore 的步骤。\n* @pstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F611 中从我们的 Docker 容器中移除了 apex 和 TE 的构建步骤。\n* @jomitchellnv 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F627 中将 bionemno-esm2 部分添加到了 CODEOWNERS 文件中。\n* @farhadrgh 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F609 中为 ESM2 微调层增加了学习率倍增器。\n* @sichu2023 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F622 中修复了困惑度的日志记录问题。\n* @farhadrgh 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F620 中允许对 ESM2 的编码器进行[解]冻结后的微调。\n* @pstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F537 中实现了 ESM-2 到 NeMo 检查点的转换。\n* @sichu2023 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F636 中移除了 Pydantic API 中的 PerplexityCallback。\n* @pstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F635 中捕获了 NGC API 密钥验证错误，并默认不使用 API 密钥。\n* @pstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F639 中引入了新的审批工作流。\n* @trvachov 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F641 中编写了 2.3 (25.01) 版本的发布说明。\n* @pstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F625 中编写了一个用于初始化 devcontainer 环境的简短脚本。\n* @pstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F637 中修改了配置，不再将合并队列的结果上传到 Codecov。\n* @pstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F642 中固定了 Triton 的版本，以避免导入错误。\n* @pstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F648 中修复了 devcontainer 初始化脚本。\n* @pstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F649 中通过移除 10m_bnmo2 模型来修复 GeneFormer 笔记本测试。\n* @farhadrgh 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F652 中忽略了推理 CSV 数据中的标签。\n* @pstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F651 中将 geneformer test_pretrain_cli 标记为慢速测试。\n* @pstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F650 中调整了审批工作流，以避免将失败的操作标记为已批准。\n* @dorotat-nv 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F634 中添加了慢速测试标签，并在合并前执行完整的测试套件。\n* @dorotat-nv 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F647 中提供了 bug 和功能请求的模板。\n* @p 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F643 中提供了将软件包上传到 PyPI 的说明。","2025-02-25T17:27:37",{"id":202,"version":203,"summary_zh":204,"released_at":205},280724,"v2.3","### 新特性\n\n* ESM2 和 Geneformer 的分布式推理支持\n * 随着 GPU 数量的增加，可实现线性扩展的推理吞吐量\n * [请参阅 ESM2 推理笔记本](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fblob\u002Frelease-v2.3\u002Fdocs\u002Fdocs\u002Fuser-guide\u002Fexamples\u002Fbionemo-esm2\u002Finference.ipynb)，并使用 `--num-gpus` 参数。\n\n### 更新与改进\n\n* 修复了 H100 上 Geneformer 旧版推理中的精度下降问题。\n* 基础镜像已更新至 `nvcr.io\u002Fnvidia\u002Fpytorch:24.12-py3`；同时将 Python 升级至 3.12，并对其他核心依赖项进行了升级（[基础容器版本说明见此处](https:\u002F\u002Fdocs.nvidia.com\u002Fdeeplearning\u002Fframeworks\u002Fpytorch-release-notes\u002Frel-24-12.html#rel-24-12)）。\n\n\u003Cdetails>\n \u003Csummary>\u003Ch3>变更记录\u003C\u002Fh3>\u003C\u002Fsummary>\n\n* @farhadrgh 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F482 中实现了 ESM2\u002FGeneformer 的分布式推理支持。\n* @farhadrgh 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F524 中引入了灵活的内存管理机制，以避免因内存碎片导致的 CUDA OOM 错误。\n* @tshimko-nv 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F539 中更新了 nightly Docker 镜像标签。\n* @pstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F529 中设置了 UV_NO_CACHE。\n* @polinabinder1 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F531 中优化了 RowFeatureIndex。\n* @skothenhill-nv 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F532 中对 NvFaidx、Fasta Noodles 和 Sequence Accessor 进行了更新。\n* @holgerroth 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F543 中修复了 CSV 数据集的问题。\n* @pstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F545 中修改了测试流程，确保即使子模块失败也能运行所有 PyTest 测试。\n* @gagank1 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F549 中对 H100 上已知存在问题的测试用例添加了 xFail 标记，并修复了相关 CVE 漏洞。\n* @savitha-eng 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F480 中将 SCDL 完全集成到 Geneformer 中。\n* @farhadrgh 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F552 中修复了 MLM 损失中忽略索引的问题。\n* @pstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F544 中尝试将基础镜像升级至 pytorch:24.07。\n* @pstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F551 中进一步将基础镜像更新至 24.10。\n* @skothenhill-nv 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F555 中新增了 BUFIX，用于在传入具有重复序列 ID 的 FASTA 文件时直接报错。\n* @sichu2023 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F520 中调整了 DDP 配置，以提升 ESM-2 15B 的 MFU。\n* @pstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F559 中临时添加了 mistune 的固定版本，以解决文档构建问题。\n* @dependabot 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F558 中将第三方库 Megatron-LM 从 `99f23d2` 升级至 `2da43ef`。\n* @dependabot 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F538 中将第三方库 NeMo 从 `06e6703` 升级至 `06a1491`。\n* @pstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F553 中将基础镜像更新至 24.12。\n* @trvachov 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework 中取消了对 H100 上 Geneformer 测试的 xFail 标记。","2025-01-28T15:27:48",{"id":207,"version":208,"summary_zh":209,"released_at":210},280725,"v2.2","### 新特性\n\n* 小分子特征提取\n * 实现了基础和高级的原子、键以及完整分子特征提取器。\n* GH200 对 BioNeMo 的支持\n * 添加了一个 `Dockerfile.arm`，用于构建可在 GH200 机器上运行的 BioNeMo 容器。\n * 将支持多架构的 BioNeMo 容器版本发布到 NGC。\n\n### 更新与改进\n\n* 单细胞数据加载器 (SCDL)\n * 将元数据存储格式更改为 `parquet` 文件，在遍历大型数据集时速度提升了 30 倍。\n * 增加了在不使磁盘内存占用翻倍的情况下合并多个 `anndata` 文件的功能。\n* ESM2\n * 添加了对 `SIGTERM` 预占检查点保存的支持。\n * 将 ESM-2 和 Geneformer 的训练脚本分别迁移到新的可执行文件 `train_esm2` 和 `train_geneformer` 中。\n * 将推理脚本迁移到新的可执行文件 `infer_esm2` 中，并弃用了微调教程中的推理示例。\n * 新增了推理和零样本蛋白质设计的 Jupyter 笔记本教程。这些笔记本可以作为 [brev.dev](https:\u002F\u002Fwww.brev.dev\u002F) 可启动项部署在云资源上。\n\n### 已知问题\n* 在 H100 上加载 Geneformer 推理的检查点时，存在已知的准确率下降问题。目前正在努力解决，预计将在下一个版本中修复。\n\n\u003Cdetails>\n \u003Csummary>\u003Ch3>变更记录\u003C\u002Fh3>\u003C\u002Fsummary>\n\n* 将 ESM2 脚本移至子包中，由 @farhadrgh 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F406 中完成\n* WAR：将检查点文件名设置得更加唯一，由 @skothenhill-nv 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F429 中完成\n* 将 NeMo 和 Megatron 更新至 TOT，由 @pstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F424 中完成\n* 重新启用合并组以触发 blossom-ci，由 @pstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F431 中完成\n* 撤销“重新启用合并组以触发 blossom-ci”的更改，由 @pstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F434 中完成\n* 更新了笔记本及包含 Geneformer 的 nemo2 检查点，由 @jstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F430 中完成\n* 为 esm2 训练添加预占回调函数，由 @pstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F433 中完成\n* 为 bionemo-geometric 添加 rdkit 依赖，由 @sveccham 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F432 中完成\n* 消除 NGC 登录需求——bionemo2，由 @dorotat-nv 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F440 中完成\n* 在 README 中添加文档和发布信息，由 @sirelkhatim 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F447 中完成\n* 将第三方\u002FMegatron-LM 从 `aded519` 升级至 `5438d15`，由 @dependabot 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F444 中完成\n* 文档中新增可启动笔记本！由 @jstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F451 中完成\n* 从我们的夜间公共容器中缓存开发构建，由 @jstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F462 中完成\n* 将 esm2 测试的 `num_workers` 设置为 1，由 @pstjohn 在 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F461 中完成\n* ESM2 教程更新","2024-12-20T16:30:58",{"id":212,"version":213,"summary_zh":214,"released_at":215},280726,"v2.1","# New Features:\r\n* ESM2 Implementation\r\n * Updated the ESM-2 Model Card with detailed performance benchmarks comparing BioNeMo2 training against vanilla pytorch.\r\n * Added ESM-2 inference endpoint for evaluating pre-trained models\r\n* Size-Aware Batching\r\n * Added SizeAwareBatchSampler, a pytorch data sampler that batches elements of varying sizes while ensuring that the total size of each batch does not exceed a specified maximum.\r\n * Added BucketBatchSampler, another pytorch data sampler that groups elements of varying sizes based on predefined bucket ranges, and create batches with elements from each bucket to ensure that each batch has elements with homogeneous sizes.\r\n* CLI Support\r\n * Added pydantic interface for pretraining jobs via parsing JSON configuration files that enables passing customized Model and DataModules classes.\r\n * Implemented pydantic configuration for Geneformer and ESM2 pretraining and finetuning.\r\n * Added 'recipes' for generating validated JSON files to be used with pydantic interface.\r\n * Added installable scripts for 2\u002F3 respectively, bionemo-esm2-recipe, bionemo-esm2-train, bionemo-geneformer-recipe, bionemo-geneformer-train.\r\n* Geneformer support in BioNeMo2:\r\n * Tested pre-training scripts and fine-tuning example scripts that can be used as a starting point for users to create custom derivative models.\r\n * Geneformer 10M and 106M checkpoints ported from BioNeMo v1 into BioNeMo v2 available and included in documentation.\r\n * Added inference scripts\r\n* Documentation\r\n * Cell type classification example notebook which covers the process of converting anndata into our internal format, and running inference on that data with a geneformer checkpoint, as well as making use of the inference results.\r\n * Updated Getting Started guide, ESM-2 tutorials\r\n * Added Frequently Asked Questions (FAQ) page\r\n\r\n\r\n\u003Cdetails>\r\n \u003Csummary>\u003Ch2>Changes\u003C\u002Fh2>\u003C\u002Fsummary>\r\n\r\n* Final October docs edits by @tshimko-nv in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F331\r\n* Update container location and tag for 2.0 release by @tshimko-nv in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F337\r\n* Remove broken Release Notes links from v2.0 docs build by @tshimko-nv in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F343\r\n* Tell pytest to ignore 3rdparty\u002F{NeMo,MegatronLM} by @malcolmgreaves in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F61\r\n* Add back the removed bionemo-core sub-package by @malcolmgreaves in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F25\r\n* Fix bionemo-size-aware-batching, standardize pyproject.toml's & dependencies by @malcolmgreaves in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F284\r\n* Add check bug fix label workflow by @yzhang123 in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F250\r\n* Adds geneformer overview by @skothenhill-nv in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F279\r\n* Add ESM2 Dataset and Datamodule by @pstjohn in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F78\r\n* Test checkpoint IO loss is close to expected. by @jstjohn in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F37\r\n* fix post-create command by @pstjohn in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F152\r\n* Drop dependency to internal docs by @farhadrgh in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F303\r\n* Add initial configuration for mike (version management for docs) by @tshimko-nv in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F330\r\n* Update ESM2 model card with benchmarks by @pstjohn in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F341\r\n* Geneformer PEFT by @gwarmstrong in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F155\r\n* Update initialization in response to VDR by @tshimko-nv in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F334\r\n* Add GitHub workflow by @ohadmo in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F9\r\n* Reorganize bionemo-contrib into namespace packages by @malcolmgreaves in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F51\r\n* Improve ESM2 pretraining tutorial from VDR feedback by @tshimko-nv in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F336\r\n* install geometric dependencies before invalidating caches with source copy by @pstjohn in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F224\r\n* ESM2 LoRA by @gwarmstrong in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F218\r\n* chown \u002Fusr\u002Flocal's dist-packages to allow editing them in the devcontainer by @pstjohn in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F111\r\n* add search highlight + code copy capabilities by @jwilber in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F102\r\n* ESM2 implementation by @farhadrgh in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F28\r\n* Fix broken docs links on mike build by @tshimko-nv in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F344\r\n* Updates to Getting Started docs by @tshimko-nv in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F179\r\n* fix post-create command by @pstjohn in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F88\r\n","2024-11-21T00:33:47",{"id":217,"version":218,"summary_zh":219,"released_at":220},280727,"v2.0","# New Features:\r\n* ESM2 implementation\r\n * State of the art training performance and equivalent accuracy to the reference implementation\r\n * 650M, and 3B scale checkpoints available which mirror the reference model\r\n * Flexible fine-tuning examples that can be copied and modified to accomplish a wide variety of downstream tasks\r\n* First version of our NeMo v2 based reference implementation which re-imagines bionemo as a repository of megatron models, dataloaders, and training recipes which make use of NeMo v2 for training loops.\r\n * Modular design and permissible Apache 2 OSS licenses enables the import and use of our framework in proprietary applications.\r\n * NeMo2 training abstractions allows the user to focus on the model implementation while the training strategy handles distribution and model parallelism.\r\n* Documentation and documentation build system for BioNeMo 2.\r\n\r\n# Known Issues:\r\n* PEFT support is not yet fully functional.\r\n* Partial implementation of Geneformer is present, use at your own risk. It will be optimized and officially released in the future.\r\n* Command line interface is currently based on one-off training recipes and scripts. We are working on a configuration based approach that will be released in the future.\r\n* Fine-tuning workflow is implemented for BERT based architectures and could be adapted for others, but it requires you to inherit from the biobert base model config. You can follow similar patterns in the short term to load weights from an old checkpoint partially into a new model, however in the future we will have a more direct API which is easier to follow.\r\n* Slow memory leak occurs during ESM-2 pretraining, which can cause OOM during long pretraining runs. Training with a\r\n microbatch size of 48 on 40 A100s raised an out-of-memory error after 5,800 training steps.\r\n * Possible workarounds include calling `gc.collect(); torch.cuda.empty_cache()` at every ~1,000 steps, which appears\r\n to reclaim the consumed memory; or training with a lower microbatch size and re-starting training from a saved\r\n checkpoint periodically.\r\n\r\n## External Partner Contributions\r\n\r\nWe would like to thank the following organizations for their insightful discussions guiding the development of the BioNeMo Framework and their valuable contributions to the codebase. We are grateful for your collaboration.\r\n\r\n- [A-Alpha Bio](https:\u002F\u002Fwww.aalphabio.com\u002F)\r\n- [Dyno Therapeutics](https:\u002F\u002Fwww.dynotx.com\u002F)\r\n- [Relation Therapeutics](https:\u002F\u002Fwww.relationrx.com\u002F)\r\n- [Weights & Biases](https:\u002F\u002Fwandb.ai\u002F)\r\n\r\n\u003Cdetails>\r\n \u003Csummary>\u003Ch2>Changes\u003C\u002Fh2>\u003C\u002Fsummary>\r\n\r\n* Add GitHub workflow by @ohadmo in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F9\r\n* Move v2 commits over. by @jstjohn in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F8\r\n* Jstjohn\u002Ffix geneformer multinode by @jstjohn in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F17\r\n* places the ptl artifacts ignore lines to the root directory only. by @skothenhill-nv in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F21\r\n* ESM2 implementation by @farhadrgh in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F28\r\n* Update dependency tags to match PR #36, and try to fix test failure by @jstjohn in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F39\r\n* Test checkpoint IO loss is close to expected. by @jstjohn in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F37\r\n* Change to gelu default from relu which is what we actually used before by @jstjohn in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F20\r\n* Make artifact downloads more robust by @pstjohn in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F41\r\n* Add devcontainer config for bionemo2 by @pstjohn in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F5\r\n* Add license check to pre-commit hook by @ohadmo in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F22\r\n* Use github runners to run pre-commit hooks by @pstjohn in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F42\r\n* Add back the removed bionemo-core sub-package by @malcolmgreaves in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F25\r\n* trivial commit to bionemo2 by @broland-hat in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F19\r\n* Add mamba as a dependency in the dockerfile by @pstjohn in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F44\r\n* Add future TE support and mixed precision support to biobert test by @jstjohn in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F43\r\n* Add trufflehog as a github action check by @pstjohn in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F45\r\n* Adds CONTRIBUTING, CODE-REVIEW guides and pull request template by @malcolmgreaves in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F10\r\n* Use precision lowest value instead of -torch.inf by @farhadrgh in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F35\r\n* Add NeMo and Megatron-LM as git submodules by @pstjohn in https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fpull\u002F52\r\n* Add a CLI option to restore training from a nemo1 checkpoint by @jstjohn in http","2024-10-23T21:54:16",{"id":222,"version":223,"summary_zh":224,"released_at":225},280728,"v1.10","# Changes\r\n\r\n* Migrated development from NVIDIA internal to GitHub\r\n* License changed from NVIDIA proprietary to Apache 2.0\r\n* 1.10 release is functionally equivalent to 1.9 release, previous [Release Notes](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fbionemo-framework\u002Fblob\u002Fmain\u002Fdocs\u002Fdocs\u002Fuser-guide\u002Fappendix\u002Freleasenotes-fw.md) can be found in the documentation directory of the GitHub repository","2024-10-23T21:54:10"]