Evo：从分子尺度到基因组尺度的DNA基础模型

我们开发了一种名为Evo 2的新模型，它将Evo 1模型及其理念扩展到了所有生命领域。更多详情请参见https://github.com/arcinstitute/evo2。

Evo是一个能够进行长上下文建模和设计的生物基础模型。 Evo使用StripedHyena架构，能够在单核苷酸、字节级分辨率下对序列进行建模，同时计算和内存开销与上下文长度呈近线性关系。 Evo拥有70亿参数，并在OpenGenome数据集上进行训练，该数据集是一个原核生物全基因组数据集，包含约3000亿个标记。

我们在论文《利用Evo实现从分子尺度到基因组尺度的序列建模与设计》中详细介绍了Evo（https://www.science.org/doi/10.1126/science.ado9336）。

我们还在论文《基于基因组语言模型的功能性从头设计基因》中介绍了Evo 1.5版本（https://www.nature.com/articles/s41586-025-09749-7）。我们使用Evo 1.5模型生成了SynGenome，这是首个由人工智能生成的基因组学数据库，包含超过1000亿个碱基对的合成DNA序列。

我们提供了以下模型检查点：

检查点名称	描述
evo-1.5-8k-base	一个预训练模型，上下文长度为8,192，通过将evo-1-8k-base的预训练数据量增加50%获得。
evo-1-8k-base	一个预训练模型，上下文长度为8,192。我们将其用作分子尺度微调任务的基础模型。
evo-1-131k-base	一个预训练模型，上下文长度为131,072，以evo-1-8k-base为基础模型。我们使用该模型来推理和生成基因组尺度的序列。
evo-1-8k-crispr	一个微调模型，以evo-1-8k-base为基础模型，用于生成CRISPR-Cas系统。
evo-1-8k-transposon	一个微调模型，以evo-1-8k-base为基础模型，用于生成IS200/IS605转座子。

新闻

2024年12月17日： 我们发现并修复了Evo模型推理代码中的一个错误，该错误影响了2024年11月15日至12月16日期间的软件包版本。此问题已在0.3版及更高版本中得到解决。如果您在此期间安装了该软件包，请升级以修复问题。

目录

• 设置
  • 要求
  • 安装
• 使用
• HuggingFace
• Together API
• colab
• Playground封装
• 数据集
• 引用

设置

要求

Evo基于StripedHyena。

Evo使用FlashAttention-2，但并非所有GPU架构都支持该库。 请参阅FlashAttention GitHub仓库以获取当前支持的GPU列表。目前，Evo支持FlashAttention版本≤2.7.4.post0。

请确保在您的系统上安装正确的PyTorch版本。FlashAttention 2.7.4支持PyTorch版本≥2.7.0且<2.8.0a0。

我们建议使用全新的conda环境来安装这些先决条件。以下是安装示例：

conda install -c nvidia cuda-nvcc cuda-cudart-dev
conda install -c conda-forge flash-attn=2.7.4

安装

您可以通过pip安装Evo：

pip install evo-model

或者直接从GitHub源码安装：

git clone https://github.com/evo-design/evo.git
cd evo/
pip install .

如果您没有使用上述conda-forge FlashAttention安装方法——该方法会自动安装PyTorch——我们建议您在安装其他依赖之前先安装PyTorch库（由于flash-attn库的依赖问题；例如，请参阅此问题）。

我们的一个示例脚本展示了如何从使用Evo生成序列到蛋白质折叠的过程（scripts/generation_to_folding.py），该过程还需要安装prodigal。为此，我们创建了一个environment.yml文件：

conda env create -f environment.yml
conda activate evo-design

使用

以下是如何下载Evo并在本地通过Python API使用它的示例。

from evo import Evo
import torch

device = 'cuda:0'

evo_model = Evo('evo-1-131k-base')
model, tokenizer = evo_model.model, evo_model.tokenizer
model.to(device)
model.eval()

sequence = 'ACGT'
input_ids = torch.tensor(
    tokenizer.tokenize(sequence),
    dtype=torch.int,
).to(device).unsqueeze(0)

with torch.no_grad():
    logits, _ = model(input_ids) # (batch, length, vocab)

print('Logits: ', logits)
print('形状 (batch, length, vocab): ', logits.shape)

批量推理的示例可以在scripts/example_inference.py中找到。

我们还提供了一个示例脚本，演示如何向模型输入提示并根据提示采样一组序列。

python -m scripts.generate \
    --model-name 'evo-1-131k-base' \
    --prompt ACGT \
    --n-samples 10 \
    --n-tokens 100 \
    --temperature 1. \
    --top-k 4 \
    --device cuda:0

此外，我们还提供了一个示例脚本，用于使用模型对一组序列的对数似然值进行评分。

python -m scripts.score \
    --input-fasta examples/example_seqs.fasta \
    --output-tsv scores.tsv \
    --model-name 'evo-1-131k-base' \
    --device cuda:0

HuggingFace

Evo已集成到HuggingFace中。

from transformers import AutoConfig, AutoModelForCausalLM

model_name = 'togethercomputer/evo-1-8k-base'

model_config = AutoConfig.from_pretrained(model_name, trust_remote_code=True, revision="1.1_fix")
model_config.use_cache = True

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    config=model_config,
    trust_remote_code=True,
    revision="1.1_fix"
)

Together API

Evo可通过Together AI提供的网页界面访问，在那里您可以使用类似聊天的界面生成DNA序列。

对于更复杂或批量的工作流程，您可以使用下面的简单示例调用Together API。

import openai
import os

# 在此处填写您的 API 信息。
client = openai.OpenAI(
  api_key=TOGETHER_API_KEY,
  base_url='https://api.together.xyz',
)

chat_completion = client.chat.completions.create(
  messages=[
    {
      "role": "system",
      "content": ""
    },
    {
      "role": "user",
      "content": "ACGT", # 向模型提供一个序列作为提示。
    }
  ],
  model="togethercomputer/evo-1-131k-base",
  max_tokens=128, # 采样一定数量的新标记。
  logprobs=True
)
print(
    chat_completion.choices[0].logprobs.token_logprobs,
    chat_completion.choices[0].message.content
)

数据集

用于预训练 Evo 的 OpenGenome 数据集可在 Hugging Face 数据集 上获取。

引用

在引用 Evo 时，请引用以下出版物：

@article{nguyen2024sequence,
   author = {Eric Nguyen 和 Michael Poli、Matthew G. Durrant、Brian Kang、Dhruva Katrekar、David B. Li、Liam J. Bartie、Armin W. Thomas、Samuel H. King、Garyk Brixi、Jeremy Sullivan、Madelena Y. Ng、Ashley Lewis、Aaron Lou、Stefano Ermon、Stephen A. Baccus、Tina Hernandez-Boussard、Christopher Ré、Patrick D. Hsu 和 Brian L. Hie},
   title = {利用 Evo 实现从分子到基因组尺度的序列建模与设计},
   journal = {Science},
   volume = {386},
   number = {6723},
   pages = {eado9336},
   year = {2024},
   doi = {10.1126/science.ado9336},
   URL = {https://www.science.org/doi/abs/10.1126/science.ado9336},
}

在引用 Evo 1.5 时，请引用以下出版物：

@article{merchant2025semantic,
    author = {Merchant, Aditi T、King, Samuel H、Nguyen, Eric 和 Hie, Brian L},
    title = {基于基因组语言模型的功能性从头设计基因的语义设计},
    year = {2025},
    doi = {10.1038/s41586-025-09749-7},
    URL = {https://www.nature.com/articles/s41586-025-09749-7},
    journal = {Nature}
}

Evo 快速上手指南

环境准备

• 系统要求：NVIDIA GPU（需支持 FlashAttention-2，如 RTX 3090+）
• 前置依赖：
  • PyTorch 2.7.0+（需 < 2.8.0a0）
  • FlashAttention-2 2.7.4
  • 国内加速建议：安装时使用清华镜像源加速

    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
    conda config --set channel_priority strict
    

安装步骤

# 创建并激活conda环境（推荐）
conda create -n evo-env python=3.10 -y
conda activate evo-env

# 安装依赖（使用清华镜像加速）
conda install -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda-forge flash-attn=2.7.4

# 安装Evo
pip install evo-model

备选安装（从GitHub源码安装）：

git clone https://github.com/evo-design/evo.git
cd evo/
pip install .

基本使用

以下为最简Python使用示例（生成DNA序列logits）：

from evo import Evo
import torch

device = 'cuda:0'

evo_model = Evo('evo-1-131k-base')
model, tokenizer = evo_model.model, evo_model.tokenizer
model.to(device)
model.eval()

sequence = 'ACGT'
input_ids = torch.tensor(
    tokenizer.tokenize(sequence),
    dtype=torch.int,
).to(device).unsqueeze(0)

with torch.no_grad():
    logits, _ = model(input_ids)

print('Logits: ', logits)
print('Shape (batch, length, vocab): ', logits.shape)

说明：使用 evo-1-131k-base 模型进行基因组级任务。确保GPU可用，运行前检查 torch.cuda.is_available()。