明闪全能2.0

📑 技术报告｜🤗 Hugging Face｜ 🤖 ModelScope

简介

最新发布的明闪全能2.0基于Ling-2.0架构——一种由1000亿总参数、60亿活跃参数组成的专家混合（MoE）框架。相较于其前代产品，它实现了跨越式的进步，在开源多模态大语言模型中树立了新的SOTA基准。明闪全能2.0有效融合了基础能力与特定领域的专业知识。尤其在视觉百科知识、沉浸式语音合成以及高动态图像生成与操控方面表现出色。

📌 更新

• [2026.02.11] 🔥 我们发布了明闪全能2.0的正式版本，这是一款开源的SOTA多模态大语言模型，进一步突破了多模态理解和生成的边界。
• [2025.10.27] 🔥 我们发布了明闪全能的预览版：明闪全能预览版。
• [2025.07.15] 🔥 我们发布了Ming-lite-omni v1.5，在所有模态上都有显著提升。
• [2025.06.12] 🔥 我们的技术报告已在arxiv公开。
• [2025.05.28] 🔥 Ming-lite-omni v1的正式版本发布，性能更优，并支持图像生成。
• [2025.05.04] 🔥 我们发布了Ming-lite-omni的测试版：Ming-lite-omni预览版。

核心特性

与Ming-flash-omni Preview相比，明闪全能2.0专注于优化以下关键领域的能力：

• 专家级多模态认知：能够准确识别动植物，理解文化背景（从地方美食到全球地标），并对文物进行年代、形态和工艺等方面的专家级分析。通过将高分辨率视觉捕捉与庞大的知识图谱相结合，该模型实现了“视觉到知识”的综合处理，从而具备卓越的知识理解能力。

• 沉浸式且可控的统一声学合成：明闪全能2.0引入了一种端到端的统一声学生成管道，将语音、音频和音乐整合到一个通道中。借助连续自回归结合扩散Transformer（DiT）头，该模型可实现零样本语音克隆及对情感、音色和环境氛围等属性的精细控制。这一架构使系统从简单的文本转语音过渡到高度富有表现力、情感共鸣且沉浸式的听觉体验。

• 高动态可控图像生成与编辑：明闪全能2.0采用原生多任务架构，将分割、生成和编辑功能统一起来，实现复杂的时空语义解耦。它在高动态内容创作方面表现出众，包括氛围重建、无缝场景构图以及上下文感知的对象移除。通过保持纹理一致性和空间深度一致性，明闪全能2.0在复杂图像操作任务中达到了最先进的精度。

应用场景

增强型多模态认知与自由模态切换

流媒体视频对话

可控音频生成

图像生成与编辑

模型下载

您可以通过Huggingface和ModelScope下载我们的最新模型。对于早期版本的模型，如Ming-flash-omni-Preview，请参考此链接：https://github.com/inclusionAI/Ming/tree/Ming-flash-omni-Preview?tab=readme-ov-file#model-downloads。

如果您在中国大陆，我们强烈建议您从🤖 ModelScope下载我们的模型。

pip install modelscope
modelscope download --model inclusionAI/Ming-flash-omni-2.0 --local_dir inclusionAI/Ming-flash-omni-2.0  --revision master

注意：根据您的网络状况，下载过程可能需要几分钟到几小时不等。

环境准备

使用pip安装

pip install -r requirements.txt
pip install nvidia-cublas-cu12==12.4.5.8  # for H20 GPU

使用示例

我们提供一个分步运行示例：

步骤 1 - 下载源代码

git clone https://github.com/inclusionAI/Ming.git 
cd Ming

步骤 2 - 下载模型权重，并在源代码目录中创建软链接

按照模型下载部分下载我们的模型。

mkdir inclusionAI 
ln -s /path/to/inclusionAI/Ming-flash-omni-2.0 inclusionAI/Ming-flash-omni-2.0

步骤 3 - 进入代码目录，您可以参考以下代码来运行 Ming-flash-omni 模型。

jupyter notebook cookbook.ipynb

我们还提供了关于该仓库使用方法的简单示例。如需详细用法，请参阅 cookbook.ipynb。

import os
import torch
import warnings
from bisect import bisect_left
warnings.filterwarnings("ignore")

from transformers import AutoProcessor
from modeling_bailingmm2 import BailingMM2NativeForConditionalGeneration

def split_model():
    device_map = {}
    world_size = torch.cuda.device_count()
    num_layers = 32
    layer_per_gpu = num_layers // world_size
    layer_per_gpu = [i * layer_per_gpu for i in range(1, world_size + 1)]
    for i in range(num_layers):
        device_map[f'model.model.layers.{i}'] = bisect_left(layer_per_gpu, i)
    device_map['vision'] = 0
    device_map['audio'] = 0
    device_map['linear_proj'] = 0
    device_map['linear_proj_audio'] = 0
    device_map['model.model.word_embeddings.weight'] = 0
    device_map['model.model.norm.weight'] = 0
    device_map['model.lm_head.weight'] = 0
    device_map['model.model.norm'] = 0
    device_map[f'model.model.layers.{num_layers - 1}'] = 0
    return device_map

# 加载预训练模型并进行优化设置，此过程大约需要10分钟
model_path = "inclusionAI/Ming-flash-omni-2.0"
model = BailingMM2NativeForConditionalGeneration.from_pretrained(
    model_path,
    torch_dtype=torch.bfloat16,
    attn_implementation="flash_attention_2",
    device_map=split_model(),
    load_image_gen=True,
    load_talker=True,
).to(dtype=torch.bfloat16)

# 初始化用于处理多模态输入的处理器
processor = AutoProcessor.from_pretrained(model_path, trust_remote_code=True)

# 推理流程
def generate(messages, processor, model, sys_prompt_exp=None, use_cot_system_prompt=False, max_new_tokens=512):
    text = processor.apply_chat_template(
        messages, 
        sys_prompt_exp=sys_prompt_exp,
        use_cot_system_prompt=use_cot_system_prompt
    )
    image_inputs, video_inputs, audio_inputs = processor.process_vision_info(messages)

    inputs = processor(
        text=[text],
        images=image_inputs,
        videos=video_inputs,
        audios=audio_inputs,
        return_tensors="pt",
        audio_kwargs={"use_whisper_encoder": True},
    ).to(model.device)

    for k in inputs.keys():
        if k == "pixel_values" or k == "pixel_values_videos" or k == "audio_feats":
            inputs[k] = inputs[k].to(dtype=torch.bfloat16)

    with torch.no_grad():
        generated_ids = model.generate(
            **inputs,
            max_new_tokens=max_new_tokens,
            use_cache=True,
            eos_token_id=processor.gen_terminator,
            num_logits_to_keep=1,
        )

    generated_ids_trimmed = [
        out_ids[len(in_ids):] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
    ]

    output_text = processor.batch_decode(
        generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
    )[0]

    return output_text

# 问答
messages = [
    {
        "role": "HUMAN",
        "content": [
            {"type": "text", "text": "请详细介绍鹦鹉的生活习性。"}
        ],
    },
]
output_text = generate(messages, processor=processor, model=model)
print(output_text)
# 输出：

# 鹦鹉是一种非常受欢迎的宠物鸟类，它们以其鲜艳的羽毛、聪明的头脑和模仿人类语言的能力而闻名。鹦鹉的生活习性非常丰富，以下是一些主要的习性：

# 1. **社交性**：鹦鹉是高度社交的鸟类，它们在野外通常生活在群体中，与同伴互动、玩耍和寻找食物。在家庭环境中，鹦鹉需要与人类或其他鹦鹉进行定期的互动，以保持其心理健康。

# 2. **智力**：鹦鹉拥有非常高的智力，它们能够学习各种技能，包括模仿人类语言、识别物体、解决问题等。这种智力使它们成为非常有趣的宠物。

# ......

引用

如果您觉得我们的工作有所帮助，欢迎引用我们。

@misc{Mingomni2025,
      title  = {Ming-Omni: 一种用于感知与生成的统一多模态模型}, 
      author = {Inclusion AI},
      year = {2025},
      eprint = {2506.09344},
      archivePrefix = {arXiv},
      url = {https://arxiv.org/abs/2506.09344}
}

@article{ai2025ming,
  title={Ming-flash-omni: 一种稀疏的、统一的多模态感知与生成架构},
  author={Inclusion AI},
  journal={arXiv 预印本 arXiv:2510.24821},
  year={2025}
}

Ming-flash-omni 2.0 快速上手指南

Ming-flash-omni 2.0 是一款基于 MoE（混合专家）架构的开源全能多模态大模型，拥有 1000 亿总参数和 60 亿激活参数。它在视觉百科知识、沉浸式语音合成以及高动态图像生成与编辑方面达到了业界领先水平。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• GPU: NVIDIA GPU (支持 CUDA)，显存建议 24GB 以上（多卡可分摊负载）。若使用 H20 GPU，需特定依赖。
• Python: 3.10 或更高版本
• 前置依赖:
  • PyTorch (兼容 CUDA 版本)
  • Flash Attention 2
  • Transformers

安装步骤

1. 获取源代码

克隆官方仓库并进入目录：

git clone https://github.com/inclusionAI/Ming.git 
cd Ming

2. 安装 Python 依赖

安装项目所需的依赖包。如果您使用的是 H20 GPU，请额外安装指定的 cublas 版本。

pip install -r requirements.txt
pip install nvidia-cublas-cu12==12.4.5.8  # 仅针对 H20 GPU 需要执行此行

3. 下载模型权重

对于中国大陆开发者，强烈推荐使用 ModelScope (魔搭社区) 进行下载，速度更快且更稳定。

首先安装 ModelScope 工具：

pip install modelscope

然后执行下载命令（将模型保存至本地目录）：

modelscope download --model inclusionAI/Ming-flash-omni-2.0 --local_dir inclusionAI/Ming-flash-omni-2.0  --revision master

注意：根据网络状况，下载过程可能需要数分钟至数小时。

4. 配置模型软链接

将下载好的模型权重目录软链接到代码根目录下，以便程序读取：

mkdir inclusionAI 
ln -s /path/to/inclusionAI/Ming-flash-omni-2.0 inclusionAI/Ming-flash-omni-2.0

(请将 /path/to/ 替换为您实际下载模型的绝对路径)

基本使用

以下是一个最小化的 Python 推理示例，展示如何加载模型并进行文本问答。该示例自动处理多卡负载均衡。

import os
import torch
import warnings
from bisect import bisect_left
warnings.filterwarnings("ignore")

from transformers import AutoProcessor
from modeling_bailingmm2 import BailingMM2NativeForConditionalGeneration

def split_model():
    """自动分配模型层到不同 GPU"""
    device_map = {}
    world_size = torch.cuda.device_count()
    num_layers = 32
    layer_per_gpu = num_layers // world_size
    layer_per_gpu = [i * layer_per_gpu for i in range(1, world_size + 1)]
    for i in range(num_layers):
        device_map[f'model.model.layers.{i}'] = bisect_left(layer_per_gpu, i)
    device_map['vision'] = 0
    device_map['audio'] = 0
    device_map['linear_proj'] = 0
    device_map['linear_proj_audio'] = 0
    device_map['model.model.word_embeddings.weight'] = 0
    device_map['model.model.norm.weight'] = 0
    device_map['model.lm_head.weight'] = 0
    device_map['model.model.norm'] = 0
    device_map[f'model.model.layers.{num_layers - 1}'] = 0
    return device_map

# 1. 加载模型 (首次加载约需 10 分钟)
model_path = "inclusionAI/Ming-flash-omni-2.0"
model = BailingMM2NativeForConditionalGeneration.from_pretrained(
    model_path,
    torch_dtype=torch.bfloat16,
    attn_implementation="flash_attention_2",
    device_map=split_model(),
    load_image_gen=True,
    load_talker=True,
).to(dtype=torch.bfloat16)

# 2. 初始化处理器
processor = AutoProcessor.from_pretrained(model_path, trust_remote_code=True)

# 3. 定义推理函数
def generate(messages, processor, model, max_new_tokens=512):
    text = processor.apply_chat_template(messages)
    image_inputs, video_inputs, audio_inputs = processor.process_vision_info(messages)

    inputs = processor(
        text=[text],
        images=image_inputs,
        videos=video_inputs,
        audios=audio_inputs,
        return_tensors="pt",
        audio_kwargs={"use_whisper_encoder": True},
    ).to(model.device)

    # 确保输入数据类型正确
    for k in inputs.keys():
        if k == "pixel_values" or k == "pixel_values_videos" or k == "audio_feats":
            inputs[k] = inputs[k].to(dtype=torch.bfloat16)

    with torch.no_grad():
        generated_ids = model.generate(
            **inputs,
            max_new_tokens=max_new_tokens,
            use_cache=True,
            eos_token_id=processor.gen_terminator,
            num_logits_to_keep=1,
        )

    generated_ids_trimmed = [
        out_ids[len(in_ids):] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
    ]

    output_text = processor.batch_decode(
        generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
    )[0]
    return output_text

# 4. 执行测试问答
messages = [
    {
        "role": "HUMAN",
        "content": [
            {"type": "text", "text": "请详细介绍鹦鹉的生活习性。"}
        ],
    },
]

output_text = generate(messages, processor=processor, model=model)
print(output_text)

如需更复杂的多模态交互（如图片生成、语音控制等），请参考仓库中的 cookbook.ipynb 文件。