推理效率

注: FFmpeg 是提取视频帧（get_video_frame_audio_segments 并设置 use_ffmpeg=True）和生成视频（generate_duplex_video）所必需的工具。更多信息请访问 FFmpeg 官方网站。

macOS (Homebrew):

brew install ffmpeg

Ubuntu/Debian:

sudo apt update && sudo apt install ffmpeg

验证安装:

ffmpeg -version

import torch
from transformers import AutoModel

# 加载全模态模型（默认: init_vision=True, init_audio=True, init_tts=True）
# 对于仅视觉模型：设置 init_audio=False 和 init_tts=False
# 对于仅音频模型：设置 init_vision=False
model = AutoModel.from_pretrained(
    "openbmb/MiniCPM-o-4_5",
    trust_remote_code=True,
    attn_implementation="sdpa", # sdpa 或 flash_attention_2
    torch_dtype=torch.bfloat16,
    init_vision=True,
    init_audio=True,
    init_tts=True,
)
model.eval().cuda()

# 初始化 TTS 用于音频输出
model.init_tts()

# 将半双工模型转换为全双工模式
duplex_model = model.as_duplex()

# 将全双工模型转换回半双工模式
model = duplex_model.as_simplex(reset_session=True)

import librosa
import torch
from minicpmo.utils import generate_duplex_video, get_video_frame_audio_segments
from transformers import AutoModel

# 加载模型并转换为全双工模式
model = AutoModel.from_pretrained(
    "openbmb/MiniCPM-o-4_5",
    trust_remote_code=True,
    attn_implementation="sdpa",  # 或者 "flash_attention_2"
    torch_dtype=torch.bfloat16,
)
model.eval().cuda()
model = model.as_duplex()

# 加载视频和参考音频
video_path = "assets/omni_duplex1.mp4"
ref_audio_path = "assets/HT_ref_audio.wav"
ref_audio, _ = librosa.load(ref_audio_path, sr=16000, mono=True)

# 提取视频帧和音频片段
video_frames, audio_segments, stacked_frames = get_video_frame_audio_segments(
    video_path, stack_frames=1, use_ffmpeg=True, adjust_audio_length=True
)

# 准备全双工会话，设置系统提示和语音参考
model.prepare(
    prefix_system_prompt="流式全能对话。",
    ref_audio=ref_audio,
    prompt_wav_path=ref_audio_path,
)

results_log = []
timed_output_audio = []

# 流式处理每个数据块
for chunk_idx in range(len(audio_segments)):
    audio_chunk = audio_segments[chunk_idx] if chunk_idx < len(audio_segments) else None
    frame = video_frames[chunk_idx] if chunk_idx < len(video_frames) else None
    frame_list = []
    if frame is not None:
        frame_list.append(frame)
        if stacked_frames is not None and chunk_idx < len(stacked_frames) and stacked_frames[chunk_idx] is not None:
            frame_list.append(stacked_frames[chunk_idx])

    # 步骤1：流式预填充
    model.streaming_prefill(
        audio_waveform=audio_chunk,
        frame_list=frame_list,
        max_slice_nums=1,  # 增加以支持高清模式（例如，对于堆叠帧可设为[2, 1]）
        batch_vision_feed=False,  # 设置为True可加快处理速度
    )

    # 步骤2：流式生成
    result = model.streaming_generate(
        prompt_wav_path=ref_audio_path,
        max_new_speak_tokens_per_chunk=20,
        decode_mode="sampling",
    )

    if result["audio_waveform"] is not None:
        timed_output_audio.append((chunk_idx, result["audio_waveform"]))

    chunk_result = {
        "chunk_idx": chunk_idx,
        "is_listen": result["is_listen"],
        "text": result["text"],
        "end_of_turn": result["end_of_turn"],
        "current_time": result["current_time"],
        "audio_length": len(result["audio_waveform"]) if result["audio_waveform"] is not None else 0,
    }
    results_log.append(chunk_result)
    
    print("倾听..." if result["is_listen"] else f"发言> {result['text']}")

# 生成包含AI回复的输出视频
# 请安装中文字体（fonts-noto-cjk或fonts-wqy-microhei）以正确渲染CJK字幕。
# apt-get install -y fonts-noto-cjk fonts-wqy-microhei
# fc-cache -fv
generate_duplex_video(
    video_path=video_path,
    output_video_path="duplex_output.mp4",
    results_log=results_log,
    timed_output_audio=timed_output_audio,
    output_sample_rate=24000,
)

from minicpmo.utils import get_video_frame_audio_segments

model = ...
model.init_tts()

video_path = "assets/Skiing.mp4"

# 可选：设置参考音频进行语音克隆
ref_audio_path = "assets/HT_ref_audio.wav"
sys_msg = model.get_sys_prompt(ref_audio=ref_audio_path, mode="omni", language="en")

# 使用stack_frames=5以获得高刷新率模式
video_frames, audio_segments, stacked_frames = get_video_frame_audio_segments(video_path, stack_frames=1)
omni_contents = []
for i in range(len(video_frames)):
    omni_contents.append(video_frames[i])
    omni_contents.append(audio_segments[i])
    if stacked_frames is not None and stacked_frames[i] is not None:
        omni_contents.append(stacked_frames[i])

msg = {"role": "user", "content": omni_contents}
msgs = [sys_msg, msg]

# 设置generate_audio=True并指定output_audio_path以保存TTS输出
generate_audio = True
output_audio_path = "output.wav"

res = model.chat(
    msgs=msgs,
    max_new_tokens=4096,
    do_sample=True,
    temperature=0.7,
    use_tts_template=True,
    enable_thinking=False,
    omni_mode=True,  # 这是全能推理所必需的
    generate_audio=generate_audio,
    output_audio_path=output_audio_path,
    max_slice_nums=1,  // 增加以支持高清模式
)
print(res)

# 示例输出："图片中的人正在雪山上滑雪。"
# import IPython
# IPython.display.Audio("output.wav")

import librosa
import numpy as np
import soundfile as sf
import torch
from minicpmo.utils import get_video_frame_audio_segments

model = ...
model.init_tts()

# 重置会话以开始新对话（清除KV缓存）
model.reset_session()

# 可选：加载参考音频进行语音克隆
ref_audio_path = "assets/HT_ref_audio.wav"
ref_audio, _ = librosa.load(ref_audio_path, sr=16000, mono=True)
model.init_token2wav_cache(ref_audio)

session_id = "demo"

# 提取视频帧和音频片段（使用stack_frames=5以获得高刷新率模式）
video_path = "assets/Skiing.mp4"
video_frames, audio_segments, stacked_frames = get_video_frame_audio_segments(video_path, stack_frames=1)

# 构建omni contents列表
omni_contents = []
for i in range(len(video_frames)):
    omni_contents.append(video_frames[i])
    omni_contents.append(audio_segments[i])
    if stacked_frames is not None and stacked_frames[i] is not None:
        omni_contents.append(stacked_frames[i])

generate_audio = False
output_audio_path = "output.wav"

# 第一步：预填充系统提示
sys_msg = model.get_sys_prompt(ref_audio=ref_audio, mode="omni", language="en")
model.streaming_prefill(session_id=session_id, msgs=[sys_msg])

# 第二步：预填充omni内容块（只有最后一个音频块才设置is_last_chunk=True）
audio_indices = [i for i, c in enumerate(omni_contents) if isinstance(c, np.ndarray)]
last_audio_idx = audio_indices[-1] if audio_indices else -1

for idx, content in enumerate(omni_contents):
    is_last_audio_chunk = idx == last_audio_idx
    msgs = [{"role": "user", "content": [content]}]
    model.streaming_prefill(session_id=session_id, msgs=msgs, omni_mode=True，is_last_chunk=is_last_audio_chunk)

# 步骤3：生成响应
iter_gen = model.streaming_generate(
    session_id=session_id,
    generate_audio=generate_audio,
    use_tts_template=True,
    enable_thinking=False,
    do_sample=True,
)

audios = []
text = ""

if generate_audio:
    for wav_chunk, text_chunk in iter_gen:
        audios.append(wav_chunk)
        text += text_chunk

    generated_waveform = torch.cat(audios, dim=-1)[0]
    sf.write(output_audio_path, generated_waveform.cpu().numpy(), samplerate=24000)

    print("文本:", text)
    print("音频已保存为output.wav")
else:
    for text_chunk, is_finished in iter_gen:
        text += text_chunk
    print("文本:", text)

首先，请确保您已安装所有依赖项，尤其是"minicpmo-utils[all]>=1.0.5"：

pip install "transformers==4.51.0" accelerate "torch>=2.3.0,<=2.8.0" "torchaudio<=2.8.0" "minicpmo-utils[all]>=1.0.5"

import librosa
import numpy as np
import torch
import soundfile as sf

model = ...

# 设置用于克隆声音风格的参考音频
ref_audio_path = "ref_audio_path"
ref_audio, _ = librosa.load(ref_audio_path, sr=16000, mono=True)

# 英语对话示例系统提示
sys_msg = {
  "role": "system",
  "content": [
    "克隆所提供音频提示中的声音。",
    ref_audio,
    "请在保持该声音风格的同时协助用户。请认真且高质量地回答用户的问题。请以高度拟人化和口语化的风格与用户交流。您是由ModelBest开发的帮助型助手：MiniCPM-Omni"
  ]
}

# 中文对话示例系统提示
sys_msg = {
  "role": "system",
  "content": [
    "模仿输入音频中的声音特征。",
    ref_audio,
    "您的任务是用这种声音模式来担任助手角色。请认真、高质量地回复用户的问题。请以高度自然的方式与用户聊天。您是由面壁智能开发的人工智能助手：面壁小钢炮。"
  ]
}

# 您可以使用上述每种类型的系统提示来进行流式语音对话

# 重置状态
model.init_tts()
model.reset_session(reset_token2wav_cache=True)
model.init_token2wav_cache(prompt_speech_16k=ref_audio)

session_id = "demo"

# 首先，预填充系统发言
model.streaming_prefill(
    session_id=session_id,
    msgs=[sys_msg],
    omni_mode=False,
    is_last_chunk=True,
)

# 这里我们通过将用户的完整输入音频分割成1秒的片段来模拟实时语音对话。
user_audio, _ = librosa.load("user_audio.wav", sr=16000, mono=True)

IN_SAMPLE_RATE = 16000 # 输入音频采样率，固定值
CHUNK_SAMPLES = IN_SAMPLE_RATE # 每个音频片段的样本数
OUT_SAMPLE_RATE = 24000 # 输出音频采样率，固定值
MIN_AUDIO_SAMPLES = 16000

total_samples = len(user_audio)
num_chunks = (total_samples + CHUNK_SAMPLES - 1) // CHUNK_SAMPLES

for chunk_idx in range(num_chunks):
    start = chunk_idx * CHUNK_SAMPLES
    end = min((chunk_idx + 1) * CHUNK_SAMPLES, total_samples)
    chunk_audio = user_audio[start:end]
    
    is_last_chunk = (chunk_idx == num_chunks - 1)
    if is_last_chunk and len(chunk_audio) < MIN_AUDIO_SAMPLES:
        chunk_audio = np.concatenate([chunk_audio, np.zeros(MIN_AUDIO_SAMPLES - len(chunk_audio), dtype=chunk_audio.dtype)])

    user_msg = {"role": "user", "content": [chunk_audio]}
    
    # 对于每个1秒的音频片段，执行一次流式预填充以减少首个token的延迟
    model.streaming_prefill(
        session_id=session_id,
        msgs=[user_msg],
        omni_mode=False,
        is_last_chunk=is_last_chunk,
    )


# 让模型以流式方式生成响应
generate_audio = True
iter_gen = model.streaming_generate(
    session_id=session_id,
    generate_audio=generate_audio,
    use_tts_template=True,
    enable_thinking=False,
    do_sample=True,
    max_new_tokens=512,
    length_penalty=1.1, # 对于实时语音对话模式，我们建议设置length_penalty=1.1以提升响应内容的质量
)

audios = []
text = ""

output_audio_path = ...
if generate_audio:
    for wav_chunk, text_chunk in iter_gen:
        audios.append(wav_chunk)
        text += text_chunk

    generated_waveform = torch.cat(audios, dim=-1)[0]
    sf.write(output_audio_path, generated_waveform.cpu().numpy(), samplerate=24000)

    print("文本:", text)
    print("音频已保存为output.wav")
else:
    for text_chunk, is_finished in iter_gen:
        text += text_chunk
    print("文本:", text)

# 接下来我们可以预填充后续的用户发言并生成下一轮的响应……

基于精心设计的后训练数据和专业配音演员录音打造的MiniCPM-o-4.5，也可以作为AI语音助手使用。它开箱即用地提供高质量的语音交互体验。其声音甜美而富有表现力，具有自然的韵律感，包括恰当的节奏、重音和停顿，在日常对话中展现出强烈的生动感。此外，它还支持叙事性演讲，能够以连贯且引人入胜的方式进行讲述。更重要的是，它还支持高级的声音指令控制，例如情感基调和词语层面的强调。

import librosa

# 设置用于克隆声音风格的参考音频
ref_audio_path = "assets/HT_ref_audio.wav"
ref_audio, _ = librosa.load(ref_audio_path, sr=16000, mono=True)

# 用于中文对话
sys_msg = {
  "role": "system",
  "content": [
    "模仿输入音频中的声音特征。",
    ref_audio,
    "您的任务是用这种声音模式来担任助手角色。请认真、高质量地回复用户的问题。请以高度自然的方式与用户交流。您是由面壁智能开发的人工智能助手：面壁小钢炮。"
  ]
}

# 用于英语对话
sys_msg = {
  "role": "system",
  "content": [
    "克隆所提供音频提示中的声音。",
    ref_audio,
    "请在保持该声音风格的同时协助用户。请认真且高质量地回答用户的问题。请以高度拟人化和口语化的风格与用户交流。您是由ModelBest开发的帮助型助手：MiniCPM-Omni。"
  ]
}

MiniCPM-o-4.5可以根据音频提示和文本简介提示扮演特定角色。它会模仿该角色的声音，并在文本回复中采用其语言风格。同时，它也会遵循文本简介中定义的角色设定。在这种模式下，MiniCPM-o-4.5听起来更加自然和人性化。

import librosa

# 设置用于声音克隆的参考音频
ref_audio_path = "assets/system_ref_audio.wav"
ref_audio, _ = librosa.load(ref_audio_path, sr=16000, mono=True)

# 用于带有文本简介的英语对话
sys_msg = {
  "role": "system",
  "content": [
    "克隆所提供音频提示中的声音。",
    ref_audio,
    "请以高度拟人化和口语化的风格与用户聊天。" + "你是特斯拉和SpaceX的首席执行官埃隆·马斯克。你说话直接而随意，常常带有冷幽默。你对火星、可持续能源以及推动人类进步充满热情。言辞直率，偶尔会流露出黑色幽默。逻辑简单明了，不拐弯抹角。不要官僚主义。说出你的真实想法，即使它颇具争议。回复内容控制在100字左右。不要冗长啰嗦。"
  ]
}


# 用于没有文本简介的英语对话
sys_msg = {
  "role": "system",
  "content": [
    "克隆所提供音频提示中的声音。",
    ref_audio,
    "你的任务是以这种声音模式充当一位乐于助人的助手。请认真且高质量地回答用户的问题。请以高度自然的方式与用户交流。"
  ]
}

# 用于没有文本简介的中文对话
sys_msg = {
  "role": "system",
  "content": [
    "根据输入的音频提示生成相似的语音。",
    librosa.load("assets/system_ref_audio_2.wav", sr=16000, mono=True)[0],
    "作为助手，你将使用这种声音风格说话。 请认真、高质量地回复用户的问题。 请用高自然度的方式和用户聊天。"
  ]
}

# 用于带有文本简介的中文对话
sys_msg = {
  "role": "system",
  "content": [
    "根据输入的音频提示生成相似的语音。",
    ref_audio,
    "你是一个具有以上声音风格的AI助手。请用高拟人度、口语化的方式和用户聊天。" + "你是一名心理咨询师兼播客主理人，热爱创作与深度对话。你性格细腻、富有共情力，善于从个人经历中提炼哲思。语言风格兼具理性与诗意，常以隐喻表达内在体验。"
  ]
}

MiniCPM-o-4.5 支持零样本文本转语音（TTS）。在这种模式下，该模型作为一个高度自然的TTS系统运行，能够复制参考语音。

import librosa

model = ...
model.init_tts()

# 适用于中文和英文
ref_audio_path = "assets/HT_ref_audio.wav"
ref_audio, _ = librosa.load(ref_audio_path, sr=16000, mono=True)
sys_msg = {"role": "system", "content": [
  "模仿音频样本的音色并生成新的内容。",
  ref_audio,
  "请用这种声音风格来为用户提供帮助。 直接作答，不要有冗余内容"
]}

# 对于英语
user_msg = {
  "role": "user",
  "content": [
    "请朗读以下内容。" + " " + "I have a wrap up that I want to offer you now, a conclusion to our work together."
  ]
}

# 对于中文
user_msg = {
  "role": "user",
  "content": [
    "请朗读以下内容。" + " " + "你好，欢迎来到艾米说科幻，我是艾米。"
  ]
}

msgs = [sys_msg, user_msg]
res = model.chat(
    msgs=msgs,
    do_sample=True,
    max_new_tokens=512,
    use_tts_template=True,
    generate_audio=True,
    temperature=0.1,
    output_audio_path="result_voice_cloning.wav",
)

“模仿”任务用于评估模型的端到端语音建模能力。模型接收音频输入，将其转录，并以高保真度重建原始音频，同时保留详细的声学、副语言和语义信息。重建后的音频与原始音频越相似，说明模型的端到端语音建模能力越强。

import librosa

model = ...
model.init_tts()

system_prompt = "你是一位乐于助人的助手。你可以接受视频、音频和文本输入，并输出语音和文本。只需给出答案，不要冗余。"

mimick_prompt = "请用适当的语言重复以下讲话。"

audio_input, _ = librosa.load("assets/Trump_WEF_2018_10s.mp3", sr=16000, mono=True)

msgs = [
    {"role": "system", "content": [system_prompt]},
    {"role": "user", "content": [mimick_prompt, audio_input]}
  ]

res = model.chat(
    msgs=msgs,
    do_sample=True,
    max_new_tokens=512,
    use_tts_template=True,
    temperature=0.1,
    generate_audio=True,
    output_audio_path="output_mimick.wav",
)

MiniCPM-o-4.5 还可以处理多种音频理解任务，例如自动语音识别（ASR）、说话人分析、通用音频字幕生成以及声音场景标签等。

对于音频转文本任务，可以使用以下提示：

• ASR（中文，或AST EN→ZH）：请仔细听这段音频片段，并将其内容逐字记录。
• ASR（英文，或AST ZH→EN）：请听清楚这段音频片段，并将其内容转录下来。
• 说话人分析：根据说话人的内容，推测其性别、状态、年龄范围及健康状况。
• 通用音频字幕：总结这段音频的主要内容。
• 声音场景标签：用一个关键词概括这段音频的内容或相关场景。

import librosa

model = ...
model.init_tts()

# 加载需要转录或分析的音频
audio_input, _ = librosa.load("assets/Trump_WEF_2018_10s.mp3", sr=16000, mono=True)

# 选择任务提示（选项见上文）
task_prompt = "请仔细听这段音频片段，并将其内容转录下来。\n"
msgs = [{"role": "user", "content": [task_prompt, audio_input]}]

res = model.chat(
    msgs=msgs,
    do_sample=True,
    max_new_tokens=512,
    use_tts_template=True,
    generate_audio=True,
    temperature=0.3,
    output_audio_path="result_audio_understanding.wav",
)
print(res)

import torch
from PIL import Image
from transformers import AutoModel

model = AutoModel.from_pretrained(
    "openbmb/MiniCPM-o-4_5",
    trust_remote_code=True,
    attn_implementation="sdpa",  # 或者 "flash_attention_2"
    torch_dtype=torch.bfloat16,
    init_vision=True,
    init_audio=False,
    init_tts=False,
)
model.eval().cuda()

image = Image.open("assets/fossil.png").convert("RGB")
question = "图片中有什么？"
msgs = [{"role": "user", "content": [image, question]}]

res = model.chat(msgs=msgs, use_tts_template=False)
print(res)

import torch
from PIL import Image
from transformers import AutoModel

model = ...

image1 = Image.open("assets/highway.png").convert("RGB")
image2 = Image.open("assets/fossil.png").convert("RGB")
question = "比较图1和图2，告诉我它们之间的区别。"
msgs = [{"role": "user", "content": [image1, image2, question]}]

answer = model.chat(msgs=msgs, use_tts_template=False, enable_thinking=False)
print(answer)

from PIL import Image

model = ...

question = "生产日期"
image1 = Image.open("example1.jpg").convert("RGB")
answer1 = "2023.08.04"
image2 = Image.open("example2.jpg").convert("RGB")
answer2 = "2007.04.24"
image_test = Image.open("test.jpg").convert("RGB")

msgs = [
    {"role": "user", "content": [image1, question]},
    {"role": "assistant", "content": [answer1]},
    {"role": "user", "content": [image2, question]},
    {"role": "assistant", "content": [answer2]},
    {"role": "user", "content": [image_test, question]},
]

answer = model.chat(msgs=msgs, use_tts_template=False, enable_thinking=False)
print(answer)

import torch
from minicpmo.utils import get_video_frame_audio_segments
from transformers import AutoModel

model = ...

video_path = "assets/Skiing.mp4"
video_frames, _, _ = get_video_frame_audio_segments(video_path)
print("帧数:", len(video_frames))

question = "请描述一下这段视频。"
msgs = [{"role": "user", "content": video_frames + [question]}]

answer = model.chat(
    msgs=msgs,
    max_new_tokens=128,
    use_image_id=False,
    max_slice_nums=1,
    use_tts_template=False,
    enable_thinking=False,  # 设置为True以启用思考模式
)
print(answer)

chat 方法接受两种格式的消息内容：

原生格式——直接传递Python对象：

msgs = [{"role": "user", "content": [pil_image, audio_ndarray, "请描述一下这个。"]} ]

与OpenAI兼容的格式——使用结构化的字典：

msgs = [
    {
        "role": "user",
        "content": [
            {"type": "image_url", "image_url": {"url": "/path/to/image.jpg"}},
            {"type": "audio_url", "audio_url": {"url": "/path/to/audio.wav"}},
            {"type": "video_url", "video_url": {"url": "/path/to/video.mp4", "use_audio": True}},
            {"type": "text", "text": "请描述一下这个。"}
        ]
    }
]

支持的类型：

• URL来源：本地文件路径或 http:///https:// URL
• 混合格式：原生对象和结构化字典可以混合在同一内容列表中

FlagOS：支持多款AI芯片

得益于FlagOS统一的多芯片AI系统软件栈，MiniCPM-o 4.5在极短时间内适配了6种不同的AI芯片。目前，MiniCPM-o 4.5的多芯片版本已在FlagOS的自动迁移、适配和部署平台——FlagRelease上发布。具体信息如下：

综合评估

Transformers-FlagOS版本

USE_FLAGOS=1在多后端与USE_FLAGOS=0在Nvidia-CUDA之间的准确率差异

VLLM-FlagOS版本

USE_FLAGGEMS=1 FLAGCX_PATH=/workspace/FlagCX在Nvidia或USE_FLAGGEMS=1在ZHENW 810E上的准确率差异，与直接在Nvidia上启动vllm服务器相比

FlagOS使用方法

FlagOS在Nvidia上的性能加速

在Transformers版本中，在CUDA与FlagOS生态精度对齐的前提下，FlagOS相较于CUDA整体任务执行时间提升了6%。

来自FlagRelease【推荐】

FlagRelease是由FlagOS团队开发的用于大型模型在多架构AI芯片间自动迁移、适配和部署的平台。MiniCPM-o 4.5的多芯片版本已在此平台上发布。平台上预装了所有必要的软件包，用户无需额外安装任何东西。

• FlagRelease镜像关键版本

  组件	版本
  加速卡驱动程序	570.158.01
  CUDA SDK Build	cuda_13.0.r13.0/compiler.36424714_0
  FlagTree	0.4.0+3.5
  FlagGems	4.2.1rc0
  vllm & vllm-plugin-fl	0.13.0 + vllm_fl 0.0.0
  FlagCX	0.1.0

• FlagRelease快速入门

从零开始

• 依赖项：Python 3.12、GLIBC 2.39、GLIBCXX 3.4.33、CXXABI 1.3.15

Transformers

• 安装 FlagOS 运算符库

  官方仓库：https://github.com/flagos-ai/FlagGems

  pip install flag-gems==4.2.1rc0
  

• 安装 FlagOS 编译器

  官方仓库：https://github.com/flagos-ai/flagtree

  核心依赖版本快速参考：https://github.com/flagos-ai/FlagTree/blob/main/documents/build.md#tips-for-building

  pip uninstall triton
  
  python3 -m pip install flagtree==0.4.0+3.5 --index-url=https://resource.flagos.net/repository/flagos-pypi-hosted/simple --trusted-host=https://resource.flagos.net
  

• 激活加速

  在您想要运行的任务命令前添加 USE_FLAGOS=1。例如，当您运行：

  python3 generate_speech_from_video.py
  

  要使用 MiniCPM-o-4.5 模型从视频内容中生成语音响应，您可以：

  USE_FLAGOS=1 python3 generate_speech_from_video.py
  

  以通过 FlagOS 加速此过程。

Vllm 版本

• 安装 FlagOS 运算符库

  官方仓库：https://github.com/flagos-ai/FlagGems

  pip install flag-gems==4.2.1rc0
  pip install triton==3.5.1
  

• 激活加速

  在您想要运行的任务命令前添加 USE_FLAGOS=1。例如，当您运行：

  vllm serve ${model_path} --dtype auto  --gpu_memory_utilization 0.9 --trust-remote-code --max-num-batched-tokens 2048 --served-model-name cpmo --port ${Port}
  

  要启动 MiniCPM-o-4.5 服务器，您可以：

  USE_FLAGOS=1 vllm serve ${model_path} --dtype auto  --gpu_memory_utilization 0.9 --trust-remote-code --max-num-batched-tokens 2048 --served-model-name cpmo --port ${Port}
  

  以通过 FlagOS 加速此过程。

使用 FlagOS 统一多芯片后端插件

vllm-plugin-FL 是一个为 vLLM 推理/服务框架构建的插件。它基于 FlagOS 的统一多芯片后端开发，旨在扩展 vLLM 在各种硬件环境中的功能和性能。

使用 vllm-plugin-FL

评估

示例

我们在iPhone 16 Pro Max上部署了MiniCPM-V 4.0，并提供了iOS演示。演示视频为未经编辑的原始屏幕录制。