1. 引言

我们推出了 Kimi-VL，这是一款高效的开源专家混合（MoE）视觉语言模型（VLM），具备 先进的多模态推理能力、长上下文理解能力以及强大的智能体功能——同时其语言解码器仅激活了 28亿 参数（Kimi-VL-A3B）。

Kimi-VL 在多个具有挑战性的领域中表现出色： 作为一款通用的视觉语言模型，Kimi-VL 在多轮智能体交互任务（如 OSWorld）中表现卓越，取得了与旗舰模型相媲美的最先进成果。 此外，它在各类复杂的视觉语言任务中也展现了非凡的能力，包括大学水平的图像和视频理解、光学字符识别（OCR）、数学推理、多图像理解等。

在对比评估中，Kimi-VL 能够有效与 GPT-4o-mini、Qwen2.5-VL-7B 和 Gemma-3-12B-IT 等前沿高效视觉语言模型竞争，并在多个专业领域超越 GPT-4o。

Kimi-VL 还在处理长上下文和清晰感知方面推动了多模态模型的帕累托前沿：配备 128K 的扩展上下文窗口，Kimi-VL 可以处理长篇且多样化的输入，在 LongVideoBench 上获得 64.5 分，在 MMLongBench-Doc 上获得 35.1 分；其原生分辨率视觉编码器 MoonViT 进一步使其能够看清并理解超高分辨率的视觉输入，在 InfoVQA 上获得 83.2 分，在 ScreenSpot-Pro 上获得 34.5 分，同时在常规视觉输入和一般任务中保持较低的计算成本。

在此基础上，我们推出了一个先进的长思维变体：Kimi-VL-Thinking。该模型通过长链式思维（CoT）监督微调（SFT）和强化学习（RL）训练而成，展现出强大的长时序推理能力。它在 MMMU 上获得 61.7 分，MathVision 上获得 36.8 分，MathVista 上获得 71.3 分，同时保持紧凑的 28亿激活 LLM 参数规模，为高效而强大的多模态 思考 模型树立了新标杆。

除了原始模型变体外，我们还提供了一个新的 Kimi-VL-A3B-Thinking-2506 变体，具备多项全新或改进的能力：

• 思维更智能，消耗更少的令牌：2506 版本在多模态推理基准测试中达到了更高的准确率：MathVision 上为 56.9 分（提升 20.1 分），MathVista 上为 80.1 分（提升 8.4 分），MMMU-Pro 上为 46.3 分（提升 3.2 分），MMMU 上为 64.0 分（提升 2.1 分），同时平均减少了 20% 的思考长度。
• 思维时也能看得更清楚：与之前专注于思考任务的版本不同，2506 版本在一般的视觉感知和理解方面也能达到相同甚至更好的效果，例如在 MMBench-EN-v1.1 上得分为 84.4 分，MMStar 上得分为 70.4 分，RealWorldQA 上得分为 70.0 分，MMVet 上得分为 78.4 分，均优于非思考版本（Kimi-VL-A3B-Instruct）。
• 应用于视频场景：新的 2506 版本在视频推理和理解方面的表现也有所提升。它在 VideoMMMU 基准上创下了开源模型的新纪录（65.2 分），同时在一般视频理解方面仍保持良好表现（Video-MME 得分为 71.9 分）。
• 支持更高分辨率：新的 2506 版本支持单张图像 320 万像素（1792x1792），是原始版本的 4 倍。这带来了高分辨率感知和 OS 智能体定位基准测试中的显著提升：V* 基准测试得分为 83.2 分（无需额外工具），ScreenSpot-Pro 得分为 52.8 分，OSWorld-G 得分为 52.5 分（完整拒绝设置）。

2. 架构

该模型采用 MoE 语言模型、原生分辨率视觉编码器（MoonViT）以及 MLP 投影器，如下图所示。

3. 新闻

• 2025年6月21日：发布 Kimi-VL-A3B-Thinking-2506：技术博客 & 食谱，🤗 Hugging Face
• 2025年4月15日：vLLM 已支持 Kimi-VL 的部署。详情请参阅 #16387。
• 2025年4月14日：LLaMA-Factory 已支持 Kimi-VL 的微调。详情请参阅 #7719。

4. 模型变体

🤗 对于常见的多模态感知与理解、OCR、长视频和长文档、视频感知以及 OS 智能体应用，我们推荐使用 Kimi-VL-A3B-Instruct 进行高效推理；与此同时，我们的新型思考版本 Kimi-VL-A3B-Thinking-2506 也在多模态感知、长视频和长文档以及 OS 智能体定位方面表现出色，同时具备更强的多模态推理能力。更多信息请参阅 这篇博客。

[!注意] 推荐参数设置：

• 对于 思考模型，建议将温度设置为 0.8。
• 对于 指令模型，建议将温度设置为 0.2。

Hugging Face 演示

🤗 我们在 Hugging Face 空间中提供了模型演示：

• 与 Kimi-VL-A3B-Thinking-2506 👀🤔🗺️🎬📖🖥️ 模型（集思考、通用理解、解谜、智能体、视频、PDF 于一体）进行对话，请访问 聊天网页。

5. 性能

[!注] 请参阅 Kimi-VL-A3B-Thinking-2506 在 Hugging Face 上的性能表现。

作为一款高效的模型，Kimi-VL 能够稳健地处理多样化的任务（细粒度感知、数学、大学水平问题、OCR、智能体等），并支持广泛的输入形式（单张图像、多张图像、视频、长文档等）。

与现有的 10B 级密集型 VLM 以及 DeepSeek-VL2（A4.5B）的简要对比：

凭借强大的长序列思考能力，Kimi-VL-A3B-Thinking（2504 版本）在 MathVision 基准测试上可达到 30B/70B 级前沿开源 VLM 的性能水平：

6. 示例用法

环境搭建

conda create -n kimi-vl python=3.10 -y
conda activate kimi-vl
pip install -r requirements.txt

[!注] 如果遇到显存不足或希望加快推理速度，请使用 pip install flash-attn --no-build-isolation 安装 flash-attn。

使用 Hugging Face Transformers 进行推理

我们介绍如何使用 transformers 库在推理阶段调用我们的模型。建议使用 python=3.10、torch=2.5.1 和 transformers=4.51.3 作为开发环境。

Kimi-VL-A3B-Instruct：

import torch
from PIL import Image
from transformers import AutoModelForCausalLM, AutoProcessor

model_path = "moonshotai/Kimi-VL-A3B-Instruct"
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype="auto",
    device_map="auto",
    trust_remote_code=True,
)
# 如果已安装 flash-attn，建议设置 torch_dtype=torch.bfloat16 和 attn_implementation="flash_attention_2"
# 以节省显存并加速推理
# model = AutoModelForCausalLM.from_pretrained(
#     model_path,
#     torch_dtype=torch.bfloat16,
#     device_map="auto",
#     trust_remote_code=True,
#     attn_implementation="flash_attention_2"
# )

processor = AutoProcessor.from_pretrained(model_path, trust_remote_code=True)

image_path = "./figures/demo.png"
image = Image.open(image_path)
messages = [
    {"role": "user", "content": [{"type": "image", "image": image_path}, {"type": "text", "text": "图片中的穹顶建筑是什么？请逐步思考。"}]}
]
text = processor.apply_chat_template(messages, add_generation_prompt=True，return_tensors="pt")
inputs = processor(images=image，text=text，return_tensors="pt"，padding=True，truncation=True).to(model.device)
generated_ids = model.generate(**inputs，max_new_tokens=512)
generated_ids_trimmed = [
    out_ids[len(in_ids) :] for in_ids，out_ids in zip(inputs.input_ids，generated_ids)
]
response = processor.batch_decode(
    generated_ids_trimmed，skip_special_tokens=True，clean_up_tokenization_spaces=False
)[0]
print(response)

Kimi-VL-A3B-Thinking-2506：

import torch
from PIL import Image
from transformers import AutoModelForCausalLM，AutoProcessor

model_path = "moonshotai/Kimi-VL-A3B-Thinking-2506"
model = AutoModelForCausalLM.from_pretrained(
    model_path，
    torch_dtype="auto，
    device_map="auto，
    trust_remote_code=True，
)
# 如果已安装 flash-attn，建议设置 torch_dtype=torch.bfloat16 和 attn_implementation="flash_attention_2"
# 以节省显存和加速推理
# model = AutoModelForCausalLM.from_pretrained(
#     model_path，
#     torch_dtype=torch.bfloat16，
#     device_map="auto，
#     trust_remote_code=True，
#     attn_implementation="flash_attention_2"
# )
processor = AutoProcessor.from_pretrained(model_path，trust_remote_code=True）

image_paths = ["./figures/demo1.png"，"./figures/demo2.png"]
images = [Image.open(path) for path in image_paths]
messages = [
    {
        "role": "user"，
        "content": [
            {"type": "image"，"image": image_path} for image_path in image_paths
        ] + [{"type": "text"，"text": "请逐步推断这份手稿属于谁，记录了什么内容"}],
    },
]
text = processor.apply_chat_template(messages，add_generation_prompt=True，return_tensors="pt")
inputs = processor(images=images，text=text，return_tensors="pt"，padding=True，truncation=True).to(model.device)
generated_ids = model.generate(**inputs，max_new_tokens=32768，temperature=0.8)
generated_ids_trimmed = [
    out_ids[len(in_ids) :] for in_ids，out_ids in zip(inputs.input_ids，generated_ids)
]
response = processor.batch_decode(
    generated_ids_trimmed，skip_special_tokens=True，clean_up_tokenization_spaces=False
)[0]
print(response)

7. 微调

Kimi-VL 与开源社区紧密合作，现已通过最新版本的 LLaMA-Factory 提供对高效微调的无缝支持。

该框架支持单 GPU LoRA 微调（需 50GB 显存），以及使用 DeepSpeed ZeRO-2 的多 GPU 全量/LoRA 微调。更多详细配置说明，请参阅 此 PR。

8. 部署

使用 vLLM

vLLM 主分支已支持 Kimi-VL 的部署。欢迎使用 vLLM 部署 Kimi-VL。

离线推理

[!注] 关于 离线推理 的更多用法，请参阅 vLLM 离线推理。

from PIL import Image
from transformers import AutoProcessor
from vllm import LLM，SamplingParams

model_path = "moonshotai/Kimi-VL-A3B-Instruct"  # 或 "moonshotai/Kimi-VL-A3B-Thinking-2506"
llm = LLM(
    model_path，
    trust_remote_code=True，
)

processor = AutoProcessor.from_pretrained(model_path，trust_remote_code=True）

image_path = "./figures/demo.png"
image = Image.open(image_path)
messages = [
    {"role": "user"，"content": [{"type": "image"，"image": image_path}，{"type": "text"，"text": "图片中的穹顶建筑是什么？请逐步思考。"}]}
]
text = processor.apply_chat_template(messages，add_generation_prompt=True，return_tensors="pt")
outputs = llm.generate([{"prompt": text，"multi_modal_data": {"image": image}}]，sampling_params = SamplingParams(max_tokens=512))

print("-" * 50)
for o in outputs:
    generated_text = o.outputs[0].text
    print(generated_text)
    print("-" * 50)

OpenAI 兼容服务器

[!注] 关于 OpenAI 兼容服务器 的更多用法，请参阅 vLLM OpenAI 兼容服务器。

使用 vllm serve 命令部署 Kimi-VL：

# 如果需要更长的上下文窗口，可以将 --max-model-len 和 --max-num-batched-tokens 设置为 131072
# 如果需要处理更多的输入图像，可以将 --limit-mm-per-prompt 设置为 image=256 或 512

# kimi-vl-thinking-2506
vllm serve moonshotai/Kimi-VL-A3B-Thinking-2506 --served-model-name kimi-vl-thinking-2506 --trust-remote-code --tensor-parallel-size 1 --max-num-batched-tokens 32768 --max-model-len 32768 --limit-mm-per-prompt image=64

# kimi-vl-instruct
vllm serve moonshotai/Kimi-VL-A3B-Instruct --served-model-name kimi-vl --trust-remote-code --tensor-parallel-size 1 --max-num-batched-tokens 32768 --max-model-len 32768 --limit-mm-per-prompt image=64

调用 API

import base64
from PIL import Image
from io import BytesIO
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="token-abc123",
)

image_path = "./figures/demo.png"
image = Image.open(image_path).convert("RGB")

buffered = BytesIO()
image.save(buffered, format="JPEG")
img_b64_str = base64.b64encode(buffered.getvalue()).decode("utf-8")
base64_image_url = f"data:image/jpeg;base64,{img_b64_str}"

messages = [
    {"role": "user", "content": [{"type": "image_url", "image_url": {"url": base64_image_url}}, {"type": "text", "text": "图片中的穹顶建筑是什么？请逐步思考。"}]}
]

completion = client.chat.completions.create(
  model="kimi-vl-thinking-2506", # 或者 kimi-vl
  messages=messages
)

print(completion.choices[0].message)

9. 引用

@misc{kimiteam2025kimivltechnicalreport,
      title={{Kimi-VL} 技术报告}, 
      author={Kimi 团队 和 Angang Du 和 Bohong Yin 和 Bowei Xing 和 Bowen Qu 和 Bowen Wang 和 Cheng Chen 和 Chenlin Zhang 和 Chenzhuang Du 和 Chu Wei 和 Congcong Wang 和 Dehao Zhang 和 Dikang Du 和 Dongliang Wang 和 Enming Yuan 和 Enzhe Lu 和 Fang Li 和 Flood Sung 和 Guangda Wei 和 Guokun Lai 和 Han Zhu 和 Hao Ding 和 Hao Hu 和 Hao Yang 和 Hao Zhang 和 Haoning Wu 和 Haotian Yao 和 Haoyu Lu 和 Heng Wang 和 Hongcheng Gao 和 Huabin Zheng 和 Jiaming Li 和 Jianlin Su 和 Jianzhou Wang 和 Jiaqi Deng 和 Jiezhong Qiu 和 Jin Xie 和 Jinhong Wang 和 Jingyuan Liu 和 Junjie Yan 和 Kun Ouyang 和 Liang Chen 和 Lin Sui 和 Longhui Yu 和 Mengfan Dong 和 Mengnan Dong 和 Nuo Xu 和 Pengyu Cheng 和 Qizheng Gu 和 Runjie Zhou 和 Shaowei Liu 和 Sihan Cao 和 Tao Yu 和 Tianhui Song 和 Tongtong Bai 和 Wei Song 和 Weiran He 和 Weixiao Huang 和 Weixin Xu 和 Xiaokun Yuan 和 Xingcheng Yao 和 Xingzhe Wu 和 Xinxing Zu 和 Xinyu Zhou 和 Xinyuan Wang 和 Y. Charles 和 Yan Zhong 和 Yang Li 和 Yangyang Hu 和 Yanru Chen 和 Yejie Wang 和 Yibo Liu 和 Yibo Miao 和 Yidao Qin 和 Yimin Chen 和 Yiping Bao 和 Yiqin Wang 和 Yongsheng Kang 和 Yuanxin Liu 和 Yulun Du 和 Yuxin Wu 和 Yuzhi Wang 和 Yuzi Yan 和 Zaida Zhou 和 Zhaowei Li 和 Zhejun Jiang 和 Zheng Zhang 和 Zhilin Yang 和 Zhiqi Huang 和 Zihao Huang 和 Zijia Zhao 和 Ziwei Chen},
      year={2025},
      eprint={2504.07491},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2504.07491}, 
}

Kimi-VL 快速上手指南

Kimi-VL 是一款高效的开源混合专家（MoE）视觉语言模型，具备强大的多模态推理、长上下文理解及智能体能力。其语言解码器仅激活约 2.8B 参数，却能在多项基准测试中媲美旗舰模型。本指南将帮助您快速部署并使用该模型。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐) 或 macOS
• Python 版本: 3.10 (官方推荐开发环境)
• 硬件要求:
  • 支持 CUDA 的 NVIDIA GPU (建议使用显存 ≥ 24GB 以运行全精度或大上下文任务)
  • 若需加速推理并降低显存占用，强烈建议安装 flash-attn
• 核心依赖版本参考:
  • torch: 2.5.1
  • transformers: 4.51.3

2. 安装步骤

2.1 创建虚拟环境

推荐使用 Conda 创建独立的 Python 环境：

conda create -n kimi-vl python=3.10 -y
conda activate kimi-vl

2.2 安装依赖库

克隆项目仓库（如有 requirements.txt）或直接安装必要库。若遇到显存不足或希望加速推理，请优先安装 flash-attn。

安装 Flash Attention (可选但推荐):

pip install flash-attn --no-build-isolation

安装核心依赖:

# 假设已下载源码目录，执行：
pip install -r requirements.txt

# 或者手动安装核心库：
pip install torch==2.5.1 transformers==4.51.3 pillow

注意: 国内用户若下载缓慢，可使用清华源或阿里源加速： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 基本使用

Kimi-VL 提供两种主要变体，请根据场景选择：

• Kimi-VL-A3B-Instruct: 适用于通用多模态感知、OCR、长文档/视频理解及智能体任务。推荐温度设置 Temperature = 0.2。
• Kimi-VL-A3B-Thinking-2506: 适用于复杂数学推理、深度逻辑思考任务。支持更高分辨率输入。推荐温度设置 Temperature = 0.8。

以下示例基于 transformers 库。

3.1 使用 Instruct 版本 (通用任务)

import torch
from PIL import Image
from transformers import AutoModelForCausalLM, AutoProcessor

model_path = "moonshotai/Kimi-VL-A3B-Instruct"

# 加载模型
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype="auto",
    device_map="auto",
    trust_remote_code=True,
)
# 若已安装 flash-attn，建议取消下方注释以节省显存并加速
# model = AutoModelForCausalLM.from_pretrained(
#     model_path,
#     torch_dtype=torch.bfloat16,
#     device_map="auto",
#     trust_remote_code=True,
#     attn_implementation="flash_attention_2"
# )

processor = AutoProcessor.from_pretrained(model_path, trust_remote_code=True)

# 准备输入
image_path = "./figures/demo.png"
image = Image.open(image_path)
messages = [
    {"role": "user", "content": [{"type": "image", "image": image_path}, {"type": "text", "text": "What is the dome building in the picture? Think step by step."}]}
]

# 处理输入
text = processor.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt")
inputs = processor(images=image, text=text, return_tensors="pt", padding=True, truncation=True).to(model.device)

# 生成回复
generated_ids = model.generate(**inputs, max_new_tokens=512)
generated_ids_trimmed = [
    out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
]
response = processor.batch_decode(
    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
)[0]

print(response)

3.2 使用 Thinking-2506 版本 (复杂推理/多图)

此版本支持多图输入及更长思维链，适合高难度推理任务。

import torch
from PIL import Image
from transformers import AutoModelForCausalLM, AutoProcessor

model_path = "moonshotai/Kimi-VL-A3B-Thinking-2506"

# 加载模型
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype="auto",
    device_map="auto",
    trust_remote_code=True,
)
# 若已安装 flash-attn，建议启用以下配置
# model = AutoModelForCausalLM.from_pretrained(
#     model_path,
#     torch_dtype=torch.bfloat16,
#     device_map="auto",
#     trust_remote_code=True,
#     attn_implementation="flash_attention_2"
# )

processor = AutoProcessor.from_pretrained(model_path, trust_remote_code=True)

# 准备多图输入
image_paths = ["./figures/demo1.png", "./figures/demo2.png"]
images = [Image.open(path) for path in image_paths]
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": image_path} for image_path in image_paths
        ] + [{"type": "text", "text": "Please infer step by step who this manuscript belongs to and what it records"}],
    },
]

# 处理输入
text = processor.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt")
inputs = processor(images=images, text=text, return_tensors="pt", padding=True, truncation=True).to(model.device)

# 生成回复 (Thinking 模型建议设置 temperature=0.8 且允许更多 token)
generated_ids = model.generate(**inputs, max_new_tokens=32768, temperature=0.8)
generated_ids_trimmed = [
    out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
]
response = processor.batch_decode(
    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
)[0]

print(response)

3.3 微调与部署提示

• 微调: 官方已支持通过 LLaMA-Factory 进行高效微调（支持单卡 LoRA 及多卡 DeepSpeed ZeRO-2）。
• 高速部署: 生产环境推荐使用 vLLM 进行部署，已获得官方支持。