Kimi k1.5：利用大语言模型扩展强化学习

Kimi团队

完整报告

🚀隆重推出Kimi k1.5——一款o1级别的多模态模型

• 在短链式思维链任务上表现卓越，在📐AIME、📐MATH-500、💻LiveCodeBench等基准测试中大幅领先GPT-4o和Claude Sonnet 3.5（提升幅度高达+550%）。
• 长链式思维链任务性能在多个模态下与o1相当（👀MathVista、📐AIME、💻Codeforces等）。

Kimi k1.5的核心要素

k1.5的设计与训练包含几个关键要素。

• 长上下文扩展。我们将强化学习的上下文窗口扩展至128k，并观察到随着上下文长度的增加，模型性能持续提升。我们方法的核心思想是利用部分轨迹来提高训练效率——即通过复用先前轨迹中的大量内容来采样新轨迹，从而避免从头重新生成新轨迹的成本。我们的研究发现，上下文长度是推动强化学习与大语言模型持续扩展的关键维度。
• 策略优化的改进。我们推导出适用于长链式思维链的强化学习公式，并采用一种在线镜像下降算法进行稳健的策略优化。该算法进一步通过有效的采样策略、长度惩罚机制以及数据配方的优化而得到提升。
• 简洁的框架。长上下文扩展结合改进的策略优化方法，构建了一个简洁的强化学习框架，用于与大语言模型协同学习。由于我们能够扩展上下文长度，所学习到的思维链表现出规划、反思和修正的能力。上下文长度的增加相当于增加了搜索步骤的数量。因此，我们证明了无需依赖蒙特卡洛树搜索、价值函数或过程奖励模型等复杂技术，也能实现优异的性能。
• 多模态能力。我们的模型同时接受文本和视觉数据的联合训练，具备跨两种模态进行联合推理的能力。

引用信息

@article{team2025kimi,
  title={Kimi k1.5: 利用大语言模型扩展强化学习},
  author={Kimi团队, Du, Angang, Gao, Bofei, Xing, Bowei, Jiang, Changjiu, Chen, Cheng, Li, Cheng, Xiao, Chenjun, Du, Chenzhuang, Liao, Chonghua 等},
  journal={arXiv预印本 arXiv:2501.12599},
  year={2025}
}

Kimi k1.5 快速上手指南

注意：根据提供的 README 内容，Kimi k1.5 目前主要发布了技术报告（Paper）和基准测试结果，尚未公开具体的模型权重下载链接或直接的推理代码库。以下内容基于其技术原理（长上下文强化学习框架）及同类大模型通用的部署流程整理。一旦官方开源代码仓库（GitHub）更新具体安装指令，请以官方最新文档为准。

环境准备

在尝试复现或部署基于 Kimi k1.5 架构的模型前，请确保满足以下系统要求：

• 操作系统：Linux (推荐 Ubuntu 20.04/22.04) 或 macOS。
• 硬件要求：
  • GPU：支持 CUDA 的 NVIDIA 显卡。由于该模型支持 128k 长上下文 及多模态推理，建议显存至少 24GB (单卡) 或使用多卡集群。
  • 内存：建议 64GB RAM 以上，以处理长上下文数据加载。
• 软件依赖：
  • Python >= 3.10
  • PyTorch >= 2.0 (支持 Flash Attention 2 为佳)
  • CUDA Toolkit >= 11.8
  • Git

安装步骤

由于官方具体代码库地址未在 README 中直接给出（通常伴随论文代码开源），以下为基于标准大模型强化学习（RL）框架的通用安装流程。若官方发布 pip 包或特定 Repo，请替换为官方源。

1. 克隆代码库（假设地址）

git clone https://github.com/MoonshotAI/Kimi-k1.5.git
cd Kimi-k1.5

2. 创建虚拟环境

python -m venv kimi-env
source kimi-env/bin/activate

3. 安装依赖

推荐使用国内镜像源加速安装：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

若需手动安装核心深度学习库：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install transformers accelerate sentencepiece tiktoken -i https://pypi.tuna.tsinghua.edu.cn/simple

4. 安装量化与推理加速库（可选，推荐用于长上下文）

pip install vllm flash-attn --no-build-isolation -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

Kimi k1.5 的核心特性是 长上下文强化学习（Long Context RL） 和 多模态推理。以下是基于 transformers 库的最简调用示例。

1. 加载模型与分词器

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_name = "moonshotai/kimi-k1.5"  # 占位符，请以实际发布的 Model ID 为准

# 加载分词器
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)

# 加载模型 (启用半精度以节省显存)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True
)

2. 执行长上下文推理示例

利用其 128k 上下文能力进行复杂数学或代码推理：

# 构建输入提示 (Prompt)
prompt = """
请分析以下数学问题并逐步推导：
在一个直角三角形中，斜边长为 13，一条直角边长为 5，求另一条直角边的长度。
请展示你的思考过程（Chain of Thought）。
"""

inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

# 生成响应
# max_new_tokens 设置较大值以允许模型进行长思维链推导
outputs = model.generate(
    **inputs,
    max_new_tokens=4096,
    do_sample=True,
    temperature=0.7,
    top_p=0.9
)

response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

3. 多模态输入示例（图文联合推理）

注：具体多模态接口需等待官方 Vision Encoder 细节公布，以下为通用多模态调用范式。

# 伪代码示例：结合图像与文本输入
from PIL import Image

image = Image.open("math_diagram.png")
prompt_with_image = [
    {"role": "user", "content": [
        {"type": "image", "image": image},
        {"type": "text", "text": "请根据这张图表解答其中的几何问题。"}
    ]}
]

# 调用特定的多模态处理接口 (具体方法名视官方实现而定)
# outputs = model.chat(messages=prompt_with_image, ...)

---

提示：Kimi k1.5 强调通过增加上下文长度来实现“规划、反思和修正”的能力，因此在实际使用中，适当增加 max_new_tokens 并提供详细的背景信息（Long Context）将有助于激发模型的最佳性能。