K2 Vendor Verifier（K2供应商验证器）

我们已更新了kimi-vendor-verifier的评估方法。点击此处获取更多详情。

什么是K2VV

自Kimi K2模型发布以来，我们收到了大量关于Kimi K2在工具调用（toolcall）精度方面的反馈。由于K2专注于智能体循环（agentic loop），工具调用的可靠性至关重要。

我们观察到不同开源解决方案和供应商在工具调用性能上存在显著差异。在选择供应商时，用户往往优先考虑较低的延迟和成本，但可能会忽视模型准确性中更细微但关键的差异。

这些不一致性不仅影响用户体验，还会影响K2在各类基准测试中的表现结果。 为解决这些问题，我们推出了K2 Vendor Verifier（K2供应商验证器），用于监控和提升所有K2 API的质量。

我们希望K2VV能确保每个人都能访问到一致且高性能的Kimi K2模型。

K2-thinking 评估结果

测试时间: 2025-11-15

• temperature=1.0
• max_tokens=64000

模型名称	供应商	API来源	工具调用触发相似度	工具调用模式准确性
				完成原因计数（工具调用）	成功工具调用计数	模式准确性
kimi-k2-thinking	MoonshotAI	https://platform.moonshot.ai	-	1958	1958	100.00%
	Moonshot AI Turbo	https://platform.moonshot.ai	>=73%	1984	1984	100.00%
	Fireworks	https://fireworks.ai		1703	1703	100.00%
	InfiniAI	https://cloud.infini-ai.com		1827	1825	99.89%
	SiliconFlow	https://siliconflow.cn		2119	2097	98.96%
	GMICloud	https://openrouter.ai		1850	1775	95.95%
	AtlasCloud	https://openrouter.ai		1878	1798	95.74%
	SGLang	https://github.com/sgl-project/sglang		1874	1790	95.52%
	vLLM	https://github.com/vllm-project/vllm		2128	1856	87.22%
	Parasail	https://openrouter.ai		2108	1837	87.14%
	DeepInfra	https://openrouter.ai		2071	1800	86.91%
	GoogleVertex	https://openrouter.ai		1945	1668	85.76%
	Together	https://openrouter.ai		1893	1602	84.63%
	NovitaAI	https://openrouter.ai	72.22%	1778	1715	96.46%
	Chutes	https://openrouter.ai	68.10%	3657	3037	83.05%

我们多次运行官方API以测试tool_call_f1（工具调用F1分数）的波动。最低得分为75.81%，平均得分为76%。鉴于模型本身具有随机性，我们认为**73%**以上的tool_call_f1分数是可以接受的，可作为参考依据。

K2 0905 评估结果

测试时间: 2025-11-15

• temperature=0.6

模型名称	提供商	API 源地址	工具调用触发相似度（ToolCall-Trigger Similarity）	工具调用-模式准确性（ToolCall-Schema Accuracy）
				count_finish_reason_tool_calls	count_successful_tool_call	schema_accuracy
kimi-k2-0905-preview	MoonshotAI（月之暗面）	https://platform.moonshot.ai	-	1274	1274	100.00%
	Moonshot AI Turbo	https://platform.moonshot.ai	>=80%	1398	1398	100.00%
	DeepInfra	https://openrouter.ai		1365	1365	100.00%
	Fireworks	https://openrouter.ai		1453	1453	100.00%
	Infinigence	https://cloud.infini-ai.com		1257	1257	100.00%
	NovitaAI	https://openrouter.ai		1299	1299	100.00%
	SiliconFlow	https://siliconflow.cn		1305	1302	99.77%
	Chutes	https://openrouter.ai		1271	1229	96.70%
	vLLM	https://github.com/vllm-project/vllm		1325	1007	76.00%
	SGLang	https://github.com/sgl-project/sglang		1269	928	73.13%
	Volc	https://www.volcengine.com		1330	969	72.86%
	Baseten	https://openrouter.ai		1243	901	72.49%
	AtlasCloud	https://openrouter.ai		1277	925	72.44%
	Together	https://openrouter.ai		1266	911	71.96%
	Groq	https://groq.com	69.52%	1042	1042	100.00%
	Nebius	https://nebius.ai	50.60%	644	544	84.47%

我们多次运行官方 API 以测试 tool_call_f1 的波动情况。最低得分为 82.71%，平均得分为 84%。鉴于模型固有的随机性，我们认为 80% 以上的 tool_call_f1 得分是可以接受的，可作为参考依据。

评估指标

工具调用触发相似度（ToolCall-Trigger Similarity）

我们使用 tool_call_f1 来判断模型部署是否正确。

标签 / 指标	公式	含义
TP（真正例）	—	模型与官方均判定 finish_reason == "tool_calls"。
FP（假正例）	—	模型判定 finish_reason == "tool_calls"，而官方判定为 "stop" 或 "others"。
FN（假反例）	—	模型判定 finish_reason == "stop" 或 "others"，而官方判定为 "tool_calls"。
TN（真反例）	—	模型与官方均判定 finish_reason == "stop" 或 "others"。
tool_call_precision	TP / (TP + FP)	触发的工具调用中应触发的比例。
tool_call_recall	TP / (TP + FN)	应触发且实际触发的工具调用比例。
tool_call_f1	2*tool_call_precision*tool_call_recall / (tool_call_precision+tool_call_recall)	精确率与召回率的调和平均值（部署检查的主要指标）。

工具调用-模式准确性（ToolCall-Schema Accuracy）

我们使用 schema_accuracy 来衡量工程的鲁棒性。

标签 / 指标	公式 / 条件	描述
count_finish_reason_tool_calls	—	finish_reason == "tool_calls" 的响应数量。
count_successful_tool_call	—	通过模式验证的 tool_calls 响应数量。
schema_accuracy	count_successful_tool_call / count_finish_reason_tool_calls	触发的工具调用中 JSON 负载满足模式的比例。

测试方法

我们在一组 4,000 次请求上测试工具调用的响应。每个提供商的响应都会与官方 Moonshot AI API 进行对比。

K2 供应商会定期进行评估。如果您不在列表中且希望加入，请随时联系我们。

样本数据: 详细样本和 MoonshotAI 结果可在 tool-calls-dataset 中获取（测试集的 50%）。

给供应商的建议

1. 使用正确的版本
   部分供应商可能因使用错误版本而无法满足要求。我们建议使用以下版本及更新版本：

• K2-0905:
  • vllm v0.11.0（高效推理库）
  • sglang v0.5.3rc0（结构化生成语言）
  • moonshotai/Kimi-K2-Instruct-0905 (commit: 94a4053eb8863059dd8afc00937f054e1365abbd)
• K2-thinking:
  • vllm v0.11.1rc6
  • sglang v0.5.5.post2
  • moonshotai/Kimi-K2-Thinking latest

2. 重命名工具调用ID
   Kimi-K2模型要求历史消息中的所有工具调用ID（tool call IDs）遵循functions.func_name:idx格式。然而之前的测试案例可能包含格式错误的工具ID（如serach:0*），这可能导致Kimi-K2生成错误的调用ID并引发解析失败。
   在本版本中，我们手动为所有历史工具调用添加了functions.前缀以适配Kimi-K2需求 :). 建议用户和供应商在实际应用中采用此修复方案。
   此类工具ID由我们的官方API生成。在调用K2模型前，官方API会自动将所有工具调用ID重命名为functions.func_name:idx格式，因此对我们而言这不是问题。

3. 添加引导编码
   大语言模型按概率逐个生成文本token，本身没有强制执行JSON Schema的机制。即使精心设计提示词，模型仍可能出现字段缺失、多余字段或嵌套错误。因此请添加引导编码（guided encoding）以确保Schema正确性。

自行验证

要使用示例数据运行评估工具，请使用以下命令：

python tool_calls_eval.py samples.jsonl \
    --model kimi-k2-0905-preview \
    --base-url https://api.moonshot.cn/v1 \
    --api-key YOUR_API_KEY \
    --concurrency 5 \
    --output results.jsonl \
    --summary summary.json

• samples.jsonl: JSONL格式测试集文件路径
• --model: 模型名称（如kimi-k2-0905-preview）
• --base-url: API端点URL
• --api-key: 用于身份验证的API密钥（或设置OPENAI_API_KEY环境变量）
• --concurrency: 最大并发请求数（默认：5）
• --output: 保存详细结果的路径（默认：results.jsonl）
• --summary: 保存汇总统计的路径（默认：summary.json）
• --timeout: 每次请求超时时间（秒）（默认：600）
• --retries: 失败重试次数（默认：3）
• --extra-body: 作为字符串附加到每个请求体的额外JSON内容（如'{"temperature":0.6}'）
• --incremental: 增量模式仅重新运行失败请求

通过OpenRouter测试其他供应商：

python tool_calls_eval.py samples.jsonl \
    --model moonshotai/kimi-k2-0905 \
    --base-url https://openrouter.ai/api/v1 \
    --api-key YOUR_OPENROUTER_API_KEY \
    --concurrency 5 \
    --extra-body '{"provider": {"only": ["YOUR_DESIGNATED_PROVIDER"]}}'

Kimi K2.5模型测试注意事项

对于使用vLLM/SGLang/KTransformers部署的第三方API，请注意：

• 要使用即时模式（禁用思考过程），需在extra_body中传递{"chat_template_kwargs": {"thinking": false}}：

python tool_calls_eval.py samples.jsonl \
    --model kimi-k2.5 \
    --base-url YOUR_API_BASE_URL \
    --api-key YOUR_API_KEY \
    --concurrency 5 \
    --extra-body '{"chat_template_kwargs": {"thinking": false}, "temperature": 0.6}'

联系我们

我们正在准备下一轮基准测试，需要您的反馈。

如果您关注任何指标或测试用例，请在issue中留言

欢迎在issue中提出您希望看到的供应商名称

---

如有任何疑问或顾虑，请通过contact-kvv@kimi.com与我们联系。

K2-Vendor-Verifier 快速上手指南

环境准备

• 系统要求：Linux/macOS，Python 3.8+
• 前置依赖：
  • Python 环境（推荐使用 pyenv 或 conda 管理版本）
  • pip 包管理器（建议使用国内镜像源加速安装）
  • git 工具（用于克隆代码仓库）

安装步骤

# 克隆项目仓库
git clone https://github.com/moonshot-ai/k2-vendor-verifier.git
cd k2-vendor-verifier

# 使用国内镜像源安装依赖
pip install -r requirements.txt --index-url https://pypi.tuna.tsinghua.edu.cn/simple

# 安装指定版本依赖（如需）
pip install vllm==0.11.1rc6 sglang==0.5.5.post2 --index-url https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

# 验证 Moonshot AI 官方 API
python verify.py \
  --api_key YOUR_MOONSHOT_API_KEY \
  --model kimi-k2-thinking \
  --provider moonshotai

# 验证开源方案（以 vLLM 为例）
python verify.py \
  --api_url http://localhost:8000/v1 \
  --model kimi-k2-thinking \
  --provider vllm

# 查看测试结果（默认输出 JSON 格式）
cat results/latest_result.json

提示：首次运行会自动下载测试数据集（约 500MB），建议使用 aria2 或 axel 加速下载：

aria2c -x 16 https://statics.moonshot.cn/k2vv/tool-calls.tar.gz