LiveCodeBench
LiveCodeBench 是一个专为评估大语言模型编程能力而设计的开源基准测试平台。它致力于解决传统代码评测中常见的“数据污染”问题，即模型因在训练阶段见过测试题而导致分数虚高。为此，LiveCodeBench 持续从 LeetCode、AtCoder 和 CodeForces 三大主流竞赛平台收集最新发布的题目，确保评测内容的时效性与公正性。
除了基础的代码生成任务，LiveCodeBench 还将评估维度扩展至代码自我修复、代码执行以及测试输出预测等更广泛的能力场景，提供全方位的性能洞察。其数据集保持动态更新，目前已收录上千道高质量编程难题，并划分了多个版本以支持不同时间跨度的研究需求。
这一工具特别适合 AI 研究人员、大模型开发者以及需要客观对比模型代码实力的技术团队使用。通过内置的排行榜和数据探索器，用户可以轻松追踪模型在真实新题上的表现。LiveCodeBench 凭借其对“防污染”机制的坚持和对多维代码能力的覆盖，为社区提供了一个可靠、透明且不断进化的评估标准，帮助开发者更准确地判断模型的实际编码水平。
使用场景
某 AI 实验室团队正在研发新一代代码大模型，急需在发布前对其编程能力进行权威且公正的验收评估。
没有 LiveCodeBench 时
- 评估结果失真：使用的静态基准测试题早已被收录进模型训练数据，导致评分虚高，无法反映模型真实的解题能力（即“数据污染”问题）。
- 考核维度单一：仅能测试代码生成能力，缺乏对代码执行、自我修复及测试输出预测等关键实战技能的量化手段。
- 时效性滞后：题库更新缓慢，无法覆盖 LeetCode、CodeForces 等平台最近几个月出现的新颖算法题，难以检验模型处理前沿问题的能力。
- 选型决策困难：由于缺乏统一、动态的排行榜，团队难以客观对比不同开源模型的真实水平，导致基座模型选型依赖主观经验。
使用 LiveCodeBench 后
- 杜绝数据污染：LiveCodeBench 持续抓取竞赛平台最新题目（如 2025 年发布的题目），确保测试集从未出现在训练数据中，评估结果真实可信。
- 全维度能力画像：除了代码生成，还能通过内置数据集精准评估模型的代码执行效率、自动修复 bug 的能力以及预测测试输出的准确性。
- 紧跟技术前沿：利用其细粒度的版本控制（如
release_v6），团队可立即使用包含 1000+ 道最新难题的数据集，验证模型对新兴考点的掌握度。 - 科学决策依据：参考官方实时更新的 Leaderboard，团队能快速锁定在特定场景下表现最优的开源模型，大幅降低试错成本。
LiveCodeBench 通过提供无污染、持续更新且多维度的评估体系，帮助开发者戳破“刷分”泡沫，精准定位模型的真实代码智力水平。
运行环境要求
- 未说明
运行代码生成推理时推荐使用 NVIDIA GPU（通过 vllm），支持多卡并行（tensor_parallel_size），具体显存和 CUDA 版本取决于所选模型大小，README 中未明确指定最低要求
未说明
快速开始
LiveCodeBench
论文《LiveCodeBench：面向代码的大语言模型的整体且无污染评估》的官方仓库
简介
LiveCodeBench 提供了对大语言模型编码能力的整体且无污染评估。具体而言，LiveCodeBench 会持续从三个竞赛平台——LeetCode、AtCoder 和 CodeForces——的比赛中收集新的题目。此外，LiveCodeBench 不仅关注代码生成，还涵盖了更广泛的代码相关能力，如自我修复、代码执行和测试输出预测等。目前，LiveCodeBench 拥有四百道高质量的编程题目，这些题目发布于 2023 年 5 月至 2024 年 3 月期间。
安装
您可以通过以下命令克隆仓库：
git clone https://github.com/LiveCodeBench/LiveCodeBench.git
cd LiveCodeBench
我们推荐使用 uv 来管理依赖项，它可以通过多种方式安装参见此处。
请通过运行以下命令验证 uv 是否已安装在您的系统上：
uv --version
一旦 uv 安装完毕，您可以使用它为 LiveCodeBench 创建虚拟环境，并通过以下命令安装其依赖项：
uv venv --python 3.11
source .venv/bin/activate
uv pip install -e .
数据
我们提供了针对不同代码能力场景的基准数据集：
推理与评估
数据集版本
由于 LiveCodeBench 是一个持续更新的基准，我们提供了多个数据集版本。具体来说，我们提供以下版本的数据集：
release_v1：初始发布的数据集，包含 2023 年 5 月至 2024 年 3 月期间发布的 400 道题目。release_v2：更新后的数据集，包含 2023 年 5 月至 2024 年 5 月期间发布的 511 道题目。release_v3：进一步更新的数据集，包含 2023 年 5 月至 2024 年 7 月期间发布的 612 道题目。release_v4：再更新的数据集，包含 2023 年 5 月至 2024 年 9 月期间发布的 713 道题目。release_v5：最新更新的数据集，包含 2023 年 5 月至 2025 年 1 月期间发布的 880 道题目。release_v6：最终更新的数据集，包含 2023 年 5 月至 2025 年 4 月期间发布的 1055 道题目。
您可以使用 --release_version 标志来指定要使用的数据集版本。例如，以下命令将使用 release_v2 数据集进行评估。默认情况下，release_version 设置为 release_latest。此外，我们还引入了细粒度的版本标识，如 v1、v2、v1_v3、v4_v5 等，用于特定版本的数据集。
python -m lcb_runner.runner.main --model {model_name} --scenario codegeneration --evaluate --release_version release_v2
代码生成
对于开源模型的推理，我们使用 vllm 工具。默认情况下，我们会根据可用的 GPU 数量设置 tensor_parallel_size=${num_gpus}，以实现多 GPU 并行推理。您也可以根据需要使用 --tensor_parallel_size 标志进行自定义配置。
在运行推理时，请根据 ./lcb_runner/lm_styles.py 文件中的内容提供 model_name。同时，您可以使用 scenario 参数（例如 codegeneration）来指定模型的应用场景。
python -m lcb_runner.runner.main --model {model_name} --scenario codegeneration
此外，您可以使用 --use_cache 标志来缓存生成结果，或使用 --continue_existing 标志来复用已保存的推理结果。如果您希望使用本地路径下的模型，还可以添加 --local_model_path 标志并指定模型路径。我们在生成过程中通常设置 n=10 和 temperature=0.2。更多关于各参数的详细信息，请参阅 ./lcb_runner/runner/parser.py 文件。
对于闭源 API 模型，可以使用 --multiprocess 标志来并行化对 API 服务器的请求（可根据速率限制进行调整）。
评估
我们计算 pass@1 和 pass@5 这两个指标来评估模型性能。为了计算这些指标，我们基于 apps 基准中发布的检查器进行了修改。具体来说，我们发现原始检查器存在一些未处理的边界情况，并对其进行了修复；同时，我们也根据收集到的数据集简化了检查器。要运行评估，只需添加 --evaluate 标志即可：
python -m lcb_runner.runner.main --model {model_name} --scenario codegeneration --evaluate
需要注意的是，时间限制可能会导致 pass@1 和 pass@5 指标的计算结果出现轻微波动（小于 0.5 分）。如果发现性能差异较大，可以尝试降低 --num_process_evaluate 的值，或增加 --timeout 的值。对于因超时设置不当而导致的问题，请在此处反馈。
最后，若需获取不同时间段内的得分，可以使用 ./lcb_runner/evaluation/compute_scores.py 文件。您可以通过提供 --start_date 和 --end_date 标志（格式为 YYYY-MM-DD），来计算指定时间段内的得分。在我们的论文中，为了消除 DeepSeek 模型可能存在的数据污染问题，我们仅报告了 2023 年 8 月之后发布的题目的评估结果。您可以使用以下命令来复现这些评估结果：
python -m lcb_runner.evaluation.compute_scores --eval_all_file {saved_eval_all_file} --start_date 2023-09-01
注意：我们已从原始基准中删减了大量测试用例，创建了 code_generation_lite 版本，该版本作为默认基准，能够在更短时间内提供相似的性能评估。如果您希望使用原始基准，请使用 --not_fast 标志。我们目前正在更新排行榜上的分数，以反映这一调整。
注意：V2 更新：要运行 LiveCodeBench 的 V2 版本，请使用 --release_version release_v2。此外，如果您已有 release_v1 的结果，可以添加 --continue_existing 或更好的是 --continue_existing_with_eval 标志，分别用于复用之前的推理结果或评估结果。
自我修复
要运行自我修复，您需要提供一个额外的 --codegen_n 标志，该标志对应于代码生成过程中生成的代码数量。此外，--temperature 标志用于解析旧的代码生成评估文件，该文件必须位于 output 目录中。
python -m lcb_runner.runner.main --model {model_name} --scenario selfrepair --codegen_n {num_codes_codegen} --n 1 # 仅支持 n=1
如果您已经在较小的基准测试子集或版本上获得了结果，可以使用 --continue_existing 和 --continue_existing_with_eval 标志来重用之前的计算结果。特别是，您可以运行以下命令从已有的生成解继续：
python -m lcb_runner.runner.main --model {model_name} --scenario selfrepair --evaluate --continue_existing
请注意，这只会重用生成的样本并重新运行评估。若要重用之前的评估结果，可以添加 --continue_existing_with_eval 标志。
测试输出预测
要运行测试输出预测场景，只需执行以下命令：
python -m lcb_runner.runner.main --model {model_name} --scenario testoutputprediction --evaluate
代码执行
要运行代码执行场景，只需执行以下命令：
python -m lcb_runner.runner.main --model {model_name} --scenario codeexecution --evaluate
此外，我们还支持 COT 设置，具体如下：
python -m lcb_runner.runner.main --model {model_name} --scenario codeexecution --cot_code_execution --evaluate
自定义评估
或者，您可以使用 lcb_runner/runner/custom_evaluator.py 直接在自定义文件中评估模型生成的结果。该文件应包含按基准问题顺序排列、格式正确的模型输出列表。
python -m lcb_runner.runner.custom_evaluator --custom_output_file {path_to_custom_outputs}
特别地，输出应按照以下格式排列：
[
{"question_id": "id1", "code_list": ["code1", "code2"]},
{"question_id": "id2", "code_list": ["code1", "code2"]}
]
添加对新模型的支持
为了支持新模型，我们实现了一个可扩展的框架，以便添加新模型并相应地自定义提示。
步骤 1：将新模型添加到 ./lcb_runner/lm_styles.py 文件中。具体来说，扩展 LMStyle 类以添加新的模型系列，并将该模型添加到 LanguageModelList 数组中。
步骤 2：由于我们使用的是指令微调模型，因此允许为每个模型配置指令。修改 ./lcb_runner/prompts/generation.py 文件，在 format_prompt_generation 函数中为该模型添加新的提示。
例如，DeepSeekCodeInstruct 系列模型的提示如下：
# ./lcb_runner/prompts/generation.py
if LanguageModelStyle == LMStyle.DeepSeekCodeInstruct:
prompt = f"{PromptConstants.SYSTEM_MESSAGE_DEEPSEEK}\n\n"
prompt += f"{get_deepseekcode_question_template_answer(question)}"
return prompt
提交模型至排行榜
目前我们仅接受代码生成场景的提交。要提交模型，您可以在我们的 submissions 仓库中创建一个拉取请求。具体而言，您可以将 output 目录中的模型生成文件夹复制到 submissions 文件夹中，并创建拉取请求。我们将审核您的提交，并相应地将模型添加到排行榜中。
错误与更新
我们在 ERRATA.md 文件中维护了一份已知问题和更新的列表。特别是，我们记录了有关错误测试以及无法自动评分的问题。我们会不断利用这些反馈来改进问题选择策略，从而持续更新 LiveCodeBench。
结果
LiveCodeBench 可用于评估大型语言模型在不同时间窗口上的性能（通过问题发布日期筛选模型）。这样我们可以检测并防止评估过程中的潜在污染，从而在 新 问题上评估大型语言模型。
接下来，我们评估了模型在不同代码能力上的表现，发现模型在不同任务上的相对表现确实会发生变化（左图）。这凸显了对大型语言模型进行代码相关综合评估的必要性。
我们还发现了模型可能在 HumanEval 上过拟合的证据（右图）。具体而言，那些在 HumanEval 上表现良好的模型并不一定能在 LiveCodeBench 上取得好成绩。在上面的散点图中，我们可以看到模型被分为两组，分别用红色和绿色标注。红色组的模型在 HumanEval 上表现良好，但在 LiveCodeBench 上表现较差；而绿色组的模型则在这两个基准上都表现出色。
更多详情，请访问我们的网站：livecodebench.github.io。
引用
@article{jain2024livecodebench,
author = {Naman Jain, King Han, Alex Gu, Wen-Ding Li, Fanjia Yan, Tianjun Zhang, Sida Wang, Armando Solar-Lezama, Koushik Sen, Ion Stoica},
title = {LiveCodeBench: 大型语言模型代码相关综合且无污染评估},
year = {2024},
journal = {arXiv 预印本},
}
常见问题
相似工具推荐
everything-claude-code
everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。 通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。 这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上
LLMs-from-scratch
LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。 该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。 LLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备
NextChat
NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。 这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。 NextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。
ML-For-Beginners
ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。 无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。
funNLP
funNLP 是一个专为中文自然语言处理（NLP）打造的超级资源库，被誉为"NLP 民工的乐园”。它并非单一的软件工具，而是一个汇集了海量开源项目、数据集、预训练模型和实用代码的综合性平台。 面对中文 NLP 领域资源分散、入门门槛高以及特定场景数据匮乏的痛点，funNLP 提供了“一站式”解决方案。这里不仅涵盖了分词、命名实体识别、情感分析、文本摘要等基础任务的标准工具，还独特地收录了丰富的垂直领域资源，如法律、医疗、金融行业的专用词库与数据集，甚至包含古诗词生成、歌词创作等趣味应用。其核心亮点在于极高的全面性与实用性，从基础的字典词典到前沿的 BERT、GPT-2 模型代码，再到高质量的标注数据和竞赛方案，应有尽有。 无论是刚刚踏入 NLP 领域的学生、需要快速验证想法的算法工程师，还是从事人工智能研究的学者，都能在这里找到急需的“武器弹药”。对于开发者而言，它能大幅减少寻找数据和复现模型的时间；对于研究者，它提供了丰富的基准测试资源和前沿技术参考。funNLP 以开放共享的精神，极大地降低了中文自然语言处理的开发与研究成本，是中文 AI 社区不可或缺的宝藏仓库。
gpt4all
GPT4All 是一款让普通电脑也能轻松运行大型语言模型（LLM）的开源工具。它的核心目标是打破算力壁垒，让用户无需依赖昂贵的显卡（GPU）或云端 API，即可在普通的笔记本电脑和台式机上私密、离线地部署和使用大模型。 对于担心数据隐私、希望完全掌控本地数据的企业用户、研究人员以及技术爱好者来说，GPT4All 提供了理想的解决方案。它解决了传统大模型必须联网调用或需要高端硬件才能运行的痛点，让日常设备也能成为强大的 AI 助手。无论是希望构建本地知识库的开发者，还是单纯想体验私有化 AI 聊天的普通用户，都能从中受益。 技术上，GPT4All 基于高效的 `llama.cpp` 后端，支持多种主流模型架构（包括最新的 DeepSeek R1 蒸馏模型），并采用 GGUF 格式优化推理速度。它不仅提供界面友好的桌面客户端，支持 Windows、macOS 和 Linux 等多平台一键安装，还为开发者提供了便捷的 Python 库，可轻松集成到 LangChain 等生态中。通过简单的下载和配置，用户即可立即开始探索本地大模型的无限可能。