Awesome-Code-LLM

1.3k 70 简单 1 次阅读今天MIT语言模型

AI 解读由 AI 自动生成，仅供参考

Awesome-Code-LLM 是一个精心整理的开源代码大语言模型（Code LLM）资源列表，旨在为研究人员和开发者提供最前沿的代码生成模型、相关论文、评估工具以及实用资源。它帮助用户快速了解当前最先进的代码模型，并根据不同的需求选择合适的工具。

这个项目解决了代码生成领域信息分散、难以追踪最新进展的问题，通过集中整理各类模型、研究和评测结果，降低了查找和比较的难度。无论是想寻找高性能的代码模型进行研究，还是希望在实际开发中使用优秀的代码生成工具，都可以在这里找到有价值的资源。

Awesome-Code-LLM 适合研究人员、AI 开发者以及对代码生成技术感兴趣的开发者使用。它不仅提供了当前排名靠前的模型列表，还包含丰富的论文和评估工具，便于深入学习和实验。此外，项目支持社区贡献，用户可以提交 Pull Request 添加新的资源或改进内容，共同推动这一领域的发展。

其独特亮点包括详细的模型排行榜、分类整理的论文资源以及活跃的社区参与机制，使用户能够全面掌握代码大语言模型的最新动态与研究成果。

使用场景

某软件开发团队正在为一个大型企业客户开发定制化的数据分析平台，需要集成多个第三方 API 并实现复杂的算法逻辑。团队成员希望快速找到性能优异、经过验证的代码大模型（Code LLM）来提升开发效率和代码质量。

没有 Awesome-Code-LLM 时

团队需要手动搜索大量论文、GitHub 仓库和社区讨论，难以快速筛选出高质量的代码大模型。
缺乏对不同模型在实际任务中的表现（如 HumanEval 和 MBPP 分数）的直观对比，导致选型困难。
对模型的参数规模、训练方法和适用场景缺乏系统性了解，容易选择不适合项目需求的模型。
难以跟踪最新的研究成果和开源模型发布动态，信息更新滞后。
无法直接获取模型的官方链接或文档，增加了试用和部署的难度。

使用 Awesome-Code-LLM 后

团队可以直接访问一个结构清晰、分类明确的代码大模型列表，快速定位到适合项目的模型。
通过排行榜和评估指标（如 HumanEval Pass@1 和 MBPP 分数），能够直观比较不同模型的性能，辅助决策。
可以根据模型的参数量、训练方式和应用场景，精准匹配项目需求，提高开发效率。
实时获取最新发布的模型和研究论文，确保使用前沿技术。
直接从列表中获取模型的官方链接和文档，简化了模型的试用和部署流程。

Awesome-Code-LLM 提供了一个高效、系统的代码大模型资源库，帮助开发团队快速找到最适合其需求的工具，显著提升了研发效率与代码质量。

运行环境要求

操作系统

未说明

GPU

未说明

内存

未说明

依赖

notes该项目是一个代码大语言模型的资源汇总列表，不包含具体运行环境需求。用户可根据所选模型的文档查看其具体运行要求。

python未说明

未说明

快速开始

👨‍💻 精选代码大模型

🔆 如何贡献

欢迎贡献！如果您有任何与代码大模型相关的资源、工具、论文或见解，欢迎提交拉取请求。让我们携手共建，让这个项目更出色！

新闻

🔥🔥🔥 [2024-11-12] Qwen2.5-Coder系列 发布，提供六种模型规模（0.5B、1.5B、3B、7B、14B、32B），其中 Qwen2.5-Coder-32B-Instruct 现已成为最强大的开源代码模型。
🔥🔥 [2024-11-08] OpenCoder：顶级代码大语言模型的开放食谱发布。

🚀 顶级代码LLM

按HumanEval通过率排序

排名	模型	参数量	HumanEval	MBPP	来源
1	o1-mini-2024-09-12	-	97.6	93.9	论文
2	o1-preview-2024-09-12	-	95.1	93.4	论文
3	Qwen2.5-Coder-32B-Instruct	32B	92.7	90.2	github
4	Claude-3.5-Sonnet-20241022	-	92.1	91.0	论文
5	GPT-4o-2024-08-06	-	92.1	86.8	论文
6	Qwen2.5-Coder-14B-Instruct	14B	89.6	86.2	github
7	Claude-3.5-Sonnet-20240620	-	89.0	87.6	论文
8	GPT-4o-mini-2024-07-18	-	87.8	86.0	论文
9	Qwen2.5-Coder-7B-Instruct	7B	88.4	83.5	github
10	DS-Coder-V2-Instruct	21/236B	85.4	89.4	github
11	Qwen2.5-Coder-3B-Instruct	3B	84.1	73.6	github
12	DS-Coder-V2-Lite-Instruct	2.4/16B	81.1	82.8	github
13	CodeQwen1.5-7B-Chat	7B	83.5	70.6	github
14	DeepSeek-Coder-33B-Instruct	33B	79.3	70.0	github
15	DeepSeek-Coder-6.7B-Instruct	6.7B	78.6	65.4	github
16	GPT-3.5-Turbo	-	76.2	70.8	github
17	CodeLlama-70B-Instruct	70B	72.0	77.8	论文
18	Qwen2.5-Coder-1.5B-Instruct	1.5B	70.7	69.2	github
19	StarCoder2-15B-Instruct-v0.1	15B	67.7	78.0	论文
20	Qwen2.5-Coder-0.5B-Instruct	0.5B	61.6	52.4	github
21	Pangu-Coder2	15B	61.6	-	论文
22	WizardCoder-15B	15B	57.3	51.8	论文
23	CodeQwen1.5-7B	7B	51.8	61.8	github
24	CodeLlama-34B-Instruct	34B	48.2	61.1	论文
25	Code-Davinci-002	-	47.0	-	论文

💡 评估工具包：

bigcode-evaluation-harness：用于评估自回归代码生成语言模型的框架。
code-eval：用于在HumanEval上评估自回归代码生成语言模型的框架。
SandboxFusion：用于运行和评判LLM生成代码的安全沙箱。

🚀 优秀代码大模型排行榜

排行榜	描述
Evalperf 排行榜	评估大模型在高效代码生成方面的表现。
Aider 代码编辑排行榜	衡量大模型的编码能力，以及其是否能够编写与现有代码无缝集成的新代码。
BigCodeBench 排行榜	BigCodeBench 通过实用且具有挑战性的编程任务来评估大模型。
LiveCodeBench 排行榜	对大型语言模型进行全方位、无污染的代码相关评估。
Big Code Models 排行榜	比较基础多语言代码生成模型在 HumanEval 基准和 MultiPL-E 上的表现。
BIRD 排行榜	BIRD 包含超过 12,751 对独特的“问题-SQL”组合，涵盖 95 个大型数据库，总数据量达 33.4 GB。此外，还覆盖了区块链、冰球、医疗保健、教育等超过 37 个专业领域。
CanAiCode 排行榜	CanAiCode 排行榜
Coding LLMs 排行榜	Coding LLMs 排行榜
CRUXEval 排行榜	CRUXEval 是一个与 HumanEval 和 MBPP 相辅相成的基准，用于衡量代码推理、理解和执行能力！
EvalPlus 排行榜	EvalPlus 通过严格的测试来评估 AI 编码器。
InfiBench 排行榜	InfiBench 是一个全面的代码领域大型语言模型基准，用于评估模型在回答代码领域的自由形式现实世界问题方面的能力。
InterCode 排行榜	InterCode 是一个用于评估语言模型在交互式编码任务上表现的基准。给定一个自然语言请求，要求智能体通过代码与软件系统（如数据库、终端）进行交互以解决问题。
程序合成模型排行榜	他们创建了这个排行榜，旨在帮助研究人员通过直观的领导力象限图轻松识别最佳开源模型。他们评估开源代码模型的表现，并根据其能力和市场采用情况对其进行排名。
Spider 排行榜	Spider 是一个由 11 名耶鲁大学学生标注的大规模、复杂且跨领域的语义解析与文本转 SQL 数据集。Spider 挑战的目标是开发跨领域数据库的自然语言接口。

📚 优秀代码大模型论文

🌊 优秀的代码预训练论文

标题	会议/期刊	发表日期	代码	资源
OpenCoder：顶级代码大语言模型的开源 Cookbook	`预印本`	`2024.11`	Github	HF
Qwen2.5-Coder 技术报告	`预印本`	`2024.09`	Github	HF
DeepSeek-Coder-V2：突破代码智能领域闭源模型的壁垒	`预印本`	`2024.06`	Github	HF
StarCoder 2 和 Stack v2：下一代	`预印本`	`2024.02`	Github	HF
DeepSeek-Coder：当大语言模型遇上编程——代码智能的崛起	`预印本`	`2024.01`	Github	HF
Code Llama：用于代码的开放基础模型	`预印本`	`2023.08`	Github	HF
只需教科书就够了	`预印本`	`2023.06`	-	HF
CodeT5+：用于代码理解与生成的开放代码大语言模型	`预印本`	`2023.05`	Github	HF
StarCoder：愿源代码与你同在！	`预印本`	`2023.05`	Github	HF
CodeGen2：训练大语言模型处理编程与自然语言的经验教训	`ICLR23`	`2023.05`	Github	HF
CodeGeeX：一款经过预训练的代码生成模型，并在 HumanEval-X 上进行了多语言评估	`预印本`	`2023.03`	Github	HF
SantaCoder：别去摘星星！	`预印本`	`2023.01`	-	HF
CodeGen：一款用于代码的开放大语言模型，支持多轮程序合成	`ICLR'23`	`2022.03`	Github	HF
评估在代码上训练的大语言模型	`预印本`	`2021.07`	Github	-

🐳 优秀的代码指令微调论文

标题	会议	日期	代码	资源
Magicoder：只需源代码即可	`ICML'24`	`2023.12`	Github	HF
OctoPack：指令微调代码大型语言模型	`ICLR'24`	`2023.08`	Github	HF
WizardCoder：通过Evol-Instruct赋能代码大型语言模型	`Preprint`	`2023.07`	Github	HF
Code Alpaca：基于代码生成指令训练的指令遵循LLaMA模型	`Preprint`	`2023.xx`	Github	HF

🐬 优秀的代码对齐论文

标题	会议	日期	代码	资源
ProSec：通过主动安全对齐强化代码LLM	`Preprint`	`2024.11`	-	-
PLUM：偏好学习加测试用例带来更优的代码语言模型	`Preprint`	`2024.06`	-	-
PanGu-Coder2：通过排序反馈提升代码大型语言模型	`Preprint`	`2023.07`	-	-
RLTF：基于单元测试反馈的强化学习	`Preprint`	`2023.07`	Github	-
基于执行的代码生成：深度强化学习应用	`TMLR'23`	`2023.01`	Github	-
CodeRL：通过预训练模型与深度强化学习掌握代码生成	`NeurIPS'22`	`2022.07`	Github	-

🐋 优秀的代码提示论文

标题	会议名称	发表日期	代码	资源
从代码到正确性：通过分层调试弥合代码生成的最后一公里	`预印本`	`2024.10`	Github	-
分层上下文剪枝：利用仓库级预训练代码大模型优化现实世界中的代码补全	`AAAI'25`	`2024.06`	Github	-
像人类一样调试：通过逐步验证运行时执行的大语言模型调试器	`ACL'24`	`2024.02`	Github	-
SelfEvolve：基于大语言模型的代码演化框架	`预印本`	`2023.06`	-	-
揭秘 GPT 的代码生成自修复机制	`ICLR'24`	`2023.06`	Github	-
教导大语言模型进行自我调试	`ICLR'24`	`2023.06`	-	-
LEVER：通过执行学习验证语言到代码的生成	`ICML'23`	`2023.02`	Github	-
用于代码生成的编码器评审重排序	`ICML'23`	`2022.11`	Github	-
CodeT：借助生成的测试进行代码生成	`ICLR'23`	`2022.07`	Github	-

🐙 优秀的代码基准与评估论文

数据集	标题	会议/期刊	发表日期	代码	资源
`CodeArena`	在人类偏好上评估与对齐代码LLM	`预印本`	`2024.12`	Github	HF
`FullStack Bench`	FullStack Bench：评估LLM作为全栈编码器	`预印本`	`2024.12`	Github	HF Github
`GitChameleon`	GitChameleon：揭示代码生成模型的版本切换能力	`预印本`	`2024.11`	Github	-
`Evalperf`	评估语言模型以实现高效代码生成	`COLM'24`	`2024.08`	Github	HF
`LiveCodeBench`	LiveCodeBench：对大型语言模型进行代码生成的全面且无污染评估	`预印本`	`2024.03`	Github	HF
`DevBench`	DevBench：软件开发的综合基准	`预印本`	`2024.03`	Github	-
`SWE-bench`	SWE-bench：语言模型能否解决真实的GitHub问题？	`ICLR'24`	`2024.03`	Github	HF
`CrossCodeEval`	CrossCodeEval：跨文件代码补全的多样化与多语言基准	`NeurIPS'23`	`2023.11`	Github	-
`RepoCoder`	通过迭代检索与生成实现仓库级代码补全	`EMNLP'23`	`2023.10`	Github	-
`LongCoder`	LongCoder：用于代码补全的长距离预训练语言模型	`ICML'23`	`2023.10`	Github	-
-	ChatGPT能否取代StackOverflow？大型语言模型代码生成的鲁棒性与可靠性研究	`预印本`	`2023.08`	-	-
`BioCoder`	BioCoder：利用大型语言模型进行生物信息学代码生成的基准	`ISMB'24`	`2023.08`	Github	-
`RepoBench`	RepoBench：对仓库级代码自动补全系统的基准测试	`ICLR'24`	`2023.06`	Github	HF
`Evalplus`	你的代码真的是由ChatGPT生成的吗？大型语言模型代码生成的严格评估	`NeurIPS'23`	`2023.05`	Github	HF
`Coeditor`	Coeditor：利用上下文变化进行多轮代码自动编辑	`ICLR'24`	`2023.05`	Github	-
`DS-1000`	DS-1000：自然且可靠的数据科学代码生成基准	`ICML'23`	`2022.11`	Github	HF
`MultiPL-E`	MultiPL-E：可扩展且可延展的神经网络代码生成基准方法	`预印本`	`2022.08`	Github	HF
`MBPP`	利用大型语言模型进行程序合成	`预印本`	`2021.08`	Github	HF
`APPS`	用APPS衡量编码挑战能力	`NeurIPS'21`	`2021.05`	Github	HF

🙌 贡献者

这是一个活跃的仓库，我们始终欢迎您的贡献！如果您对这份带有鲜明观点的列表有任何疑问，请随时通过 huybery@gmail.com 与我联系。

引用格式

@software{awesome-code-llm,
  author = {Binyuan Hui, Lei Zhang},
  title = {一份为研究精心整理的优秀代码LLM清单},
  howpublished = {\url{https://github.com/huybery/Awesome-Code-LLM}},
  year = 2023,
}

致谢

本项目灵感来源于 Awesome-LLM。

星标历史

⬆ 返回目录

Awesome-Code-LLM 快速上手指南

环境准备

系统要求

操作系统：Linux / macOS / Windows（推荐使用 Linux 或 macOS）
Python 版本：3.8 及以上
GPU（可选）：推荐使用 NVIDIA GPU 以加速模型推理，支持 CUDA 的显卡效果更佳

前置依赖

确保已安装以下工具：

git
pip
Python 3.8+

建议使用国内镜像源安装依赖包，例如使用清华源：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

安装步骤

克隆仓库到本地：

git clone https://github.com/huybery/Awesome-Code-LLM.git
cd Awesome-Code-LLM

安装项目依赖：

pip install -r requirements.txt

如果遇到依赖安装缓慢问题，可以使用国内镜像源替换默认源：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

Awesome-Code-LLM 是一个整理了代码大语言模型（Code LLMs）资源的开源项目，主要用于展示和比较当前主流的代码生成模型。它本身不提供模型训练或推理功能，而是作为资源索引和评估工具。

示例：查看顶级代码大语言模型列表

运行以下命令，查看当前排名靠前的代码大语言模型信息：

python scripts/list_top_code_llms.py

该脚本会输出类似如下内容（部分示例）：

Rank | Model                              | Params | HumanEval | MBPP | Source
-----|------------------------------------|--------|-----------|------|-------
1    | o1-mini-2024-09-12                 | -      | 97.6      | 93.9 | [paper](https://arxiv.org/abs/2409.12186)
...

示例：获取最新论文与工具链接

运行以下命令，获取最新的论文、工具和评估框架信息：

python scripts/list_papers_and_tools.py

这将列出包括代码预训练、指令微调、对齐、提示方法以及基准测试等领域的相关研究和工具。

如需进一步了解模型细节或参与贡献，请参考项目的完整 README 文件。

常见问题

如何添加 DeepSeek Coder 到 Awesome-Code-LLM 项目中？

如何查找基于 RLHF 训练的代码模型？

如何提交新的模型或更新现有模型信息？

如何更新 leaderboard 部分以包含更多模型？

Leaderboard 中的分数是否可靠且实时？

如何修正 README 中的错误链接？

相似工具推荐

everything-claude-code

everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上

★ 139k|★★☆☆☆|今天

开发框架Agent语言模型

NextChat

NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。 NextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。

★ 87.6k|★★☆☆☆|今天

开发框架语言模型

ML-For-Beginners

ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。

★ 85k|★★☆☆☆|今天

图像数据工具视频

ragflow

RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。

★ 77.1k|★★★☆☆|昨天

Agent图像开发框架

PaddleOCR

PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。 PaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。

★ 74.9k|★★★☆☆|今天

语言模型图像开发框架

OpenHands

OpenHands 是一个专注于 AI 驱动开发的开源平台，旨在让智能体（Agent）像人类开发者一样理解、编写和调试代码。它解决了传统编程中重复性劳动多、环境配置复杂以及人机协作效率低等痛点，通过自动化流程显著提升开发速度。无论是希望提升编码效率的软件工程师、探索智能体技术的研究人员，还是需要快速原型验证的技术团队，都能从中受益。OpenHands 提供了灵活多样的使用方式：既可以通过命令行（CLI）或本地图形界面在个人电脑上轻松上手，体验类似 Devin 的流畅交互；也能利用其强大的 Python SDK 自定义智能体逻辑，甚至在云端大规模部署上千个智能体并行工作。其核心技术亮点在于模块化的软件智能体 SDK，这不仅构成了平台的引擎，还支持高度可组合的开发模式。此外，OpenHands 在 SWE-bench 基准测试中取得了 77.6% 的优异成绩，证明了其解决真实世界软件工程问题的能力。平台还具备完善的企业级功能，支持与 Slack、Jira 等工具集成，并提供细粒度的权限管理，适合从个人开发者到大型企业的各类用户场景。

★ 70.6k|★★★☆☆|今天

语言模型Agent开发框架