[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-ymcui--Chinese-LLaMA-Alpaca-2":3,"tool-ymcui--Chinese-LLaMA-Alpaca-2":64},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",138956,2,"2026-04-05T11:33:21",[13,15,26],"语言模型",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[13,14,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":23,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,26],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":23,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,51,52,53,15,54,26,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":10,"last_commit_at":62,"category_tags":63,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,26,54],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":80,"owner_email":81,"owner_twitter":82,"owner_website":83,"owner_url":84,"languages":85,"stars":94,"forks":95,"last_commit_at":96,"license":97,"difficulty_score":10,"env_os":98,"env_gpu":99,"env_ram":100,"env_deps":101,"category_tags":114,"github_topics":115,"view_count":10,"oss_zip_url":79,"oss_zip_packed_at":79,"status":16,"created_at":129,"updated_at":130,"faqs":131,"releases":161},1196,"ymcui\u002FChinese-LLaMA-Alpaca-2","Chinese-LLaMA-Alpaca-2","中文LLaMA-2 & Alpaca-2大模型二期项目 + 64K超长上下文模型 (Chinese LLaMA-2 & Alpaca-2 LLMs with 64K long context models)","Chinese-LLaMA-Alpaca-2 是一个专注于中文场景的大型语言模型项目，基于 Meta 的 Llama-2 进行优化和扩展，提供了多个版本的中文基础模型和指令调优模型。它通过扩充中文词表、使用大规模中文数据进行预训练，显著提升了中文理解与生成能力。支持多种上下文长度，包括 4K、16K 和 64K，适合需要处理长文本的应用。同时，项目提供了丰富的训练和部署工具，便于开发者在本地快速部署和使用。适用于研究人员、开发者以及对中文大模型有需求的用户。其技术亮点包括支持 FlashAttention-2 训练、多框架兼容以及长上下文处理能力。","# [Chinese-LLaMA-Alpaca-3](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-3)项目启动！\n\n[**🇨🇳中文**](.\u002FREADME.md) | [**🌐English**](.\u002FREADME_EN.md) | [**📖文档\u002FDocs**](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki) | [**❓提问\u002FIssues**](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fissues) | [**💬讨论\u002FDiscussions**](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fdiscussions) | [**⚔️竞技场\u002FArena**](http:\u002F\u002Fllm-arena.ymcui.com\u002F)\n\n\u003Cp align=\"center\">\n    \u003Cbr>\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fymcui_Chinese-LLaMA-Alpaca-2_readme_fba27ffee1b2.png\" width=\"800\"\u002F>\n    \u003Cbr>\n\u003C\u002Fp>\n\u003Cp align=\"center\">\n    \u003Cimg alt=\"GitHub\" src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Flicense\u002Fymcui\u002FChinese-LLaMA-Alpaca-2.svg?color=blue&style=flat-square\">\n    \u003Cimg alt=\"GitHub release (latest by date)\" src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fv\u002Frelease\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\">\n    \u003Cimg alt=\"GitHub top language\" src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Flanguages\u002Ftop\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\">\n    \u003Ca href=\"https:\u002F\u002Fapp.codacy.com\u002Fgh\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fdashboard?utm_source=gh&utm_medium=referral&utm_content=&utm_campaign=Badge_grade\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fymcui_Chinese-LLaMA-Alpaca-2_readme_adaaa9495e23.png\"\u002F>\u003C\u002Fa>\n\u003C\u002Fp>\n\n\n本项目基于Meta发布的可商用大模型[Llama-2](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fllama)开发，是[中文LLaMA&Alpaca大模型](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca)的第二期项目，开源了**中文LLaMA-2基座模型和Alpaca-2指令精调大模型**。这些模型**在原版Llama-2的基础上扩充并优化了中文词表**，使用了大规模中文数据进行增量预训练，进一步提升了中文基础语义和指令理解能力，相比一代相关模型获得了显著性能提升。相关模型**支持FlashAttention-2训练**。标准版模型支持4K上下文长度，**长上下文版模型支持16K、64k上下文长度**。**RLHF系列模型**为标准版模型基础上进行人类偏好对齐精调，相比标准版模型在**正确价值观体现**方面获得了显著性能提升。\n\n#### 本项目主要内容\n\n- 🚀 针对Llama-2模型扩充了**新版中文词表**，开源了中文LLaMA-2和Alpaca-2大模型\n- 🚀 开源了预训练脚本、指令精调脚本，用户可根据需要进一步训练模型\n- 🚀 使用个人电脑的CPU\u002FGPU快速在本地进行大模型量化和部署体验\n- 🚀 支持[🤗transformers](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers), [llama.cpp](https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fllama.cpp), [text-generation-webui](https:\u002F\u002Fgithub.com\u002Foobabooga\u002Ftext-generation-webui), [LangChain](https:\u002F\u002Fgithub.com\u002Fhwchase17\u002Flangchain), [privateGPT](https:\u002F\u002Fgithub.com\u002Fimartinez\u002FprivateGPT), [vLLM](https:\u002F\u002Fgithub.com\u002Fvllm-project\u002Fvllm)等LLaMA生态\n\n#### 已开源的模型\n\n\n- 基座模型（4K上下文）：Chinese-LLaMA-2 (1.3B, 7B, 13B)\n- 聊天模型（4K上下文）：Chinese-Alpaca-2 (1.3B, 7B, 13B)\n- 长上下文模型（16K\u002F64K）：\n  - Chinese-LLaMA-2-16K (7B, 13B) 、Chinese-Alpaca-2-16K (7B, 13B) \n  - Chinese-LLaMA-2-64K (7B)、Chinese-Alpaca-2-64K (7B)\n- 偏好对齐模型：Chinese-Alpaca-2-RLHF (1.3B, 7B)\n\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fymcui_Chinese-LLaMA-Alpaca-2_readme_f8eb4295abc3.gif)\n\n----\n\n[中文LLaMA&Alpaca大模型](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca) | [多模态中文LLaMA&Alpaca大模型](https:\u002F\u002Fgithub.com\u002Fairaria\u002FVisual-Chinese-LLaMA-Alpaca) | [多模态VLE](https:\u002F\u002Fgithub.com\u002Fiflytek\u002FVLE) | [中文MiniRBT](https:\u002F\u002Fgithub.com\u002Fiflytek\u002FMiniRBT) | [中文LERT](https:\u002F\u002Fgithub.com\u002Fymcui\u002FLERT) | [中英文PERT](https:\u002F\u002Fgithub.com\u002Fymcui\u002FPERT) | [中文MacBERT](https:\u002F\u002Fgithub.com\u002Fymcui\u002FMacBERT) | [中文ELECTRA](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-ELECTRA) | [中文XLNet](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-XLNet) | [中文BERT](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-BERT-wwm) | [知识蒸馏工具TextBrewer](https:\u002F\u002Fgithub.com\u002Fairaria\u002FTextBrewer) | [模型裁剪工具TextPruner](https:\u002F\u002Fgithub.com\u002Fairaria\u002FTextPruner) | [蒸馏裁剪一体化GRAIN](https:\u002F\u002Fgithub.com\u002Fairaria\u002FGRAIN)\n\n\n## 新闻\n\n**[2024\u002F04\u002F30] Chinese-LLaMA-Alpaca-3 已正式发布，开源基于Llama-3的Llama-3-Chinese-8B和Llama-3-Chinese-8B-Instruct，推荐所有一期、二期项目用户升级至三代模型，请参阅：https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-3**\n\n[2024\u002F03\u002F27] 本项目已入驻机器之心SOTA!模型平台，欢迎关注：https:\u002F\u002Fsota.jiqizhixin.com\u002Fproject\u002Fchinese-llama-alpaca-2\n\n[2024\u002F01\u002F23] 添加新版GGUF模型（imatrix量化）、AWQ量化模型，支持vLLM下加载YaRN长上下文模型。详情查看[📚 v4.1版本发布日志](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Freleases\u002Ftag\u002Fv4.1)\n\n[2023\u002F12\u002F29] 发布长上下文模型Chinese-LLaMA-2-7B-64K和Chinese-Alpaca-2-7B-64K，同时发布经过人类偏好对齐（RLHF）的Chinese-Alpaca-2-RLHF（1.3B\u002F7B）。详情查看[📚 v4.0版本发布日志](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Freleases\u002Ftag\u002Fv4.0)\n\n[2023\u002F09\u002F01] 发布长上下文模型Chinese-Alpaca-2-7B-16K和Chinese-Alpaca-2-13B-16K，该模型可直接应用于下游任务，例如privateGPT等。详情查看[📚 v3.1版本发布日志](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Freleases\u002Ftag\u002Fv3.1)\n\n[2023\u002F08\u002F25] 发布长上下文模型Chinese-LLaMA-2-7B-16K和Chinese-LLaMA-2-13B-16K，支持16K上下文，并可通过NTK方法进一步扩展至24K+。详情查看[📚 v3.0版本发布日志](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Freleases\u002Ftag\u002Fv3.0)\n\n[2023\u002F08\u002F14] 发布Chinese-LLaMA-2-13B和Chinese-Alpaca-2-13B，添加text-generation-webui\u002FLangChain\u002FprivateGPT支持，添加CFG Sampling解码方法等。详情查看[📚 v2.0版本发布日志](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Freleases\u002Ftag\u002Fv2.0)\n\n[2023\u002F08\u002F02] 添加FlashAttention-2训练支持，基于vLLM的推理加速支持，提供长回复系统提示语模板等。详情查看[📚 v1.1版本发布日志](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Freleases\u002Ftag\u002Fv1.1)\n\n[2023\u002F07\u002F31] 正式发布Chinese-LLaMA-2-7B（基座模型），使用120G中文语料增量训练（与一代Plus系列相同）；进一步通过5M条指令数据精调（相比一代略微增加），得到Chinese-Alpaca-2-7B（指令\u002Fchat模型）。详情查看[📚 v1.0版本发布日志](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Freleases\u002Ftag\u002Fv1.0)\n\n[2023\u002F07\u002F19] 🚀启动[中文LLaMA-2、Alpaca-2开源大模型项目](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2)\n\n\n## 内容导引\n| 章节                                  | 描述                                                         |\n| ------------------------------------- | ------------------------------------------------------------ |\n| [💁🏻‍♂️模型简介](#模型简介) | 简要介绍本项目相关模型的技术特点 |\n| [⏬模型下载](#模型下载)        | 中文LLaMA-2、Alpaca-2大模型下载地址          |\n| [💻推理与部署](#推理与部署) | 介绍了如何对模型进行量化并使用个人电脑部署并体验大模型 |\n| [💯系统效果](#系统效果) | 介绍了模型在部分任务上的效果    |\n| [📝训练与精调](#训练与精调) | 介绍了如何训练和精调中文LLaMA-2、Alpaca-2大模型 |\n| [❓常见问题](#常见问题) | 一些常见问题的回复 |\n\n\n## 模型简介\n\n本项目推出了基于Llama-2的中文LLaMA-2以及Alpaca-2系列模型，相比[一期项目](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca)其主要特点如下：\n\n#### 📖 经过优化的中文词表\n\n- 在[一期项目](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca)中，我们针对一代LLaMA模型的32K词表扩展了中文字词（LLaMA：49953，Alpaca：49954）\n- 在本项目中，我们**重新设计了新词表**（大小：55296），进一步提升了中文字词的覆盖程度，同时统一了LLaMA\u002FAlpaca的词表，避免了因混用词表带来的问题，以期进一步提升模型对中文文本的编解码效率\n\n#### ⚡ 基于FlashAttention-2的高效注意力\n\n- [FlashAttention-2](https:\u002F\u002Fgithub.com\u002FDao-AILab\u002Fflash-attention)是高效注意力机制的一种实现，相比其一代技术具有**更快的速度和更优化的显存占用**\n- 当上下文长度更长时，为了避免显存爆炸式的增长，使用此类高效注意力技术尤为重要\n- 本项目的所有模型均使用了FlashAttention-2技术进行训练\n\n#### 🚄 基于PI和YaRN的超长上下文扩展技术\n\n- 在[一期项目](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca)中，我们实现了[基于NTK的上下文扩展技术](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fpull\u002F743)，可在不继续训练模型的情况下支持更长的上下文\n- 基于[位置插值PI](https:\u002F\u002Farxiv.org\u002Fabs\u002F2306.15595)和NTK等方法推出了16K长上下文版模型，支持16K上下文，并可通过NTK方法最高扩展至24K-32K\n- 基于[YaRN](https:\u002F\u002Farxiv.org\u002Fabs\u002F2309.00071)方法进一步推出了64K长上下文版模型，支持64K上下文\n- 进一步设计了**方便的自适应经验公式**，无需针对不同的上下文长度设置NTK超参，降低了使用难度\n\n#### 🤖 简化的中英双语系统提示语\n\n- 在[一期项目](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca)中，中文Alpaca系列模型使用了[Stanford Alpaca](https:\u002F\u002Fgithub.com\u002Ftatsu-lab\u002Fstanford_alpaca)的指令模板和系统提示语\n- 初步实验发现，Llama-2-Chat系列模型的默认系统提示语未能带来统计显著的性能提升，且其内容过于冗长\n- 本项目中的Alpaca-2系列模型简化了系统提示语，同时遵循Llama-2-Chat指令模板，以便更好地适配相关生态\n\n#### 👮 人类偏好对齐\n\n- 在[一期项目](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca)中，中文Alpaca系列模型仅完成预训练和指令精调，获得了基本的对话能力\n- 通过基于人类反馈的强化学习（RLHF）实验，发现可显著提升模型传递正确价值观的能力\n- 本项目推出了Alpaca-2-RLHF系列模型，使用方式与SFT模型一致\n\n\n\n下图展示了本项目以及[一期项目](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca)推出的所有大模型之间的关系。\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fymcui_Chinese-LLaMA-Alpaca-2_readme_c1ac37031b2b.png)\n\n## 模型下载\n\n### 模型选择指引\n\n以下是中文LLaMA-2和Alpaca-2模型的对比以及建议使用场景。**如需聊天交互，请选择Alpaca而不是LLaMA。**\n\n| 对比项                | 中文LLaMA-2                                            | 中文Alpaca-2                                                 |\n| :-------------------- | :----------------------------------------------------: | :----------------------------------------------------------: |\n| 模型类型 | **基座模型** | **指令\u002FChat模型（类ChatGPT）** |\n| 已开源大小 | 1.3B、7B、13B | 1.3B、7B、13B |\n| 训练类型     | Causal-LM (CLM)           | 指令精调                                                     |\n| 训练方式 | 7B、13B：LoRA + 全量emb\u002Flm-head\u003Cbr\u002F>1.3B：全量 | 7B、13B：LoRA + 全量emb\u002Flm-head\u003Cbr\u002F>1.3B：全量 |\n| 基于什么模型训练 | [原版Llama-2](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fllama)（非chat版） | 中文LLaMA-2 |\n| 训练语料 | 无标注通用语料（120G纯文本） | 有标注指令数据（500万条） |\n| 词表大小\u003Csup>[1]\u003C\u002Fsup> | 55,296 | 55,296 |\n| 上下文长度\u003Csup>[2]\u003C\u002Fsup> | 标准版：4K（12K-18K）\u003Cbr\u002F>长上下文版（PI）：16K（24K-32K）\u003Cbr\u002F>长上下文版（YaRN）：64K | 标准版：4K（12K-18K）\u003Cbr\u002F>长上下文版（PI）：16K（24K-32K）\u003Cbr\u002F>长上下文版（YaRN）：64K |\n| 输入模板              | 不需要                                                 | 需要套用特定模板\u003Csup>[3]\u003C\u002Fsup>，类似Llama-2-Chat |\n| 适用场景            | 文本续写：给定上文，让模型生成下文            | 指令理解：问答、写作、聊天、交互等 |\n| 不适用场景          | 指令理解 、多轮聊天等                                  |  文本无限制自由生成                                                       |\n| 偏好对齐          | 无                                  |  RLHF版本（1.3B、7B）                                          |\n\n> [!NOTE]\n> [1] *本项目一代模型和二代模型的词表不同，请勿混用。二代LLaMA和Alpaca的词表相同。*\u003C\u002Fbr>\n> [2] *括号内表示基于NTK上下文扩展支持的最大长度。*\u003C\u002Fbr>\n> [3] *Alpaca-2采用了Llama-2-chat系列模板（格式相同，提示语不同），而不是一代Alpaca的模板，请勿混用。*\u003C\u002Fbr>\n> [4] *不建议单独使用1.3B模型，而是通过投机采样搭配更大的模型（7B、13B）使用。*\u003C\u002Fbr>\n\n### 完整模型下载\n\n以下是完整版模型，直接下载即可使用，无需其他合并步骤。推荐网络带宽充足的用户。\n\n| 模型名称                  |   类型   | 大小 |                    下载地址                    |                    GGUF                    |\n| :------------------------ | :------: | :----------------------------------------------------------: | :----------------------------------------------------------: | :----------------------------------------------------------: |\n| Chinese-LLaMA-2-13B | 基座模型 | 24.7 GB |  [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-2-13b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-llama-2-13b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1T3RqEUSmyg6ZuBwMhwSmoQ?pwd=e9qy) | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-2-13b-gguf) |\n| Chinese-LLaMA-2-7B | 基座模型 | 12.9 GB | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-2-7b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-llama-2-7b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1E5NI3nlQpx1j8z3eIzbIlg?pwd=n8k3) | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-2-7b-gguf) |\n| Chinese-LLaMA-2-1.3B | 基座模型 | 2.4 GB | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-2-1.3b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-llama-2-1.3b)[[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1hEuOCllnJJ5NMEZJf8OkRw?pwd=nwjg) | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-2-1.3b-gguf) |\n| Chinese-Alpaca-2-13B | 指令模型 | 24.7 GB | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-13b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-2-13b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1MT_Zlap1OtdYMgoBNTS3dg?pwd=9xja) | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-13b-gguf) |\n| Chinese-Alpaca-2-7B | 指令模型 | 12.9 GB | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-7b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-2-7b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1wxx-CdgbMupXVRBcaN4Slw?pwd=kpn9) | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-7b-gguf) |\n| Chinese-Alpaca-2-1.3B | 指令模型 | 2.4 GB | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-1.3b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-2-1.3b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1PD7Ng-ltOIdUGHNorveptA?pwd=ar1p) | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-1.3b-gguf) |\n\n#### 长上下文版模型\n\n以下是长上下文版模型，**推荐以长文本为主的下游任务使用**，否则建议使用上述标准版。\n\n| 模型名称                  |   类型   |  大小   |                           下载地址                           |                             GGUF                             |\n| :------------------------ | :------: | :-----: | :----------------------------------------------------------: | :----------------------------------------------------------: |\n| Chinese-LLaMA-2-7B-64K 🆕  | 基座模型 | 12.9 GB | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-2-7b-64k) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-llama-2-7b-64k) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1ShDQ2FG2QUJrvfnxCn4hwQ?pwd=xe5k) | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-2-7b-64k-gguf) |\n| Chinese-Alpaca-2-7B-64K 🆕 | 指令模型 | 12.9 GB | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-7b-64k) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-2-7b-64k) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1KBAr9PCGvX2oQkYfCuLEjw?pwd=sgp6) | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-7b-64k-gguf) |\n| Chinese-LLaMA-2-13B-16K   | 基座模型 | 24.7 GB | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-2-13b-16k) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-llama-2-13b-16k) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1XWrh3Ru9x4UI4-XmocVT2w?pwd=f7ik) | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-2-13b-16k-gguf) |\n| Chinese-LLaMA-2-7B-16K    | 基座模型 | 12.9 GB | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-2-7b-16k) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-llama-2-7b-16k)  [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1ZH7T7KU_up61ugarSIXw2g?pwd=pquq) | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-2-7b-16k-gguf) |\n| Chinese-Alpaca-2-13B-16K  | 指令模型 | 24.7 GB | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-13b-16k) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-2-13b-16k) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1gIzRM1eg-Xx1xV-3nXW27A?pwd=qi7c) | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-13b-16k-gguf) |\n| Chinese-Alpaca-2-7B-16K   | 指令模型 | 12.9 GB | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-7b-16k) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-2-7b-16k) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1Qk3U1LyvMb1RSr5AbiatPw?pwd=bfis) | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-7b-16k-gguf) |\n\n#### RLHF版模型\n\n以下是人类偏好对齐版模型，对涉及法律、道德的问题较标准版有更优的价值导向。\n\n| 模型名称                  |   类型   | 大小 |                    下载地址                    |                    GGUF                    |\n| :------------------------ | :------: | :----------------------------------------------------------: | :----------------------------------------------------------: | :----------------------------------------------------------: |\n| Chinese-Alpaca-2-7B-RLHF 🆕 | 指令模型 | 12.9 GB | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-7b-rlhf) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-2-7b-rlhf) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F17GJ1y4rpPDuvWlvPaWgnqw?pwd=4feb) | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-7b-rlhf-gguf) |\n| Chinese-Alpaca-2-1.3B-RLHF 🆕 | 指令模型 | 2.4 GB | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-1.3b-rlhf) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-2-1.3b-rlhf) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1cLKJKieNitWbOggUXXaamw?pwd=cprp) | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-1.3b-rlhf-gguf) |\n\n#### AWQ版模型\n\nAWQ（Activation-aware Weight Quantization）是一种高效的模型量化方案，目前可兼容🤗transformers、llama.cpp等主流框架。\n\n本项目模型的AWQ预搜索结果可通过以下链接获取：https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-alpaca-2-awq\n\n- 生成AWQ量化模型（AWQ官方目录）：https:\u002F\u002Fgithub.com\u002Fmit-han-lab\u002Fllm-awq\n- llama.cpp中使用AWQ：https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fllama.cpp\u002Ftree\u002Fmaster\u002Fawq-py\n\n### LoRA模型下载\n\n以下是LoRA模型（含emb\u002Flm-head），与上述完整模型一一对应。需要注意的是**LoRA模型无法直接使用**，必须按照教程与重构模型进行合并。推荐网络带宽不足，手头有原版Llama-2且需要轻量下载的用户。\n\n| 模型名称                  |   类型   |                   合并所需基模型                   | 大小 |                    LoRA下载地址                    |\n| :------------------------ | :------: | :--------------------------------------------------------: | :----------------: | :----------------------------------------------------------: |\n| Chinese-LLaMA-2-LoRA-13B | 基座模型 | [Llama-2-13B-hf](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-2-13b-hf) | 1.5 GB |  [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-2-lora-13b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-llama-2-lora-13b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1PFKTBn54GjAjzWeQISKruw?pwd=we6s) |\n| Chinese-LLaMA-2-LoRA-7B | 基座模型 |        [Llama-2-7B-hf](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-2-7b-hf)        | 1.1 GB |  [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-2-lora-7b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-llama-2-lora-7b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1bmgqdyRh9E3a2uqOGyNqiQ?pwd=7kvq) |\n| Chinese-Alpaca-2-LoRA-13B | 指令模型 | [Llama-2-13B-hf](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-2-13b-hf) | 1.5 GB |  [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-lora-13b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-2-lora-13b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1Y5giIXOUUzI4Na6JOcviVA?pwd=tc2j) |\n| Chinese-Alpaca-2-LoRA-7B | 指令模型 | [Llama-2-7B-hf](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-2-7b-hf) | 1.1 GB |  [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-lora-7b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-2-lora-7b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1g0olPxkB_rlZ9UUVfOnbcw?pwd=5e7w) |\n\n以下是长上下文版模型，**推荐以长文本为主的下游任务使用**，否则建议使用上述标准版。\n\n| 模型名称                  |   类型   |                   合并所需基模型                   | 大小 |                    LoRA下载地址                    |\n| :------------------------ | :------: | :--------------------------------------------------------: | :----------------: | :----------------------------------------------------------: |\n| Chinese-LLaMA-2-LoRA-7B-64K 🆕 | 基座模型 | [Llama-2-7B-hf](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-2-7b-hf) | 1.1 GB | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-2-lora-7b-64k) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-llama-2-lora-7b-64k) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1QjqKNM9Xez5g6koUrbII_w?pwd=94pk) |\n| Chinese-Alpaca-2-LoRA-7B-64K 🆕 | 指令模型 | [Llama-2-7B-hf](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-2-7b-hf) | 1.1 GB | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-lora-7b-64k) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-2-lora-7b-64k) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1t6bPpMlJCrs9Ce7LXs09-w?pwd=37it) |\n| Chinese-LLaMA-2-LoRA-13B-16K | 基座模型 | [Llama-2-13B-hf](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-2-13b-hf) | 1.5 GB |  [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-2-lora-13b-16k) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-llama-2-lora-13b-16k) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1VrfOJmhDnXxrXcdnfX00fA?pwd=4t2j) |\n| Chinese-LLaMA-2-LoRA-7B-16K | 基座模型 |        [Llama-2-7B-hf](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-2-7b-hf)        | 1.1 GB | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-2-lora-7b-16k) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-llama-2-lora-7b-16k) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F14Jnm7QmcDx3XsK_NHZz6Uw?pwd=5b7i) |\n| Chinese-Alpaca-2-LoRA-13B-16K | 指令模型 | [Llama-2-13B-hf](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-2-13b-hf) | 1.5 GB | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-lora-13b-16k) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-2-lora-13b-16k) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1g42_X7Z0QWDyrrDqv2jifQ?pwd=bq7n) |\n| Chinese-Alpaca-2-LoRA-7B-16K | 指令模型 | [Llama-2-7B-hf](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-2-7b-hf) | 1.1 GB |  [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-lora-7b-16k) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-2-lora-7b-16k) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1E7GEZ6stp8EavhkhR06FwA?pwd=ewwy) |\n\n\n> [!IMPORTANT] \n> LoRA模型无法单独使用，必须与原版Llama-2进行合并才能转为完整模型。请通过以下方法对模型进行合并。\n>\n> - [**在线转换**](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki\u002Fonline_conversion_zh)：Colab用户可利用本项目提供的notebook进行在线转换并量化模型\n> - [**手动转换**](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki\u002Fmanual_conversion_zh)：离线方式转换，生成不同格式的模型，以便进行量化或进一步精调\n\n\n## 推理与部署\n\n本项目中的相关模型主要支持以下量化、推理和部署方式，具体内容请参考对应教程。\n\n| 工具   | 特点     | CPU  | GPU  | 量化 | GUI  | API  | vLLM\u003Csup>§\u003C\u002Fsup> |   16K\u003Csup>‡\u003C\u002Fsup>    | 64K\u003Csup>‡\u003C\u002Fsup>    |投机采样 |                      教程                             |\n| :----------------------------------------------------------- | ---------------------------- | :--: | :--: | :--: | :--: | :--: | :--: | :--: | :--: | :--: |:--: |\n| [**llama.cpp**](https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fllama.cpp)      | 丰富的量化选项和高效本地推理 |  ✅   |  ✅   |  ✅   |  ❌   |  ✅   |  ❌   | ✅ |✅   |✅ | [link](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki\u002Fllamacpp_zh) |\n| [**🤗Transformers**](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers) | 原生transformers推理接口     |  ✅   |  ✅   |  ✅   |  ✅   |  ❌   |  ✅  | ✅ | ✅ | ✅ | [link](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki\u002Finference_with_transformers_zh) |\n| [**Colab Demo**](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1yu0eZ3a66by8Zqm883LLtRQrguBAb9MR?usp=sharing) | 在Colab中启动交互界面 | ✅ | ✅ | ✅ | ✅ | ❌ | ✅ | ✅ | ✅ | ✅ | [link](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1yu0eZ3a66by8Zqm883LLtRQrguBAb9MR?usp=sharing) |\n| [**仿OpenAI API调用**](https:\u002F\u002Fplatform.openai.com\u002Fdocs\u002Fapi-reference) | 仿OpenAI API接口的服务器Demo |  ✅   |  ✅   |  ✅   |  ❌   |  ✅   |  ✅  | ✅ | ✅ | ❌ | [link](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki\u002Fapi_calls_zh) |\n| [**text-generation-webui**](https:\u002F\u002Fgithub.com\u002Foobabooga\u002Ftext-generation-webui) | 前端Web UI界面的部署方式 |  ✅   |  ✅   |  ✅   |  ✅   |  ✅\u003Csup>†\u003C\u002Fsup>  | ❌  | ✅ | ❌  | ❌ | [link](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki\u002Ftext-generation-webui_zh) |\n| [**LangChain**](https:\u002F\u002Fgithub.com\u002Fhwchase17\u002Flangchain) | 适合二次开发的大模型应用开源框架 |  ✅\u003Csup>†\u003C\u002Fsup>  |  ✅   |  ✅\u003Csup>†\u003C\u002Fsup>   |  ❌   |  ❌   | ❌  | ✅ | ✅ | ❌ | [link](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki\u002Flangchain_zh) |\n| [**privateGPT**](https:\u002F\u002Fgithub.com\u002Fimartinez\u002FprivateGPT) | 基于LangChain的多文档本地问答框架 | ✅ | ✅ | ✅ | ❌ | ❌ | ❌ | ✅ | ❌  | ❌ | [link](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki\u002Fprivategpt_zh) |\n\n> [!NOTE]\n> \u003Csup>†\u003C\u002Fsup> 工具支持该特性，但教程中未实现，详细说明请参考对应官方文档\u003Cbr\u002F>\n> \u003Csup>‡\u003C\u002Fsup> 指是否支持长上下文版本模型（需要第三方库支持自定义RoPE）\u003Cbr\u002F>\n> \u003Csup>§\u003C\u002Fsup> vLLM后端不支持长上下文版本模型\u003Cbr\u002F>\n\n\n## 系统效果\n\n为了评测相关模型的效果，本项目分别进行了生成效果评测和客观效果评测（NLU类），从不同角度对大模型进行评估。需要注意的是，综合评估大模型能力仍然是亟待解决的重要课题，单个数据集的结果并不能综合评估模型性能。推荐用户在自己关注的任务上进行测试，选择适配相关任务的模型。\n\n### 生成效果评测\n\n为了更加直观地了解模型的生成效果，本项目仿照[Fastchat Chatbot Arena](https:\u002F\u002Fchat.lmsys.org\u002F?arena)推出了模型在线对战平台，可浏览和评测模型回复质量。对战平台提供了胜率、Elo评分等评测指标，并且可以查看两两模型的对战胜率等结果。题库来自于[一期项目人工制作的200题](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Ftree\u002Fmain\u002Fexamples\u002Ff16-p7b-p13b-33b)，以及在此基础上额外增加的题目。生成回复具有随机性，受解码超参、随机种子等因素影响，因此相关评测并非绝对严谨，结果仅供晾晒参考，欢迎自行体验。部分生成样例请查看[examples目录](.\u002Fexamples)。\n\n**⚔️ 模型竞技场：[http:\u002F\u002Fllm-arena.ymcui.com](http:\u002F\u002Fllm-arena.ymcui.com\u002F)**\n\n| 系统                                                         | 对战胜率（无平局） ↓ | Elo评分 |\n| ------------------------------------------------------------ | :------------------: | :-----: |\n| **Chinese-Alpaca-2-13B-16K**                                 |        86.84%        |  1580   |\n| **Chinese-Alpaca-2-13B**                                     |        72.01%        |  1579   |\n| [Chinese-Alpaca-Pro-33B](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca) |        64.87%        |  1548   |\n| **Chinese-Alpaca-2-7B**                                      |        64.11%        |  1572   |\n| [Chinese-Alpaca-Pro-7B](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca) |        62.05%        |  1500   |\n| **Chinese-Alpaca-2-7B-16K**                                  |        61.67%        |  1540   |\n| [Chinese-Alpaca-Pro-13B](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca) |        61.26%        |  1567   |\n| [Chinese-Alpaca-Plus-33B](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca) |        31.29%        |  1401   |\n| [Chinese-Alpaca-Plus-13B](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca) |        23.43%        |  1329   |\n| [Chinese-Alpaca-Plus-7B](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca) |        20.92%        |  1379   |\n\n> [!NOTE]\n> 以上结果截至2023年9月1日。最新结果请进入[**⚔️竞技场**](http:\u002F\u002Fllm-arena.ymcui.com\u002F)进行查看。\n\n\n### 客观效果评测：C-Eval\n\n[C-Eval](https:\u002F\u002Fcevalbenchmark.com)是一个全面的中文基础模型评估套件，其中验证集和测试集分别包含1.3K和12.3K个选择题，涵盖52个学科。实验结果以“zero-shot \u002F 5-shot”进行呈现。C-Eval推理代码请参考本项目：[📖GitHub Wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki\u002Fceval_zh)\n\n| LLaMA Models            |    Valid    |    Test     | Alpaca Models            |    Valid    |    Test     |\n| ----------------------- | :---------: | :---------: | ------------------------ | :---------: | :---------: |\n| **Chinese-LLaMA-2-13B** | 40.6 \u002F 42.7 | 38.0 \u002F 41.6 | **Chinese-Alpaca-2-13B** | 44.3 \u002F 45.9 | 42.6 \u002F 44.0 |\n| **Chinese-LLaMA-2-7B**  | 28.2 \u002F 36.0 | 30.3 \u002F 34.2 | **Chinese-Alpaca-2-7B**  | 41.3 \u002F 42.9 | 40.3 \u002F 39.5 |\n| Chinese-LLaMA-Plus-33B  | 37.4 \u002F 40.0 | 35.7 \u002F 38.3 | Chinese-Alpaca-Plus-33B  | 46.5 \u002F 46.3 | 44.9 \u002F 43.5 |\n| Chinese-LLaMA-Plus-13B  | 27.3 \u002F 34.0 | 27.8 \u002F 33.3 | Chinese-Alpaca-Plus-13B  | 43.3 \u002F 42.4 | 41.5 \u002F 39.9 |\n| Chinese-LLaMA-Plus-7B   | 27.3 \u002F 28.3 | 26.9 \u002F 28.4 | Chinese-Alpaca-Plus-7B   | 36.7 \u002F 32.9 | 36.4 \u002F 32.3 |\n\n### 客观效果评测：CMMLU\n\n[CMMLU](https:\u002F\u002Fgithub.com\u002Fhaonan-li\u002FCMMLU)是另一个综合性中文评测数据集，专门用于评估语言模型在中文语境下的知识和推理能力，涵盖了从基础学科到高级专业水平的67个主题，共计11.5K个选择题。CMMLU推理代码请参考本项目：[📖GitHub Wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki\u002Fcmmlu_zh)\n\n| LLaMA Models            | Test (0\u002Ffew-shot) | Alpaca Models            | Test (0\u002Ffew-shot) |\n| ----------------------- | :---------------: | ------------------------ | :---------------: |\n| **Chinese-LLaMA-2-13B** |    38.9 \u002F 42.5    | **Chinese-Alpaca-2-13B** |    43.2 \u002F 45.5    |\n| **Chinese-LLaMA-2-7B**  |    27.9 \u002F 34.1    | **Chinese-Alpaca-2-7B**  |    40.0 \u002F 41.8    |\n| Chinese-LLaMA-Plus-33B  |    35.2 \u002F 38.8    | Chinese-Alpaca-Plus-33B  |    46.6 \u002F 45.3    |\n| Chinese-LLaMA-Plus-13B  |    29.6 \u002F 34.0    | Chinese-Alpaca-Plus-13B  |    40.6 \u002F 39.9    |\n| Chinese-LLaMA-Plus-7B   |    25.4 \u002F 26.3    | Chinese-Alpaca-Plus-7B   |    36.8 \u002F 32.6    |\n\n### 长上下文版模型评测\n\n[LongBench](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FLongBench)是一个大模型长文本理解能力的评测基准，由6大类、20个不同的任务组成，多数任务的平均长度在5K-15K之间，共包含约4.75K条测试数据。以下是本项目长上下文版模型在该中文任务（含代码任务）上的评测效果。LongBench推理代码请参考本项目：[📖GitHub Wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki\u002Flongbench_zh)\n\n| Models                       | 单文档QA | 多文档QA | 摘要 | Few-shot学习 | 代码补全 | 合成任务 | Avg  |\n| ---------------------------- | :------: | :------: | :--: | :----------: | :------: | :------: | :--: |\n| **Chinese-Alpaca-2-7B-64K** | 44.7  |  28.1 | 14.4 |  39.0   |  44.6  |   5.0  | 29.3|\n| **Chinese-LLaMA-2-7B-64K** | 27.2  |  16.4 | 6.5 |  33.0   |  7.8  |   5.0  | 16.0|\n| **Chinese-Alpaca-2-13B-16K** |   47.9  |   26.7 | 13.0 |     22.3    |   46.6   |   21.5   | 29.7 |\n| Chinese-Alpaca-2-13B         |   38.4   |   20.0   | 11.9 |     17.3    |   46.5   |   8.0    | 23.7 |\n| **Chinese-Alpaca-2-7B-16K**  |   46.4  |   23.3  | 14.3 |     29.0     |   49.6   |   9.0    | 28.6 |\n| Chinese-Alpaca-2-7B          |   34.0   |   17.4   | 11.8 |     21.3    |   50.3  |   4.5    | 23.2 |\n| **Chinese-LLaMA-2-13B-16K**  |   36.7   |   17.7  | 3.1 |     29.8     |   13.8   |   3.0    | 17.3 |\n| Chinese-LLaMA-2-13B          |   28.3   |   14.4   | 4.6 |     16.3     |   10.4   |   5.4    | 13.2 |\n| **Chinese-LLaMA-2-7B-16K**   |   33.2   |   15.9   | 6.5 |     23.5     |   10.3    |   5.3    | 15.8|\n| Chinese-LLaMA-2-7B           |   19.0   |   13.9   | 6.4  |     11.0    |   11.0   |   4.7    | 11.0 |\n\n### 量化效果评测\n\n以Chinese-LLaMA-2-7B为例，对比不同精度下的模型大小、PPL（困惑度）、C-Eval效果，方便用户了解量化精度损失。PPL以4K上下文大小计算，C-Eval汇报的是valid集合上zero-shot和5-shot结果。\n\n| 精度      | 模型大小 |  PPL   |   C-Eval    |\n| :-------- | :------: | :----: | :---------: |\n| FP16      | 12.9 GB  | 9.373  | 28.2 \u002F 36.0 |\n| 8-bit量化 |  6.8 GB  | 9.476  | 26.8 \u002F 35.4 |\n| 4-bit量化 |  3.7 GB  | 10.132 | 25.5 \u002F 32.8 |\n\n特别地，以下是在llama.cpp下不同量化方法的评测数据，供用户参考，速度以ms\u002Ftok计，测试设备为M1 Max。具体细节见[📖GitHub Wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki\u002Fllamacpp_zh#关于量化方法选择及推理速度)\n\n| llama.cpp |    F16 |   Q2_K |  Q3_K |  Q4_0 |  Q4_1 |  Q4_K |  Q5_0 |  Q5_1 |  Q5_K |  Q6_K |  Q8_0 |\n| --------- | -----: | -----: | ----: | ----: | ----: | ----: | ----: | ----: | ----: | ----: | ----: |\n| PPL       |  9.128 | 11.107 | 9.576 | 9.476 | 9.576 | 9.240 | 9.156 | 9.213 | 9.168 | 9.133 | 9.129 |\n| Size      | 12.91G |  2.41G | 3.18G | 3.69G | 4.08G | 3.92G | 4.47G | 4.86G | 4.59G | 5.30G | 6.81G |\n| CPU Speed |    117 |     42 |    51 |    39 |    44 |    43 |    48 |    51 |    50 |    54 |    65 |\n| GPU Speed |     53 |     19 |    21 |    17 |    18 |    20 |     x |     x |    25 |    26 |     x |\n\n### 投机采样加速效果评测\n\n通过投机采样方法并借助Chinese-LLaMA-2-1.3B和Chinese-Alpaca-2-1.3B，可以分别加速7B、13B的LLaMA和Alpaca模型的推理速度。以下是使用[投机采样脚本](scripts\u002Finference\u002Fspeculative_sample.py)在1*A40-48G上解码[生成效果评测](#生成效果评测)中的问题测得的平均速度（速度以ms\u002Ftoken计，模型均为fp16精度），供用户参考。详细说明见[📖GitHub Wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki\u002Finference_with_transformers_zh#投机采样解码)。\n\n| 草稿模型 | 草稿模型速度 | 目标模型 | 目标模型速度 | 投机采样速度（加速比） |\n| :---------- |  :-----------------: | :----------- |  :-----------------: | :--------: |\n| Chinese-LLaMA-2-1.3B |  7.6 | Chinese-LLaMA-2-7B |  49.3 | 36.0（1.37x） |\n| Chinese-LLaMA-2-1.3B |  7.6 | Chinese-LLaMA-2-13B |  66.0 | 47.1（1.40x） |\n| Chinese-Alpaca-2-1.3B |  8.1 | Chinese-Alpaca-2-7B |  50.2 | 34.9（1.44x） |\n| Chinese-Alpaca-2-1.3B |  8.2 | Chinese-Alpaca-2-13B |  67.0 | 41.6（1.61x） |\n\n### 人类偏好对齐（RLHF）版本评测\n\n#### 对齐水平\n为评估中文模型与人类价值偏好对齐程度，我们自行构建了评测数据集，覆盖了道德、色情、毒品、暴力等人类价值偏好重点关注的多个方面。实验结果以价值体现正确率进行呈现（体现正确价值观题目数 \u002F 总题数）。\n\n| Alpaca Models            | Accuracy |  Alpaca Models            | Accuracy |\n| ------------------------ | :---------------: |------------------------ | :---------------: |\n| Chinese-Alpaca-2-1.3B |   79.3%    | Chinese-Alpaca-2-7B  |    88.3%    |\n| **Chinese-Alpaca-2-1.3B-RLHF** |    95.8%    | **Chinese-Alpaca-2-7B-RLHF** |    97.5%    |\n\n\n#### 客观效果评测：C-Eval & CMMLU\n| Alpaca Models            | C-Eval (0\u002Ffew-shot) | CMMLU (0\u002Ffew-shot) |\n| ------------------------ | :---------------: | :---------------: |\n| Chinese-Alpaca-2-1.3B |    23.8 \u002F 26.8    |    24.8 \u002F 25.1    |\n| Chinese-Alpaca-2-7B  |    42.1 \u002F 41.0    |    40.0 \u002F 41.8    |\n| **Chinese-Alpaca-2-1.3B-RLHF** |    23.6 \u002F 27.1    |    24.9 \u002F 25.0    |\n| **Chinese-Alpaca-2-7B-RLHF** |    40.6 \u002F 41.2    |    39.5 \u002F 41.0    |\n\n\n\n## 训练与精调\n\n### 预训练\n\n- 在原版Llama-2的基础上，利用大规模无标注数据进行增量训练，得到Chinese-LLaMA-2系列基座模型\n- 训练数据采用了一期项目中Plus版本模型一致的数据，其总量约120G纯文本文件\n- 训练代码参考了🤗transformers中的[run_clm.py](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers\u002Fblob\u002Fmain\u002Fexamples\u002Fpytorch\u002Flanguage-modeling\u002Frun_clm.py)，使用方法见[📖预训练脚本Wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki\u002Fpt_scripts_zh)\n\n### 指令精调\n\n- 在Chinese-LLaMA-2的基础上，利用有标注指令数据进行进一步精调，得到Chinese-Alpaca-2系列模型\n- 训练数据采用了一期项目中Pro版本模型使用的指令数据，其总量约500万条指令数据（相比一期略增加）\n- 训练代码参考了[Stanford Alpaca](https:\u002F\u002Fgithub.com\u002Ftatsu-lab\u002Fstanford_alpaca)项目中数据集处理的相关部分，使用方法见[📖指令精调脚本Wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki\u002Fsft_scripts_zh)\n\n### RLHF精调\n\n- 在Chinese-Alpaca-2系列模型基础上，利用偏好数据和PPO算法进行人类偏好对齐精调，得到Chinese-Alpaca-2-RLHF系列模型\n- 训练数据基于多个开源项目中的人类偏好数据和本项目指令精调数据进行采样，奖励模型阶段、强化学习阶段分别约69.5K、25.6K条样本\n- 训练代码基于[DeepSpeed-Chat](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FDeepSpeedExamples\u002Ftree\u002Fmaster\u002Fapplications\u002FDeepSpeed-Chat)开发，具体流程见[📖奖励模型Wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki\u002Frm_zh)和[📖强化学习Wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki\u002Frl_zh)\n\n## 常见问题\n\n请在提Issue前务必先查看FAQ中是否已存在解决方案。具体问题和解答请参考本项目 [📖GitHub Wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki\u002Ffaq_zh)\n\n```\n问题1：本项目和一期项目的区别？\n问题2：模型能否商用？\n问题3：接受第三方Pull Request吗？\n问题4：为什么不对模型做全量预训练而是用LoRA？\n问题5：二代模型支不支持某些支持一代LLaMA的工具？\n问题6：Chinese-Alpaca-2是Llama-2-Chat训练得到的吗？\n问题7：为什么24G显存微调Chinese-Alpaca-2-7B会OOM？\n问题8：可以使用16K长上下文版模型替代标准版模型吗？\n问题9：如何解读第三方公开榜单的结果？\n问题10：会出34B或者70B级别的模型吗？\n问题11：为什么长上下文版模型是16K，不是32K或者100K？\n问题12：为什么Alpaca模型会回复说自己是ChatGPT？\n问题13：为什么pt_lora_model或者sft_lora_model下的adapter_model.bin只有几百k？\n```\n\n\n## 引用\n\n如果您使用了本项目的相关资源，请参考引用本项目的技术报告：https:\u002F\u002Farxiv.org\u002Fabs\u002F2304.08177\n```\n@article{Chinese-LLaMA-Alpaca,\n    title={Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca},\n    author={Cui, Yiming and Yang, Ziqing and Yao, Xin},\n    journal={arXiv preprint arXiv:2304.08177},\n    url={https:\u002F\u002Farxiv.org\u002Fabs\u002F2304.08177},\n    year={2023}\n}\n```\n\n\n## 致谢\n\n本项目主要基于以下开源项目二次开发，在此对相关项目和研究开发人员表示感谢。\n\n- [Llama-2 *by Meta*](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fllama)\n- [llama.cpp *by @ggerganov*](https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fllama.cpp)\n- [FlashAttention-2 by *Dao-AILab*](https:\u002F\u002Fgithub.com\u002FDao-AILab\u002Fflash-attention)\n\n同时感谢Chinese-LLaMA-Alpaca（一期项目）的contributor以及[关联项目和人员](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca#致谢)。\n\n\n## 免责声明\n\n本项目基于由Meta发布的Llama-2模型进行开发，使用过程中请严格遵守Llama-2的开源许可协议。如果涉及使用第三方代码，请务必遵从相关的开源许可协议。模型生成的内容可能会因为计算方法、随机因素以及量化精度损失等影响其准确性，因此，本项目不对模型输出的准确性提供任何保证，也不会对任何因使用相关资源和输出结果产生的损失承担责任。如果将本项目的相关模型用于商业用途，开发者应遵守当地的法律法规，确保模型输出内容的合规性，本项目不对任何由此衍生的产品或服务承担责任。\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>局限性声明\u003C\u002Fb>\u003C\u002Fsummary>\n\n虽然本项目中的模型具备一定的中文理解和生成能力，但也存在局限性，包括但不限于：\n\n- 可能会产生不可预测的有害内容以及不符合人类偏好和价值观的内容\n- 由于算力和数据问题，相关模型的训练并不充分，中文理解能力有待进一步提升\n- 暂时没有在线可互动的demo（注：用户仍然可以自行在本地部署和体验）\n\n\u003C\u002Fdetails>\n\n\n## 问题反馈\n如有疑问，请在GitHub Issue中提交。礼貌地提出问题，构建和谐的讨论社区。\n\n- 在提交问题之前，请先查看FAQ能否解决问题，同时建议查阅以往的issue是否能解决你的问题。\n- 提交问题请使用本项目设置的Issue模板，以帮助快速定位具体问题。\n- 重复以及与本项目无关的issue会被[stable-bot](https:\u002F\u002Fgithub.com\u002Fmarketplace\u002Fstale)处理，敬请谅解。\n","# [Chinese-LLaMA-Alpaca-3](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-3)项目启动！\n\n[**🇨🇳中文**](.\u002FREADME.md) | [**🌐English**](.\u002FREADME_EN.md) | [**📖文档\u002FDocs**](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki) | [**❓提问\u002FIssues**](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fissues) | [**💬讨论\u002FDiscussions**](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fdiscussions) | [**⚔️竞技场\u002FArena**](http:\u002F\u002Fllm-arena.ymcui.com\u002F)\n\n\u003Cp align=\"center\">\n    \u003Cbr>\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fymcui_Chinese-LLaMA-Alpaca-2_readme_fba27ffee1b2.png\" width=\"800\"\u002F>\n    \u003Cbr>\n\u003C\u002Fp>\n\u003Cp align=\"center\">\n    \u003Cimg alt=\"GitHub\" src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Flicense\u002Fymcui\u002FChinese-LLaMA-Alpaca-2.svg?color=blue&style=flat-square\">\n    \u003Cimg alt=\"GitHub release (latest by date)\" src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fv\u002Frelease\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\">\n    \u003Cimg alt=\"GitHub top language\" src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Flanguages\u002Ftop\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\">\n    \u003Ca href=\"https:\u002F\u002Fapp.codacy.com\u002Fgh\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fdashboard?utm_source=gh&utm_medium=referral&utm_content=&utm_campaign=Badge_grade\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fymcui_Chinese-LLaMA-Alpaca-2_readme_adaaa9495e23.png\"\u002F>\u003C\u002Fa>\n\u003C\u002Fp>\n\n\n本项目基于Meta发布的可商用大模型[Llama-2](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fllama)开发，是[中文LLaMA&Alpaca大模型](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca)的第二期项目，开源了**中文LLaMA-2基座模型和Alpaca-2指令精调大模型**。这些模型**在原版Llama-2的基础上扩充并优化了中文词表**，使用了大规模中文数据进行增量预训练，进一步提升了中文基础语义和指令理解能力，相比一代相关模型获得了显著性能提升。相关模型**支持FlashAttention-2训练**。标准版模型支持4K上下文长度，**长上下文版模型支持16K、64k上下文长度**。**RLHF系列模型**为标准版模型基础上进行人类偏好对齐精调，相比标准版模型在**正确价值观体现**方面获得了显著性能提升。\n\n#### 本项目主要内容\n\n- 🚀 针对Llama-2模型扩充了**新版中文词表**，开源了中文LLaMA-2和Alpaca-2大模型\n- 🚀 开源了预训练脚本、指令精调脚本，用户可根据需要进一步训练模型\n- 🚀 使用个人电脑的CPU\u002FGPU快速在本地进行大模型量化和部署体验\n- 🚀 支持[🤗transformers](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers), [llama.cpp](https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fllama.cpp), [text-generation-webui](https:\u002F\u002Fgithub.com\u002Foobabooga\u002Ftext-generation-webui), [LangChain](https:\u002F\u002Fgithub.com\u002Fhwchase17\u002Flangchain), [privateGPT](https:\u002F\u002Fgithub.com\u002Fimartinez\u002FprivateGPT), [vLLM](https:\u002F\u002Fgithub.com\u002Fvllm-project\u002Fvllm)等LLaMA生态\n\n#### 已开源的模型\n\n\n- 基座模型（4K上下文）：Chinese-LLaMA-2 (1.3B, 7B, 13B)\n- 聊天模型（4K上下文）：Chinese-Alpaca-2 (1.3B, 7B, 13B)\n- 长上下文模型（16K\u002F64K）：\n  - Chinese-LLaMA-2-16K (7B, 13B) 、Chinese-Alpaca-2-16K (7B, 13B) \n  - Chinese-LLaMA-2-64K (7B)、Chinese-Alpaca-2-64K (7B)\n- 偏好对齐模型：Chinese-Alpaca-2-RLHF (1.3B, 7B)\n\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fymcui_Chinese-LLaMA-Alpaca-2_readme_f8eb4295abc3.gif)\n\n----\n\n[中文LLaMA&Alpaca大模型](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca) | [多模态中文LLaMA&Alpaca大模型](https:\u002F\u002Fgithub.com\u002Fairaria\u002FVisual-Chinese-LLaMA-Alpaca) | [多模态VLE](https:\u002F\u002Fgithub.com\u002Fiflytek\u002FVLE) | [中文MiniRBT](https:\u002F\u002Fgithub.com\u002Fiflytek\u002FMiniRBT) | [中文LERT](https:\u002F\u002Fgithub.com\u002Fymcui\u002FLERT) | [中英文PERT](https:\u002F\u002Fgithub.com\u002Fymcui\u002FPERT) | [中文MacBERT](https:\u002F\u002Fgithub.com\u002Fymcui\u002FMacBERT) | [中文ELECTRA](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-ELECTRA) | [中文XLNet](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-XLNet) | [中文BERT](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-BERT-wwm) | [知识蒸馏工具TextBrewer](https:\u002F\u002Fgithub.com\u002Fairaria\u002FTextBrewer) | [模型裁剪工具TextPruner](https:\u002F\u002Fgithub.com\u002Fairaria\u002FTextPruner) | [蒸馏裁剪一体化GRAIN](https:\u002F\u002Fgithub.com\u002Fairaria\u002FGRAIN)\n\n\n## 新闻\n\n**[2024\u002F04\u002F30] Chinese-LLaMA-Alpaca-3 已正式发布，开源基于Llama-3的Llama-3-Chinese-8B和Llama-3-Chinese-8B-Instruct，推荐所有一期、二期项目用户升级至三代模型，请参阅：https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-3**\n\n[2024\u002F03\u002F27] 本项目已入驻机器之心SOTA!模型平台，欢迎关注：https:\u002F\u002Fsota.jiqizhixin.com\u002Fproject\u002Fchinese-llama-alpaca-2\n\n[2024\u002F01\u002F23] 添加新版GGUF模型（imatrix量化）、AWQ量化模型，支持vLLM下加载YaRN长上下文模型。详情查看[📚 v4.1版本发布日志](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Freleases\u002Ftag\u002Fv4.1)\n\n[2023\u002F12\u002F29] 发布长上下文模型Chinese-LLaMA-2-7B-64K和Chinese-Alpaca-2-7B-64K，同时发布经过人类偏好对齐（RLHF）的Chinese-Alpaca-2-RLHF（1.3B\u002F7B）。详情查看[📚 v4.0版本发布日志](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Freleases\u002Ftag\u002Fv4.0)\n\n[2023\u002F09\u002F01] 发布长上下文模型Chinese-Alpaca-2-7B-16K和Chinese-Alpaca-2-13B-16K，该模型可直接应用于下游任务，例如privateGPT等。详情查看[📚 v3.1版本发布日志](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Freleases\u002Ftag\u002Fv3.1)\n\n[2023\u002F08\u002F25] 发布长上下文模型Chinese-LLaMA-2-7B-16K和Chinese-LLaMA-2-13B-16K，支持16K上下文，并可通过NTK方法进一步扩展至24K+。详情查看[📚 v3.0版本发布日志](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Freleases\u002Ftag\u002Fv3.0)\n\n[2023\u002F08\u002F14] 发布Chinese-LLaMA-2-13B和Chinese-Alpaca-2-13B，添加text-generation-webui\u002FLangChain\u002FprivateGPT支持，添加CFG Sampling解码方法等。详情查看[📚 v2.0版本发布日志](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Freleases\u002Ftag\u002Fv2.0)\n\n[2023\u002F08\u002F02] 添加FlashAttention-2训练支持，基于vLLM的推理加速支持，提供长回复系统提示语模板等。详情查看[📚 v1.1版本发布日志](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Freleases\u002Ftag\u002Fv1.1)\n\n[2023\u002F07\u002F31] 正式发布Chinese-LLaMA-2-7B（基座模型），使用120G中文语料增量训练（与一代Plus系列相同）；进一步通过5M条指令数据精调（相比一代略微增加），得到Chinese-Alpaca-2-7B（指令\u002Fchat模型）。详情查看[📚 v1.0版本发布日志](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Freleases\u002Ftag\u002Fv1.0)\n\n[2023\u002F07\u002F19] 🚀启动[中文LLaMA-2、Alpaca-2开源大模型项目](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2)\n\n\n## 内容导引\n| 章节                                  | 描述                                                         |\n| ------------------------------------- | ------------------------------------------------------------ |\n| [💁🏻‍♂️模型简介](#模型简介) | 简要介绍本项目相关模型的技术特点 |\n| [⏬模型下载](#模型下载)        | 中文LLaMA-2、Alpaca-2大模型下载地址          |\n| [💻推理与部署](#推理与部署) | 介绍了如何对模型进行量化并使用个人电脑部署并体验大模型 |\n| [💯系统效果](#系统效果) | 介绍了模型在部分任务上的效果    |\n| [📝训练与精调](#训练与精调) | 介绍了如何训练和精调中文LLaMA-2、Alpaca-2大模型 |\n| [❓常见问题](#常见问题) | 一些常见问题的回复 |\n\n\n## 模型简介\n\n本项目推出了基于Llama-2的中文LLaMA-2以及Alpaca-2系列模型，相比[一期项目](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca)其主要特点如下：\n\n#### 📖 经过优化的中文词表\n\n- 在[一期项目](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca)中，我们针对一代LLaMA模型的32K词表扩展了中文字词（LLaMA：49953，Alpaca：49954）\n- 在本项目中，我们**重新设计了新词表**（大小：55296），进一步提升了中文字词的覆盖程度，同时统一了LLaMA\u002FAlpaca的词表，避免了因混用词表带来的问题，以期进一步提升模型对中文文本的编解码效率\n\n#### ⚡ 基于FlashAttention-2的高效注意力\n\n- [FlashAttention-2](https:\u002F\u002Fgithub.com\u002FDao-AILab\u002Fflash-attention)是高效注意力机制的一种实现，相比其一代技术具有**更快的速度和更优化的显存占用**\n- 当上下文长度更长时，为了避免显存爆炸式的增长，使用此类高效注意力技术尤为重要\n- 本项目的所有模型均使用了FlashAttention-2技术进行训练\n\n#### 🚄 基于PI和YaRN的超长上下文扩展技术\n\n- 在[一期项目](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca)中，我们实现了[基于NTK的上下文扩展技术](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fpull\u002F743)，可在不继续训练模型的情况下支持更长的上下文\n- 基于[位置插值PI](https:\u002F\u002Farxiv.org\u002Fabs\u002F2306.15595)和NTK等方法推出了16K长上下文版模型，支持16K上下文，并可通过NTK方法最高扩展至24K-32K\n- 基于[YaRN](https:\u002F\u002Farxiv.org\u002Fabs\u002F2309.00071)方法进一步推出了64K长上下文版模型，支持64K上下文\n- 进一步设计了**方便的自适应经验公式**，无需针对不同的上下文长度设置NTK超参，降低了使用难度\n\n#### 🤖 简化的中英双语系统提示语\n\n- 在[一期项目](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca)中，中文Alpaca系列模型使用了[Stanford Alpaca](https:\u002F\u002Fgithub.com\u002Ftatsu-lab\u002Fstanford_alpaca)的指令模板和系统提示语\n- 初步实验发现，Llama-2-Chat系列模型的默认系统提示语未能带来统计显著的性能提升，且其内容过于冗长\n- 本项目中的Alpaca-2系列模型简化了系统提示语，同时遵循Llama-2-Chat指令模板，以便更好地适配相关生态\n\n#### 👮 人类偏好对齐\n\n- 在[一期项目](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca)中，中文Alpaca系列模型仅完成预训练和指令精调，获得了基本的对话能力\n- 通过基于人类反馈的强化学习（RLHF）实验，发现可显著提升模型传递正确价值观的能力\n- 本项目推出了Alpaca-2-RLHF系列模型，使用方式与SFT模型一致\n\n\n\n下图展示了本项目以及[一期项目](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca)推出的所有大模型之间的关系。\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fymcui_Chinese-LLaMA-Alpaca-2_readme_c1ac37031b2b.png)\n\n## 模型下载\n\n### 模型选择指引\n\n以下是中文LLaMA-2和Alpaca-2模型的对比以及建议使用场景。**如需聊天交互，请选择Alpaca而不是LLaMA。**\n\n| 对比项                | 中文LLaMA-2                                            | 中文Alpaca-2                                                 |\n| :-------------------- | :----------------------------------------------------: | :----------------------------------------------------------: |\n| 模型类型 | **基座模型** | **指令\u002FChat模型（类ChatGPT）** |\n| 已开源大小 | 1.3B、7B、13B | 1.3B、7B、13B |\n| 训练类型     | Causal-LM (CLM)           | 指令精调                                                     |\n| 训练方式 | 7B、13B：LoRA + 全量emb\u002Flm-head\u003Cbr\u002F>1.3B：全量 | 7B、13B：LoRA + 全量emb\u002Flm-head\u003Cbr\u002F>1.3B：全量 |\n| 基于什么模型训练 | [原版Llama-2](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fllama)（非chat版） | 中文LLaMA-2 |\n| 训练语料 | 无标注通用语料（120G纯文本） | 有标注指令数据（500万条） |\n| 词表大小\u003Csup>[1]\u003C\u002Fsup> | 55,296 | 55,296 |\n| 上下文长度\u003Csup>[2]\u003C\u002Fsup> | 标准版：4K（12K-18K）\u003Cbr\u002F>长上下文版（PI）：16K（24K-32K）\u003Cbr\u002F>长上下文版（YaRN）：64K | 标准版：4K（12K-18K）\u003Cbr\u002F>长上下文版（PI）：16K（24K-32K）\u003Cbr\u002F>长上下文版（YaRN）：64K |\n| 输入模板              | 不需要                                                 | 需要套用特定模板\u003Csup>[3]\u003C\u002Fsup>，类似Llama-2-Chat |\n| 适用场景            | 文本续写：给定上文，让模型生成下文            | 指令理解：问答、写作、聊天、交互等 |\n| 不适用场景          | 指令理解 、多轮聊天等                                  |  文本无限制自由生成                                                       |\n| 偏好对齐          | 无                                  |  RLHF版本（1.3B、7B）                                          |\n\n> [!NOTE]\n> [1] *本项目一代模型和二代模型的词表不同，请勿混用。二代LLaMA和Alpaca的词表相同。*\u003C\u002Fbr>\n> [2] *括号内表示基于NTK上下文扩展支持的最大长度。*\u003C\u002Fbr>\n> [3] *Alpaca-2采用了Llama-2-chat系列模板（格式相同，提示语不同），而不是一代Alpaca的模板，请勿混用。*\u003C\u002Fbr>\n> [4] *不建议单独使用1.3B模型，而是通过投机采样搭配更大的模型（7B、13B）使用。*\u003C\u002Fbr>\n\n### 完整模型下载\n\n以下是完整版模型，直接下载即可使用，无需其他合并步骤。推荐网络带宽充足的用户。\n\n| 模型名称                  |   类型   | 大小 |                    下载地址                    |                    GGUF                    |\n| :------------------------ | :------: | :----------------------------------------------------------: | :----------------------------------------------------------: | :----------------------------------------------------------: |\n| Chinese-LLaMA-2-13B | 基座模型 | 24.7 GB |  [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-2-13b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-llama-2-13b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1T3RqEUSmyg6ZuBwMhwSmoQ?pwd=e9qy) | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-2-13b-gguf) |\n| Chinese-LLaMA-2-7B | 基座模型 | 12.9 GB | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-2-7b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-llama-2-7b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1E5NI3nlQpx1j8z3eIzbIlg?pwd=n8k3) | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-2-7b-gguf) |\n| Chinese-LLaMA-2-1.3B | 基座模型 | 2.4 GB | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-2-1.3b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-llama-2-1.3b)[[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1hEuOCllnJJ5NMEZJf8OkRw?pwd=nwjg) | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-2-1.3b-gguf) |\n| Chinese-Alpaca-2-13B | 指令模型 | 24.7 GB | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-13b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-2-13b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1MT_Zlap1OtdYMgoBNTS3dg?pwd=9xja) | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-13b-gguf) |\n| Chinese-Alpaca-2-7B | 指令模型 | 12.9 GB | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-7b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-2-7b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1wxx-CdgbMupXVRBcaN4Slw?pwd=kpn9) | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-7b-gguf) |\n| Chinese-Alpaca-2-1.3B | 指令模型 | 2.4 GB | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-1.3b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-2-1.3b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1PD7Ng-ltOIdUGHNorveptA?pwd=ar1p) | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-1.3b-gguf) |\n\n#### 长上下文版模型\n\n以下是长上下文版模型，**推荐以长文本为主的下游任务使用**，否则建议使用上述标准版。\n\n| 模型名称                  |   类型   |  大小   |                           下载地址                           |                             GGUF                             |\n| :------------------------ | :------: | :-----: | :----------------------------------------------------------: | :----------------------------------------------------------: |\n| Chinese-LLaMA-2-7B-64K 🆕  | 基座模型 | 12.9 GB | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-2-7b-64k) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-llama-2-7b-64k) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1ShDQ2FG2QUJrvfnxCn4hwQ?pwd=xe5k) | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-2-7b-64k-gguf) |\n| Chinese-Alpaca-2-7B-64K 🆕 | 指令模型 | 12.9 GB | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-7b-64k) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-2-7b-64k) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1KBAr9PCGvX2oQkYfCuLEjw?pwd=sgp6) | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-7b-64k-gguf) |\n| Chinese-LLaMA-2-13B-16K   | 基座模型 | 24.7 GB | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-2-13b-16k) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-llama-2-13b-16k) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1XWrh3Ru9x4UI4-XmocVT2w?pwd=f7ik) | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-2-13b-16k-gguf) |\n| Chinese-LLaMA-2-7B-16K    | 基座模型 | 12.9 GB | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-2-7b-16k) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-llama-2-7b-16k)  [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1ZH7T7KU_up61ugarSIXw2g?pwd=pquq) | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-2-7b-16k-gguf) |\n| Chinese-Alpaca-2-13B-16K  | 指令模型 | 24.7 GB | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-13b-16k) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-2-13b-16k) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1gIzRM1eg-Xx1xV-3nXW27A?pwd=qi7c) | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-13b-16k-gguf) |\n| Chinese-Alpaca-2-7B-16K   | 指令模型 | 12.9 GB | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-7b-16k) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-2-7b-16k) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1Qk3U1LyvMb1RSr5AbiatPw?pwd=bfis) | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-7b-16k-gguf) |\n\n#### RLHF版模型\n\n以下是人类偏好对齐版模型，对涉及法律、道德的问题较标准版有更优的价值导向。\n\n| 模型名称                  |   类型   | 大小 |                    下载地址                    |                    GGUF                    |\n| :------------------------ | :------: | :----------------------------------------------------------: | :----------------------------------------------------------: | :----------------------------------------------------------: |\n| Chinese-Alpaca-2-7B-RLHF 🆕 | 指令模型 | 12.9 GB | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-7b-rlhf) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-2-7b-rlhf) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F17GJ1y4rpPDuvWlvPaWgnqw?pwd=4feb) | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-7b-rlhf-gguf) |\n| Chinese-Alpaca-2-1.3B-RLHF 🆕 | 指令模型 | 2.4 GB | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-1.3b-rlhf) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-2-1.3b-rlhf) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1cLKJKieNitWbOggUXXaamw?pwd=cprp) | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-1.3b-rlhf-gguf) |\n\n#### AWQ版模型\n\nAWQ（Activation-aware Weight Quantization）是一种高效的模型量化方案，目前可兼容🤗transformers、llama.cpp等主流框架。\n\n本项目模型的AWQ预搜索结果可通过以下链接获取：https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-alpaca-2-awq\n\n- 生成AWQ量化模型（AWQ官方目录）：https:\u002F\u002Fgithub.com\u002Fmit-han-lab\u002Fllm-awq\n- llama.cpp中使用AWQ：https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fllama.cpp\u002Ftree\u002Fmaster\u002Fawq-py\n\n### LoRA模型下载\n\n以下是LoRA模型（含emb\u002Flm-head），与上述完整模型一一对应。需要注意的是**LoRA模型无法直接使用**，必须按照教程与重构模型进行合并。推荐网络带宽不足，手头有原版Llama-2且需要轻量下载的用户。\n\n| 模型名称                  |   类型   |                   合并所需基模型                   | 大小 |                    LoRA下载地址                    |\n| :------------------------ | :------: | :--------------------------------------------------------: | :----------------: | :----------------------------------------------------------: |\n| Chinese-LLaMA-2-LoRA-13B | 基座模型 | [Llama-2-13B-hf](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-2-13b-hf) | 1.5 GB |  [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-2-lora-13b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-llama-2-lora-13b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1PFKTBn54GjAjzWeQISKruw?pwd=we6s) |\n| Chinese-LLaMA-2-LoRA-7B | 基座模型 |        [Llama-2-7B-hf](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-2-7b-hf)        | 1.1 GB |  [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-2-lora-7b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-llama-2-lora-7b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1bmgqdyRh9E3a2uqOGyNqiQ?pwd=7kvq) |\n| Chinese-Alpaca-2-LoRA-13B | 指令模型 | [Llama-2-13B-hf](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-2-13b-hf) | 1.5 GB |  [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-lora-13b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-2-lora-13b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1Y5giIXOUUzI4Na6JOcviVA?pwd=tc2j) |\n| Chinese-Alpaca-2-LoRA-7B | 指令模型 | [Llama-2-7B-hf](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-2-7b-hf) | 1.1 GB |  [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-lora-7b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-2-lora-7b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1g0olPxkB_rlZ9UUVfOnbcw?pwd=5e7w) |\n\n以下是长上下文版模型，**推荐以长文本为主的下游任务使用**，否则建议使用上述标准版。\n\n| 模型名称                  |   类型   |                   合并所需基模型                   | 大小 |                    LoRA下载地址                    |\n| :------------------------ | :------: | :--------------------------------------------------------: | :----------------: | :----------------------------------------------------------: |\n| Chinese-LLaMA-2-LoRA-7B-64K 🆕 | 基座模型 | [Llama-2-7B-hf](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-2-7b-hf) | 1.1 GB | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-2-lora-7b-64k) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-llama-2-lora-7b-64k) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1QjqKNM9Xez5g6koUrbII_w?pwd=94pk) |\n| Chinese-Alpaca-2-LoRA-7B-64K 🆕 | 指令模型 | [Llama-2-7B-hf](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-2-7b-hf) | 1.1 GB | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-lora-7b-64k) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-2-lora-7b-64k) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1t6bPpMlJCrs9Ce7LXs09-w?pwd=37it) |\n| Chinese-LLaMA-2-LoRA-13B-16K | 基座模型 | [Llama-2-13B-hf](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-2-13b-hf) | 1.5 GB |  [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-2-lora-13b-16k) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-llama-2-lora-13b-16k) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1VrfOJmhDnXxrXcdnfX00fA?pwd=4t2j) |\n| Chinese-LLaMA-2-LoRA-7B-16K | 基座模型 |        [Llama-2-7B-hf](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-2-7b-hf)        | 1.1 GB | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-2-lora-7b-16k) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-llama-2-lora-7b-16k) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F14Jnm7QmcDx3XsK_NHZz6Uw?pwd=5b7i) |\n| Chinese-Alpaca-2-LoRA-13B-16K | 指令模型 | [Llama-2-13B-hf](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-2-13b-hf) | 1.5 GB | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-lora-13b-16k) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-2-lora-13b-16k) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1g42_X7Z0QWDyrrDqv2jifQ?pwd=bq7n) |\n| Chinese-Alpaca-2-LoRA-7B-16K | 指令模型 | [Llama-2-7B-hf](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-2-7b-hf) | 1.1 GB |  [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-2-lora-7b-16k) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-2-lora-7b-16k) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1E7GEZ6stp8EavhkhR06FwA?pwd=ewwy) |\n\n\n> [!IMPORTANT] \n> LoRA模型无法单独使用，必须与原版Llama-2进行合并才能转为完整模型。请通过以下方法对模型进行合并。\n>\n> - [**在线转换**](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki\u002Fonline_conversion_zh)：Colab用户可利用本项目提供的notebook进行在线转换并量化模型\n> - [**手动转换**](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki\u002Fmanual_conversion_zh)：离线方式转换，生成不同格式的模型，以便进行量化或进一步精调\n\n\n## 推理与部署\n\n本项目中的相关模型主要支持以下量化、推理和部署方式，具体内容请参考对应教程。\n\n| 工具   | 特点     | CPU  | GPU  | 量化 | GUI  | API  | vLLM\u003Csup>§\u003C\u002Fsup> |   16K\u003Csup>‡\u003C\u002Fsup>    | 64K\u003Csup>‡\u003C\u002Fsup>    |投机采样 |                      教程                             |\n| :----------------------------------------------------------- | ---------------------------- | :--: | :--: | :--: | :--: | :--: | :--: | :--: | :--: | :--: |:--: |\n| [**llama.cpp**](https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fllama.cpp)      | 丰富的量化选项和高效本地推理 |  ✅   |  ✅   |  ✅   |  ❌   |  ✅   |  ❌   | ✅ |✅   |✅ | [link](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki\u002Fllamacpp_zh) |\n| [**🤗Transformers**](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers) | 原生transformers推理接口     |  ✅   |  ✅   |  ✅   |  ✅   |  ❌   |  ✅  | ✅ | ✅ | ✅ | [link](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki\u002Finference_with_transformers_zh) |\n| [**Colab Demo**](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1yu0eZ3a66by8Zqm883LLtRQrguBAb9MR?usp=sharing) | 在Colab中启动交互界面 | ✅ | ✅ | ✅ | ✅ | ❌ | ✅ | ✅ | ✅ | ✅ | [link](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1yu0eZ3a66by8Zqm883LLtRQrguBAb9MR?usp=sharing) |\n| [**仿OpenAI API调用**](https:\u002F\u002Fplatform.openai.com\u002Fdocs\u002Fapi-reference) | 仿OpenAI API接口的服务器Demo |  ✅   |  ✅   |  ✅   |  ❌   |  ✅   |  ✅  | ✅ | ✅ | ❌ | [link](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki\u002Fapi_calls_zh) |\n| [**text-generation-webui**](https:\u002F\u002Fgithub.com\u002Foobabooga\u002Ftext-generation-webui) | 前端Web UI界面的部署方式 |  ✅   |  ✅   |  ✅   |  ✅   |  ✅\u003Csup>†\u003C\u002Fsup>  | ❌  | ✅ | ❌  | ❌ | [link](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki\u002Ftext-generation-webui_zh) |\n| [**LangChain**](https:\u002F\u002Fgithub.com\u002Fhwchase17\u002Flangchain) | 适合二次开发的大模型应用开源框架 |  ✅\u003Csup>†\u003C\u002Fsup>  |  ✅   |  ✅\u003Csup>†\u003C\u002Fsup>   |  ❌   |  ❌   | ❌  | ✅ | ✅ | ❌ | [link](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki\u002Flangchain_zh) |\n| [**privateGPT**](https:\u002F\u002Fgithub.com\u002Fimartinez\u002FprivateGPT) | 基于LangChain的多文档本地问答框架 | ✅ | ✅ | ✅ | ❌ | ❌ | ❌ | ✅ | ❌  | ❌ | [link](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki\u002Fprivategpt_zh) |\n\n> [!NOTE]\n> \u003Csup>†\u003C\u002Fsup> 工具支持该特性，但教程中未实现，详细说明请参考对应官方文档\u003Cbr\u002F>\n> \u003Csup>‡\u003C\u002Fsup> 指是否支持长上下文版本模型（需要第三方库支持自定义RoPE）\u003Cbr\u002F>\n> \u003Csup>§\u003C\u002Fsup> vLLM后端不支持长上下文版本模型\u003Cbr\u002F>\n\n\n## 系统效果\n\n为了评测相关模型的效果，本项目分别进行了生成效果评测和客观效果评测（NLU类），从不同角度对大模型进行评估。需要注意的是，综合评估大模型能力仍然是亟待解决的重要课题，单个数据集的结果并不能综合评估模型性能。推荐用户在自己关注的任务上进行测试，选择适配相关任务的模型。\n\n### 生成效果评测\n\n为了更加直观地了解模型的生成效果，本项目仿照[Fastchat Chatbot Arena](https:\u002F\u002Fchat.lmsys.org\u002F?arena)推出了模型在线对战平台，可浏览和评测模型回复质量。对战平台提供了胜率、Elo评分等评测指标，并且可以查看两两模型的对战胜率等结果。题库来自于[一期项目人工制作的200题](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Ftree\u002Fmain\u002Fexamples\u002Ff16-p7b-p13b-33b)，以及在此基础上额外增加的题目。生成回复具有随机性，受解码超参、随机种子等因素影响，因此相关评测并非绝对严谨，结果仅供晾晒参考，欢迎自行体验。部分生成样例请查看[examples目录](.\u002Fexamples)。\n\n**⚔️ 模型竞技场：[http:\u002F\u002Fllm-arena.ymcui.com](http:\u002F\u002Fllm-arena.ymcui.com\u002F)**\n\n| 系统                                                         | 对战胜率（无平局） ↓ | Elo评分 |\n| ------------------------------------------------------------ | :------------------: | :-----: |\n| **Chinese-Alpaca-2-13B-16K**                                 |        86.84%        |  1580   |\n| **Chinese-Alpaca-2-13B**                                     |        72.01%        |  1579   |\n| [Chinese-Alpaca-Pro-33B](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca) |        64.87%        |  1548   |\n| **Chinese-Alpaca-2-7B**                                      |        64.11%        |  1572   |\n| [Chinese-Alpaca-Pro-7B](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca) |        62.05%        |  1500   |\n| **Chinese-Alpaca-2-7B-16K**                                  |        61.67%        |  1540   |\n| [Chinese-Alpaca-Pro-13B](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca) |        61.26%        |  1567   |\n| [Chinese-Alpaca-Plus-33B](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca) |        31.29%        |  1401   |\n| [Chinese-Alpaca-Plus-13B](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca) |        23.43%        |  1329   |\n| [Chinese-Alpaca-Plus-7B](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca) |        20.92%        |  1379   |\n\n> [!NOTE]\n> 以上结果截至2023年9月1日。最新结果请进入[**⚔️竞技场**](http:\u002F\u002Fllm-arena.ymcui.com\u002F)进行查看。\n\n\n### 客观效果评测：C-Eval\n\n[C-Eval](https:\u002F\u002Fcevalbenchmark.com)是一个全面的中文基础模型评估套件，其中验证集和测试集分别包含1.3K和12.3K个选择题，涵盖52个学科。实验结果以“zero-shot \u002F 5-shot”进行呈现。C-Eval推理代码请参考本项目：[📖GitHub Wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki\u002Fceval_zh)\n\n| LLaMA Models            |    Valid    |    Test     | Alpaca Models            |    Valid    |    Test     |\n| ----------------------- | :---------: | :---------: | ------------------------ | :---------: | :---------: |\n| **Chinese-LLaMA-2-13B** | 40.6 \u002F 42.7 | 38.0 \u002F 41.6 | **Chinese-Alpaca-2-13B** | 44.3 \u002F 45.9 | 42.6 \u002F 44.0 |\n| **Chinese-LLaMA-2-7B**  | 28.2 \u002F 36.0 | 30.3 \u002F 34.2 | **Chinese-Alpaca-2-7B**  | 41.3 \u002F 42.9 | 40.3 \u002F 39.5 |\n| Chinese-LLaMA-Plus-33B  | 37.4 \u002F 40.0 | 35.7 \u002F 38.3 | Chinese-Alpaca-Plus-33B  | 46.5 \u002F 46.3 | 44.9 \u002F 43.5 |\n| Chinese-LLaMA-Plus-13B  | 27.3 \u002F 34.0 | 27.8 \u002F 33.3 | Chinese-Alpaca-Plus-13B  | 43.3 \u002F 42.4 | 41.5 \u002F 39.9 |\n| Chinese-LLaMA-Plus-7B   | 27.3 \u002F 28.3 | 26.9 \u002F 28.4 | Chinese-Alpaca-Plus-7B   | 36.7 \u002F 32.9 | 36.4 \u002F 32.3 |\n\n### 客观效果评测：CMMLU\n\n[CMMLU](https:\u002F\u002Fgithub.com\u002Fhaonan-li\u002FCMMLU)是另一个综合性中文评测数据集，专门用于评估语言模型在中文语境下的知识和推理能力，涵盖了从基础学科到高级专业水平的67个主题，共计11.5K个选择题。CMMLU推理代码请参考本项目：[📖GitHub Wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki\u002Fcmmlu_zh)\n\n| LLaMA Models            | Test (0\u002Ffew-shot) | Alpaca Models            | Test (0\u002Ffew-shot) |\n| ----------------------- | :---------------: | ------------------------ | :---------------: |\n| **Chinese-LLaMA-2-13B** |    38.9 \u002F 42.5    | **Chinese-Alpaca-2-13B** |    43.2 \u002F 45.5    |\n| **Chinese-LLaMA-2-7B**  |    27.9 \u002F 34.1    | **Chinese-Alpaca-2-7B**  |    40.0 \u002F 41.8    |\n| Chinese-LLaMA-Plus-33B  |    35.2 \u002F 38.8    | Chinese-Alpaca-Plus-33B  |    46.6 \u002F 45.3    |\n| Chinese-LLaMA-Plus-13B  |    29.6 \u002F 34.0    | Chinese-Alpaca-Plus-13B  |    40.6 \u002F 39.9    |\n| Chinese-LLaMA-Plus-7B   |    25.4 \u002F 26.3    | Chinese-Alpaca-Plus-7B   |    36.8 \u002F 32.6    |\n\n### 长上下文版模型评测\n\n[LongBench](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FLongBench)是一个大模型长文本理解能力的评测基准，由6大类、20个不同的任务组成，多数任务的平均长度在5K-15K之间，共包含约4.75K条测试数据。以下是本项目长上下文版模型在该中文任务（含代码任务）上的评测效果。LongBench推理代码请参考本项目：[📖GitHub Wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki\u002Flongbench_zh)\n\n| Models                       | 单文档QA | 多文档QA | 摘要 | Few-shot学习 | 代码补全 | 合成任务 | Avg  |\n| ---------------------------- | :------: | :------: | :--: | :----------: | :------: | :------: | :--: |\n| **Chinese-Alpaca-2-7B-64K** | 44.7  |  28.1 | 14.4 |  39.0   |  44.6  |   5.0  | 29.3|\n| **Chinese-LLaMA-2-7B-64K** | 27.2  |  16.4 | 6.5 |  33.0   |  7.8  |   5.0  | 16.0|\n| **Chinese-Alpaca-2-13B-16K** |   47.9  |   26.7 | 13.0 |     22.3    |   46.6   |   21.5   | 29.7 |\n| Chinese-Alpaca-2-13B         |   38.4   |   20.0   | 11.9 |     17.3    |   46.5   |   8.0    | 23.7 |\n| **Chinese-Alpaca-2-7B-16K**  |   46.4  |   23.3  | 14.3 |     29.0     |   49.6   |   9.0    | 28.6 |\n| Chinese-Alpaca-2-7B          |   34.0   |   17.4   | 11.8 |     21.3    |   50.3  |   4.5    | 23.2 |\n| **Chinese-LLaMA-2-13B-16K**  |   36.7   |   17.7  | 3.1 |     29.8     |   13.8   |   3.0    | 17.3 |\n| Chinese-LLaMA-2-13B          |   28.3   |   14.4   | 4.6 |     16.3     |   10.4   |   5.4    | 13.2 |\n| **Chinese-LLaMA-2-7B-16K**   |   33.2   |   15.9   | 6.5 |     23.5     |   10.3    |   5.3    | 15.8|\n| Chinese-LLaMA-2-7B           |   19.0   |   13.9   | 6.4  |     11.0    |   11.0   |   4.7    | 11.0 |\n\n### 量化效果评测\n\n以Chinese-LLaMA-2-7B为例，对比不同精度下的模型大小、PPL（困惑度）、C-Eval效果，方便用户了解量化精度损失。PPL以4K上下文大小计算，C-Eval汇报的是valid集合上zero-shot和5-shot结果。\n\n| 精度      | 模型大小 |  PPL   |   C-Eval    |\n| :-------- | :------: | :----: | :---------: |\n| FP16      | 12.9 GB  | 9.373  | 28.2 \u002F 36.0 |\n| 8-bit量化 |  6.8 GB  | 9.476  | 26.8 \u002F 35.4 |\n| 4-bit量化 |  3.7 GB  | 10.132 | 25.5 \u002F 32.8 |\n\n特别地，以下是在llama.cpp下不同量化方法的评测数据，供用户参考，速度以ms\u002Ftok计，测试设备为M1 Max。具体细节见[📖GitHub Wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki\u002Fllamacpp_zh#关于量化方法选择及推理速度)\n\n| llama.cpp |    F16 |   Q2_K |  Q3_K |  Q4_0 |  Q4_1 |  Q4_K |  Q5_0 |  Q5_1 |  Q5_K |  Q6_K |  Q8_0 |\n| --------- | -----: | -----: | ----: | ----: | ----: | ----: | ----: | ----: | ----: | ----: | ----: |\n| PPL       |  9.128 | 11.107 | 9.576 | 9.476 | 9.576 | 9.240 | 9.156 | 9.213 | 9.168 | 9.133 | 9.129 |\n| Size      | 12.91G |  2.41G | 3.18G | 3.69G | 4.08G | 3.92G | 4.47G | 4.86G | 4.59G | 5.30G | 6.81G |\n| CPU Speed |    117 |     42 |    51 |    39 |    44 |    43 |    48 |    51 |    50 |    54 |    65 |\n| GPU Speed |     53 |     19 |    21 |    17 |    18 |    20 |     x |     x |    25 |    26 |     x |\n\n### 投机采样加速效果评测\n\n通过投机采样方法并借助Chinese-LLaMA-2-1.3B和Chinese-Alpaca-2-1.3B，可以分别加速7B、13B的LLaMA和Alpaca模型的推理速度。以下是使用[投机采样脚本](scripts\u002Finference\u002Fspeculative_sample.py)在1*A40-48G上解码[生成效果评测](#生成效果评测)中的问题测得的平均速度（速度以ms\u002Ftoken计，模型均为fp16精度），供用户参考。详细说明见[📖GitHub Wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki\u002Finference_with_transformers_zh#投机采样解码)。\n\n| 草稿模型 | 草稿模型速度 | 目标模型 | 目标模型速度 | 投机采样速度（加速比） |\n| :---------- |  :-----------------: | :----------- |  :-----------------: | :--------: |\n| Chinese-LLaMA-2-1.3B |  7.6 | Chinese-LLaMA-2-7B |  49.3 | 36.0（1.37x） |\n| Chinese-LLaMA-2-1.3B |  7.6 | Chinese-LLaMA-2-13B |  66.0 | 47.1（1.40x） |\n| Chinese-Alpaca-2-1.3B |  8.1 | Chinese-Alpaca-2-7B |  50.2 | 34.9（1.44x） |\n| Chinese-Alpaca-2-1.3B |  8.2 | Chinese-Alpaca-2-13B |  67.0 | 41.6（1.61x） |\n\n### 人类偏好对齐（RLHF）版本评测\n\n#### 对齐水平\n为评估中文模型与人类价值偏好对齐程度，我们自行构建了评测数据集，覆盖了道德、色情、毒品、暴力等人类价值偏好重点关注的多个方面。实验结果以价值体现正确率进行呈现（体现正确价值观题目数 \u002F 总题数）。\n\n| Alpaca Models            | Accuracy |  Alpaca Models            | Accuracy |\n| ------------------------ | :---------------: |------------------------ | :---------------: |\n| Chinese-Alpaca-2-1.3B |   79.3%    | Chinese-Alpaca-2-7B  |    88.3%    |\n| **Chinese-Alpaca-2-1.3B-RLHF** |    95.8%    | **Chinese-Alpaca-2-7B-RLHF** |    97.5%    |\n\n\n#### 客观效果评测：C-Eval & CMMLU\n| Alpaca Models            | C-Eval (0\u002Ffew-shot) | CMMLU (0\u002Ffew-shot) |\n| ------------------------ | :---------------: | :---------------: |\n| Chinese-Alpaca-2-1.3B |    23.8 \u002F 26.8    |    24.8 \u002F 25.1    |\n| Chinese-Alpaca-2-7B  |    42.1 \u002F 41.0    |    40.0 \u002F 41.8    |\n| **Chinese-Alpaca-2-1.3B-RLHF** |    23.6 \u002F 27.1    |    24.9 \u002F 25.0    |\n| **Chinese-Alpaca-2-7B-RLHF** |    40.6 \u002F 41.2    |    39.5 \u002F 41.0    |\n\n\n\n## 训练与精调\n\n### 预训练\n\n- 在原版Llama-2的基础上，利用大规模无标注数据进行增量训练，得到Chinese-LLaMA-2系列基座模型\n- 训练数据采用了一期项目中Plus版本模型一致的数据，其总量约120G纯文本文件\n- 训练代码参考了🤗transformers中的[run_clm.py](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers\u002Fblob\u002Fmain\u002Fexamples\u002Fpytorch\u002Flanguage-modeling\u002Frun_clm.py)，使用方法见[📖预训练脚本Wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki\u002Fpt_scripts_zh)\n\n### 指令精调\n\n- 在Chinese-LLaMA-2的基础上，利用有标注指令数据进行进一步精调，得到Chinese-Alpaca-2系列模型\n- 训练数据采用了一期项目中Pro版本模型使用的指令数据，其总量约500万条指令数据（相比一期略增加）\n- 训练代码参考了[Stanford Alpaca](https:\u002F\u002Fgithub.com\u002Ftatsu-lab\u002Fstanford_alpaca)项目中数据集处理的相关部分，使用方法见[📖指令精调脚本Wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki\u002Fsft_scripts_zh)\n\n### RLHF精调\n\n- 在Chinese-Alpaca-2系列模型基础上，利用偏好数据和PPO算法进行人类偏好对齐精调，得到Chinese-Alpaca-2-RLHF系列模型\n- 训练数据基于多个开源项目中的人类偏好数据和本项目指令精调数据进行采样，奖励模型阶段、强化学习阶段分别约69.5K、25.6K条样本\n- 训练代码基于[DeepSpeed-Chat](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FDeepSpeedExamples\u002Ftree\u002Fmaster\u002Fapplications\u002FDeepSpeed-Chat)开发，具体流程见[📖奖励模型Wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki\u002Frm_zh)和[📖强化学习Wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki\u002Frl_zh)\n\n## 常见问题\n\n请在提Issue前务必先查看FAQ中是否已存在解决方案。具体问题和解答请参考本项目 [📖GitHub Wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki\u002Ffaq_zh)\n\n```\n问题1：本项目和一期项目的区别？\n问题2：模型能否商用？\n问题3：接受第三方Pull Request吗？\n问题4：为什么不对模型做全量预训练而是用LoRA？\n问题5：二代模型支不支持某些支持一代LLaMA的工具？\n问题6：Chinese-Alpaca-2是Llama-2-Chat训练得到的吗？\n问题7：为什么24G显存微调Chinese-Alpaca-2-7B会OOM？\n问题8：可以使用16K长上下文版模型替代标准版模型吗？\n问题9：如何解读第三方公开榜单的结果？\n问题10：会出34B或者70B级别的模型吗？\n问题11：为什么长上下文版模型是16K，不是32K或者100K？\n问题12：为什么Alpaca模型会回复说自己是ChatGPT？\n问题13：为什么pt_lora_model或者sft_lora_model下的adapter_model.bin只有几百k？\n```\n\n\n## 引用\n\n如果您使用了本项目的相关资源，请参考引用本项目的技术报告：https:\u002F\u002Farxiv.org\u002Fabs\u002F2304.08177\n```\n@article{Chinese-LLaMA-Alpaca,\n    title={Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca},\n    author={Cui, Yiming and Yang, Ziqing and Yao, Xin},\n    journal={arXiv preprint arXiv:2304.08177},\n    url={https:\u002F\u002Farxiv.org\u002Fabs\u002F2304.08177},\n    year={2023}\n}\n```\n\n\n## 致谢\n\n本项目主要基于以下开源项目二次开发，在此对相关项目和研究开发人员表示感谢。\n\n- [Llama-2 *by Meta*](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fllama)\n- [llama.cpp *by @ggerganov*](https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fllama.cpp)\n- [FlashAttention-2 by *Dao-AILab*](https:\u002F\u002Fgithub.com\u002FDao-AILab\u002Fflash-attention)\n\n同时感谢Chinese-LLaMA-Alpaca（一期项目）的contributor以及[关联项目和人员](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca#致谢)。\n\n\n## 免责声明\n\n本项目基于由Meta发布的Llama-2模型进行开发，使用过程中请严格遵守Llama-2的开源许可协议。如果涉及使用第三方代码，请务必遵从相关的开源许可协议。模型生成的内容可能会因为计算方法、随机因素以及量化精度损失等影响其准确性，因此，本项目不对模型输出的准确性提供任何保证，也不会对任何因使用相关资源和输出结果产生的损失承担责任。如果将本项目的相关模型用于商业用途，开发者应遵守当地的法律法规，确保模型输出内容的合规性，本项目不对任何由此衍生的产品或服务承担责任。\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>局限性声明\u003C\u002Fb>\u003C\u002Fsummary>\n\n虽然本项目中的模型具备一定的中文理解和生成能力，但也存在局限性，包括但不限于：\n\n- 可能会产生不可预测的有害内容以及不符合人类偏好和价值观的内容\n- 由于算力和数据问题，相关模型的训练并不充分，中文理解能力有待进一步提升\n- 暂时没有在线可互动的demo（注：用户仍然可以自行在本地部署和体验）\n\n\u003C\u002Fdetails>\n\n\n## 问题反馈\n如有疑问，请在GitHub Issue中提交。礼貌地提出问题，构建和谐的讨论社区。\n\n- 在提交问题之前，请先查看FAQ能否解决问题，同时建议查阅以往的issue是否能解决你的问题。\n- 提交问题请使用本项目设置的Issue模板，以帮助快速定位具体问题。\n- 重复以及与本项目无关的issue会被[stable-bot](https:\u002F\u002Fgithub.com\u002Fmarketplace\u002Fstale)处理，敬请谅解。","# Chinese-LLaMA-Alpaca-2 快速上手指南\n\n## 环境准备\n\n### 系统要求\n- 操作系统：Linux 或 macOS（Windows 通过 WSL 支持）\n- Python 版本：3.8+\n- GPU 显存：建议 16GB 以上（对于 7B 及以上模型）\n\n### 前置依赖\n安装以下依赖包：\n\n```bash\npip install torch transformers accelerate\n```\n\n如果使用国内网络，推荐使用国内镜像源加速安装：\n\n```bash\npip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple torch transformers accelerate\n```\n\n## 安装步骤\n\n### 安装 Hugging Face 库\n```bash\npip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple huggingface-hub\n```\n\n### 下载模型（以 `Chinese-LLaMA-2-7B` 为例）\n你可以从 Hugging Face 或 ModelScope 下载模型，例如：\n\n```bash\nfrom huggingface_hub import snapshot_download\n\nsnapshot_download(\"hfl\u002Fchinese-llama-2-7b\", local_dir=\".\u002Fchinese-llama-2-7b\")\n```\n\n或者使用 ModelScope 下载：\n\n```bash\nfrom modelscope.pipelines import pipeline\nfrom modelscope.utils.constant import Tasks\n\nmodel_pipeline = pipeline(task=Tasks.text_generation, model='.\u002Fchinese-llama-2-7b')\n```\n\n## 基本使用\n\n### 加载模型并生成文本\n\n```python\nfrom transformers import AutoTokenizer, AutoModelForCausalLM\n\ntokenizer = AutoTokenizer.from_pretrained(\".\u002Fchinese-llama-2-7b\")\nmodel = AutoModelForCausalLM.from_pretrained(\".\u002Fchinese-llama-2-7b\")\n\ninput_text = \"你好，今天天气怎么样？\"\ninputs = tokenizer(input_text, return_tensors=\"pt\")\noutputs = model.generate(**inputs, max_length=50)\nprint(tokenizer.decode(outputs[0], skip_special_tokens=True))\n```\n\n### 使用 `text-generation-webui` 部署模型（可选）\n\n1. 克隆项目：\n   ```bash\n   git clone https:\u002F\u002Fgithub.com\u002Foobabooga\u002Ftext-generation-webui\n   ```\n\n2. 进入目录并安装依赖：\n   ```bash\n   cd text-generation-webui\n   pip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n   ```\n\n3. 启动服务：\n   ```bash\n   python server.py --model .\u002Fchinese-llama-2-7b\n   ```\n\n4. 访问 http:\u002F\u002Flocalhost:5000 查看界面。","某科技公司开发一款面向企业用户的智能客服系统，需要处理大量中文文档和长对话历史，以提供更精准的客户服务。团队在初期尝试使用通用大模型，但遇到了诸多挑战。\n\n### 没有 Chinese-LLaMA-Alpaca-2 时  \n- 中文理解能力不足，导致对复杂语义和专业术语的识别错误率较高  \n- 对于超长上下文（如多轮对话或长文档）处理能力有限，容易丢失关键信息  \n- 模型训练和部署成本高，难以在本地快速实现推理和优化  \n- 缺乏针对中文场景优化的指令调优模型，影响实际业务场景的响应质量  \n\n### 使用 Chinese-LLaMA-Alpaca-2 后  \n- 中文词表和预训练数据优化，显著提升了对专业文档和复杂语义的理解准确率  \n- 支持64K超长上下文，能够完整处理多轮对话和长文本内容，提升服务连贯性  \n- 提供多种部署方式和量化版本，降低了本地部署门槛，加快了迭代速度  \n- 指令精调模型和RLHF对齐模型直接提升了对话质量和价值观一致性，增强用户信任感  \n\nChinese-LLaMA-Alpaca-2 在中文场景下的性能提升和长上下文支持，为智能客服系统带来了更高效、更精准的解决方案。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fymcui_Chinese-LLaMA-Alpaca-2_f8eb4295.gif","ymcui","Yiming Cui","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fymcui_27303d50.jpg","NLP Researcher. Mainly interested in Pre-trained Language Model, Machine Reading Comprehension, Question Answering, etc.",null,"Beijing, China","conandiy@vip.qq.com","KCrosner","http:\u002F\u002Fymcui.github.io","https:\u002F\u002Fgithub.com\u002Fymcui",[86,90],{"name":87,"color":88,"percentage":89},"Python","#3572A5",98.6,{"name":91,"color":92,"percentage":93},"Shell","#89e051",1.4,7158,568,"2026-04-02T07:16:19","Apache-2.0","Linux, macOS, Windows","需要 NVIDIA GPU，显存 8GB+，CUDA 11.7+","16GB+",{"notes":102,"python":103,"dependencies":104},"建议使用 conda 管理环境，首次运行需下载约 5GB 模型文件。部分功能可能需要特定的 CUDA 版本支持。","3.8+",[105,106,107,108,109,110,111,112,113],"torch>=2.0","transformers>=4.30","accelerate","llama.cpp","text-generation-webui","langchain","privateGPT","vLLM","flash-attn",[13,26],[116,117,118,119,120,121,122,123,124,125,126,127,128],"alpaca","llama","llm","llama-2","large-language-models","nlp","alpaca-2","flash-attention","llama2","alpaca2","64k","yarn","rlhf","2026-03-27T02:49:30.150509","2026-04-06T07:12:39.354375",[132,137,142,147,152,157],{"id":133,"question_zh":134,"answer_zh":135,"source_url":136},5455,"权重合并后重新加载训练时出现错误，如何解决？","错误信息表明词表大小不匹配。请检查模型和tokenizer的词表大小是否一致，确保在训练和合并过程中使用的词汇表大小正确。如果使用了增量预训练，可能需要调整词汇表大小以匹配模型参数。","https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fissues\u002F556",{"id":138,"question_zh":139,"answer_zh":140,"source_url":141},5456,"用200多条指令对Chinese-LLaMA-Alpaca-2指令精调后效果很差，如何解决？","问题已解决，是因为peft版本过高。建议将peft版本从0.6.2降低到0.5.0。同时，请确保训练数据和模型配置正确，并检查是否有其他依赖版本不兼容的问题。","https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fissues\u002F419",{"id":143,"question_zh":144,"answer_zh":145,"source_url":146},5457,"lora指令微调后保存的adapter_model.bin只有127k，怎么回事？","这可能是由于使用了zero3训练模式导致的。请确保LoRA权重的词向量大小与tokenizer的词表大小一致。如果仍然存在问题，请提供更详细的训练流程以便进一步排查。","https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fissues\u002F141",{"id":148,"question_zh":149,"answer_zh":150,"source_url":151},5458,"如何增加chinese-llama2-Alpaca-2-16K(7B)回复答案的长度？","可以通过调整生成参数（如max_length、num_beams等）来增加回复长度。此外，确保使用正确的模型版本（如chinese-alpaca-2-7b-16k），并优化提示模板以提高回答质量。","https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fissues\u002F231",{"id":153,"question_zh":154,"answer_zh":155,"source_url":156},5459,"进行预训练的时候报错，如何解决？","错误可能由版本不兼容引起。请确保使用的是仓库最新代码（git pull），并检查CUDA、PyTorch等依赖库的版本是否符合要求。Windows用户可以尝试在WSL环境中运行。","https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fissues\u002F27",{"id":158,"question_zh":159,"answer_zh":160,"source_url":136},5460,"在合并LoRA模型时出现词表大小不匹配的错误，如何处理？","错误提示显示LoRA权重的词表大小与tokenizer不一致。请确保在训练和合并过程中使用的词表大小一致。如果使用了自定义的词表，请检查其配置是否正确。",[162,167,172,177,182,187,192,197],{"id":163,"version":164,"summary_zh":165,"released_at":166},104954,"v4.1","本次更新添加了新版GGUF模型（with imatrix）、AWQ模型，以及对YaRN模型的支持。\r\n\r\n## What's Changed\r\n* Add AWQ models (pre-computed search results) by @ymcui in https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fpull\u002F490\r\n* YaRN support implementation by @iMountTai in https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fpull\u002F505\r\n* llama.cpp: update GGUF models (with imatrix) by @ymcui in https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fpull\u002F510\r\n\r\n**Full Changelog**: https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fcompare\u002Fv4.0...v4.1","2024-01-23T05:51:47",{"id":168,"version":169,"summary_zh":170,"released_at":171},104955,"v4.0","本次更新推出长上下文版模型Chinese-LLaMA-2-7B-64K和Chinese-Alpaca-2-7B-64K，可直接应用于各类长文本下游任务。推出人类偏好对齐版模型Chinese-Alpaca-2-1.3B-RLHF和Chinese-Alpaca-2-7B-RLHF，大幅提升正确价值观表达能力。\r\n\r\n### 🚀 Chinese-LLaMA-2-7B-64K、Chinese-Alpaca-2-7B-64K\r\n\r\n- 通过[YaRN方法](https:\u002F\u002Farxiv.org\u002Fabs\u002F2309.00071)，在增量数据上进行训练，使模型获得长文本处理能力\r\n- 在长文本评测LongBench（中文+代码任务）上，64K版模型相比标准版有显著的性能提升，甚至优于16K版本模型，效果参阅[长上下文版模型评测](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2?tab=readme-ov-file#长上下文版模型评测)\r\n- Chinese-Alpaca-2-7B-64K已加入到[⚔️ 模型竞技场](http:\u002F\u002Fllm-arena.ymcui.com\u002F)，欢迎体验评测\r\n\r\n### 👮 Chinese-Alpaca-2-1.3B-RLHF、Chinese-Alpaca-2-7B-RLHF\r\n\r\n- 以Chinese-Alpaca-2系列模型为基础，利用偏好数据和PPO算法进行人类偏好对齐精调，显著提升模型传递正确价值观的能力\r\n- 在人类偏好对齐评测方面，RLHF模型表现显著超越对应的SFT模型，小模型（1.3B）超越大模型（7B），具体参阅[人类偏好对齐（RLHF）版本评测](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Ftree\u002Frlhf?tab=readme-ov-file#%E4%BA%BA%E7%B1%BB%E5%81%8F%E5%A5%BD%E5%AF%B9%E9%BD%90rlhf%E7%89%88%E6%9C%AC%E8%AF%84%E6%B5%8B)\r\n- Chinese-Alpaca-2-1.3B-RLHF、Chinese-Alpaca-2-7B-RLHF已加入到[⚔️ 模型竞技场](http:\u002F\u002Fllm-arena.ymcui.com\u002F)，欢迎体验评测\r\n\r\n\r\n#### 温馨提示\r\n\r\n- 64K版长上下文模型已支持🤗HuggingFace、llama.cpp、langchain等生态\r\n- 使用长上下文版模型之前，务必参阅[推理与部署](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2#推理与部署)表格，查看相关方法是否支持\r\n- 建议：主要处理长文本任务时，使用长上下文版模型；其他场景建议使用标准版模型\r\n\r\n\r\n### 其他更新\r\n- 更新了对高版本依赖的支持，通过参数设置选择全量训练或LoRA训练 (#393)\r\n- 添加可直接下载使用的GGUF模型权重 (#411)\r\n- 修复了开源peft版本与requirements冲突的BUG (#468)\r\n\r\nFor English release note, please refer to [Discussion](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fdiscussions).","2023-12-29T02:28:58",{"id":173,"version":174,"summary_zh":175,"released_at":176},104956,"v3.2","本次更新推出小参数量基座\u002F聊天模型Chinese-LLaMA-2-1.3B和Chinese-Alpaca-2-1.3B，以及对投机采样解码策略的支持\r\n\r\n### 🚀 Chinese-LLaMA-2-1.3B、Chinese-Alpaca-2-1.3B，投机采样解码策略\r\n\r\n- 推出4层的小参数量中文LLaMA\u002FAlpaca模型，使用和大模型相同数据量进行了中文预训练（Chinese-LLaMA-2-1.3B）和指令精调训练（Chinese-Alpaca-2-1.3B）。\r\n- 投机采样是一种解码加速策略，借助能力稍弱但速度较快的小模型加速大模型的推理。其理论细节可查看[相关论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2302.01318.pdf)。本次更新实现了投机采样解码策略，可使用小模型加速大模型的解码，并在`gradio_demo.py`和`inference_hf.py`中添加了使用投机采样的参数。\r\n- 经测试，A40-48G GPU上使用Chinese-Alpaca-2-1.3B模型加速Chinese-Alpaca-2-7B\u002F13B模型推理，平均推理速度提升了1.3~1.6倍。详细用法和加速效果请参考[wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki\u002Finference_with_transformers_zh)\r\n\r\n\r\n*注意事项：小参数量模型可以像7B\u002F13B模型一样直接用于推理，但结果会比大模型差，建议用于投机采样加速大模型推理。*\r\n\r\n\r\n### 其他更新\r\n\r\n- 添加了对kbits训练的支持 (#229)\r\n- Peft相关更新和修复 (#246, #251)\r\n- FAQ：添加了问题12、13 (#249)\r\n- C-Eval: 更新了prompt模板 (#255)\r\n- LongBench: 更新了测试结果 (#259)\r\n- LangChain: 更新了示例中的超参设置 (#271)\r\n- 修复了推理脚本中量化推理相关问题 (#302)\r\n- 适配了FlashAttention对推理的优化，现在可以在推理时搭配FlashAttention进行加速。使用方法参考[wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki\u002Finference_with_transformers_zh) (#367)\r\n","2023-10-26T08:05:55",{"id":178,"version":179,"summary_zh":180,"released_at":181},104957,"v3.1","本次更新推出长上下文版聊天\u002F指令模型Chinese-Alpaca-2-7B-16K和Chinese-Alpaca-2-13B-16K，可直接应用于各类长文本下游任务。\r\n\r\n### 🚀 Chinese-Alpaca-2-7B-16K、Chinese-Alpaca-2-13B-16K\r\n\r\n- 与Chinese-LLaMA-2-16K类似，通过[位置插值方法](https:\u002F\u002Farxiv.org\u002Fabs\u002F2306.15595)，在增量数据上进行训练，使模型获得长文本处理能力\r\n- **长上下文版模型（Chinese-LLaMA-2-16K、Chinese-Alpaca-2-16K）支持16K**，且均可通过NTK方法进一步扩展\r\n- 在长文本评测LongBench（中文+代码任务）上，16K版模型相比标准版均有显著的性能提升，其中Chinese-Alpaca-2-7B-16K和Chinese-Alpaca-2-13B-16K分别获得28.3和29.5的平均分，在同类模型中具有一定优势\r\n- Chinese-Alpaca-2-7B-16K、Chinese-Alpaca-2-13B-16K已加入到[⚔️ 模型竞技场](http:\u002F\u002Fllm-arena.ymcui.com\u002F)，欢迎体验评测\r\n\r\n#### 温馨提示\r\n\r\n- transformers 4.31.0以上版本可直接加载16K模型；llama.cpp下则需要在推理时添加`--rope-scale 4`参数\r\n- 使用长上下文版模型之前，务必参阅[推理与部署](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2#推理与部署)表格，查看相关方法是否支持\r\n- 建议：主要处理长文本任务时，使用16K版模型；其他场景建议使用标准版模型\r\n\r\n### 其他更新\r\n\r\n- 修复了训练脚本中gradient_checkpointing相关问题（#175） by @Qznan \r\n- privateGPT：添加了对16K模型的支持（#195）\r\n- LangChain, TGW, API：添加了对16K模型的支持（#196）\r\n- FAQ：添加了问题9、10、11（#197）\r\n- LongBench：添加了推理脚本（#198、#217）\r\n\r\nFor English release note, please refer to [Discussion](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fdiscussions).","2023-09-01T02:36:05",{"id":183,"version":184,"summary_zh":185,"released_at":186},104958,"v3.0","本次更新推出长上下文版模型Chinese-LLaMA-2-7B-16K和Chinese-LLaMA-2-13B-16K。\r\n\r\n### 🚀 Chinese-LLaMA-2-7B-16K、Chinese-LLaMA-2-13B-16K\r\n \r\n- 通过[位置插值方法](https:\u002F\u002Farxiv.org\u002Fabs\u002F2306.15595)，在增量数据上进行训练，使模型获得长文本处理能力\r\n- 标准版模型支持4K上下文，**而新推出的长上下文版模型支持16K**，且均可通过NTK方法进一步扩展（无需训练）\r\n- 在长文本评测LongBench上，16K版模型相比标准版均有显著的性能提升，效果参阅[长上下文版模型评测](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Ftree\u002F16k#长上下文版模型评测)\r\n- 主要处理长文本时，建议使用16K版；日常使用请选择标准版模型\r\n\r\n#### 注意事项 \r\n- transformers 4.31.0以上版本可直接加载16K模型；llama.cpp下则需要在推理时添加`--rope-scale 4`参数\r\n- 使用长上下文版模型之前，务必参阅[推理与部署](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2#推理与部署)表格，查看相关方法是否支持\r\n- 与其他LLaMA模型一样，目前的Chinese-LLaMA-2-16K不适合直接拿来用于对话\r\n- Chinese-Alpaca-2-16K将在下一个版本推出，敬请关注\r\n\r\n\r\n### 其他更新\r\n\r\n- 添加了Alpaca-2-13B输出样例（#131）\r\n- llama.cpp：删除了中的`-eps`选项以适配GGUF新版模型（#162）\r\n- llama.cpp：更新了新版k-quant模型PPL结果（#172）\r\n- 更新训练策略（#150）\r\n- 更新openai_api_server_vllm.py（#176）\r\n- 修复一处typo（#177） contributed by @touale\r\n- 添加了CMMLU推理脚本，使用方法请参考[CMMLU推理脚本](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki\u002Fcmmlu_zh)\r\n\r\nFor English release note, please refer to [Discussion](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fdiscussions).","2023-08-25T04:35:58",{"id":188,"version":189,"summary_zh":190,"released_at":191},104959,"v2.0","本次更新推出Chinese-LLaMA-2-13B和Chinese-Alpaca-2-13B模型，添加多种下游应用适配等。\r\n\r\n### 🚀 推出Chinese-LLaMA-2-13B和Chinese-Alpaca-2-13B\r\n \r\n- 与7B系列模型相同，Chinese-LLaMA-2-13B使用120G中文语料进行增量预训练，Chinese-Alpaca-2-13B进一步使用了500万指令数据进行精调\r\n- 上述模型在多个客观指标上超过了一代Plus-13B甚至是Plus-33B的效果，查看[系统效果](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2#系统效果)\r\n- 主观效果请通过模型竞技场浏览（模型刚加入排名暂不稳定）：http:\u002F\u002Fllm-arena.ymcui.com\u002F\r\n\r\n### 🤖 添加多种应用适配\r\n\r\n- 添加了基于llama.cpp的服务启动和API访问方法（#59）\r\n- 添加text-generation-webui支持（#65）\r\n- 添加LangChain使用教程（#79）\r\n- 添加privateGPT适配，利用大模型和本地文档进行交互（#103）\r\n\r\n相关使用文档请查阅[📚 GitHub Wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki)\r\n\r\n### 💻 添加了CFG采样方法（#91）\r\n\r\n- Classifier-Free Guidance (CFG) sampling 是一种提升模型输出与prompt内容的一致性的采样方法。\r\n- 在transformers推理脚本中（inference_hf.py与gradio_demo.py）添加了对CFG采样方法的支持。\r\n- 通过设置系统提示语（`system_prompt`）、反向提示语（`negative prompt`）以及调整CFG强度（`guidance_scale`），可以实现对模型输出的多样化控制。\r\n\r\n### 其他更新\r\n\r\n- 添加了OpenAI API流式输出支持（#43）\r\n- 添加了4比特推理支持（#47）\r\n- Gradio Demo中添加了system prompt修改框（#60）\r\n- 修复了预训练之后生成无法停止的问题（#61）\r\n- 修正了默认解码超参（#69）\r\n- 添加了基于Chinese-LLaMA-2-7B的量化结果对比（#74）\r\n- 优化了C-Eval预测脚本日志输出（#75）\r\n\r\nFor English release note, please refer to [Discussion](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fdiscussions).","2023-08-14T06:55:35",{"id":193,"version":194,"summary_zh":195,"released_at":196},104960,"v1.1","本次以功能性更新为主，包括添加了FlashAttention-2支持脚本、vLLM支持、长回复模板等。\r\n\r\n### 🚀 已添加FlashAttention-2训练支持（#38）\r\n \r\n- 针对模型训练添加了FlashAttention-2补丁，可有效提高模型训练速度并减少显存占用\r\n- 可通过参数`flash_attn`控制是否开启FlashAttention-2加速训练，具体可查看[预训练脚本Wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki\u002Fpt_scripts_zh)或[指令精调脚本Wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fwiki\u002Fsft_scripts_zh)\r\n\r\n\r\n### 🚀 vLLM加速支持（#35、#48)\r\n\r\n- [vLLM](https:\u002F\u002Fgithub.com\u002Fvllm-project\u002Fvllm) 是一个LLM推理和服务部署库，其具有高速运行、灵活易用等特点\r\n- 在[`gradio_demo.py`](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fblob\u002Fmain\u002Fscripts\u002Finference\u002Fgradio_demo.py)和[`inference_hf.py`](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fblob\u002Fmain\u002Fscripts\u002Finference\u002Finference_hf.py)中添加了对vLLM部署服务的支持。此外，也提供了vLLM作为后端的仿OpenAI API风格的服务器DEMO（[`openai_api_server_vllm.py`](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fblob\u002Fmain\u002Fscripts\u002Fopenai_server_demo\u002Fopenai_api_server_vllm.py)）\r\n- 经测试，V100-16G GPU上使用7B模型推理，vLLM的平均推理速度相比transformers**提升了470%**，结合批量处理后vLLM的速度进一步**达到了3800%的提升**\r\n\r\n\r\n### 🤖 生成长回复的系统提示语模板（#31）\r\n\r\n- 默认系统提示语较为简单，模型生成的回复略短于一期Alpaca-Pro系列模型\r\n- 提供了[`alpaca-2-long.txt`](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fblob\u002Fmain\u002Fprompts\u002Falpaca-2-long.txt)系统提示语，可进一步提升回复长度（也可自行尝试修改）\r\n\r\n### 其他更新\r\n\r\n- 添加了自定义系统提示语的选项（#32）\r\n- 添加了Alpaca-2-7B模型的输出示例（#33）\r\n- 修正了部分脚本中的提示信息（#42）\r\n- 添加了基于Colab的Gradio demo，可以自行架设demo体验模型了（#46）\r\n\r\n\r\nFor English release note, please refer to [Discussion](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fdiscussions).","2023-08-02T09:01:59",{"id":198,"version":199,"summary_zh":200,"released_at":201},104961,"v1.0","\u003Cp align=\"center\">\r\n    \u003Cbr>\r\n    \u003Cimg alt=\"newlogo\" src=\"https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fraw\u002Fdev\u002Fpics\u002Fbanner.png\" width=\"700\"\u002F>\r\n    \u003Cbr>\r\n\u003C\u002Fp>\r\n\r\n\r\n很高兴地向大家宣布中文LLaMA-2-7B、Alpaca-2-7B大模型已正式发布。\r\n- **Chinese-LLaMA-2-7B**：基座模型，使用120G语料增量训练，与一期Plus系列模型一致\r\n- **Chinese-Alpaca-2-7B**：指令\u002Fchat模型，在Chinese-LLaMA-2-7B的基础上进一步通过指令精调（5M条指令）获得\r\n\r\n## 相比[一期项目](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca)的主要特点\r\n\r\n### 📖 经过优化的中文词表\r\n\r\n- 在[一期项目](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca)中，我们针对一代LLaMA模型的32K词表扩展了中文字词（LLaMA：49953，Alpaca：49954），以期进一步提升模型对中文文本的编解码效率\r\n- 在本项目中，我们重新设计了新词表（大小：55296），进一步提升了中文字词的覆盖程度，同时统一了LLaMA\u002FAlpaca的词表，避免了因混用词表带来的问题\r\n\r\n### ⚡ 基于[FlashAttention-2](https:\u002F\u002Fgithub.com\u002FDao-AILab\u002Fflash-attention)的高效注意力\r\n\r\n- FlashAttention-2是高效注意力机制的一种实现，相比其一代技术具有更快的速度和更优化的显存占用\r\n- 当上下文长度更长时，为了避免显存爆炸式的增长，使用此类高效注意力技术尤为重要\r\n- 本项目的所有模型均使用了FlashAttention-2技术进行训练\r\n\r\n### 🚄 基于NTK的自适应上下文扩展技术\r\n\r\n- 在[一期项目](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca)中，我们实现了[基于NTK的上下文扩展技术](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fpull\u002F743)，可在不继续训练模型的情况下支持更长的上下文\r\n- 在上述基础上，我们进一步设计了方便的自适应经验公式，无需针对不同的上下文长度设置相应超参\r\n- 本项目模型原生支持4K上下文，利用上述技术可扩展至12K，并最高支持扩展至18K+（精度有一定损失）\r\n\r\n### 🤖 简化的中英双语系统提示语\r\n\r\n- 在[一期项目](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca)中，中文Alpaca系列模型使用了[Stanford Alpaca](https:\u002F\u002Fgithub.com\u002Ftatsu-lab\u002Fstanford_alpaca)的指令模板和系统提示语\r\n- 初步实验发现，Llama-2-Chat系列模型的默认系统提示语未能带来统计显著的性能提升，且其内容过于冗长\r\n- 本项目中的Alpaca-2系列模型简化了系统提示语，同时遵循Llama-2-Chat指令模板，以便更好地适配相关生态\r\n\r\n## 模型效果\r\n\r\n### 主观评测\r\n\r\n为了更加直观地了解模型的生成效果，本项目仿照[Fastchat Chatbot Arena](https:\u002F\u002Fchat.lmsys.org\u002F?arena)推出了模型在线对战平台，可浏览和评测模型回复质量。对战平台提供了胜率、Elo评分等评测指标，并且可以查看两两模型的对战胜率等结果。测试模型包括：\r\n\r\n- [一期模型](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca)：Chinese-Alpaca-Pro系列（7B\u002F13B\u002F33B）、Chinese-Alpaca-Plus系列（7B\u002F13B\u002F33B）\r\n- [二期模型（本项目）](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2)：Chinese-Alpaca-2（7B）\r\n\r\n**📊 模型在线对战：http:\u002F\u002Fchinese-alpaca-arena.ymcui.com\u002F**\r\n\r\n### 客观评测\r\n\r\n客观评测选择了C-Eval进行评价，结果如下表。可以看到二代模型显著优于一代模型，且部分指标上甚至超过13B版本。\r\n\r\nLLaMA系列模型之间对比：\r\n\r\n| 模型                   | Valid (zero-shot) | Valid (5-shot) | Test (zero-shot) | Test (5-shot) |\r\n| ---------------------- | :---------------: | :------------: | :--------------: | :-----------: |\r\n| **Chinese-LLaMA-2-7B** |     **28.2**      |    **36.0**    |     **30.3**     |   **34.2**    |\r\n| Chinese-LLaMA-Plus-13B |       27.3        |      34.0      |       27.8       |     33.3      |\r\n| Chinese-LLaMA-Plus-7B  |       27.3        |      28.3      |       26.9       |     28.4      |\r\n\r\nAlpaca系列模型之间对比：\r\n\r\n| 模型                    | Valid (zero-shot) | Valid (5-shot) | Test (zero-shot) | Test (5-shot) |\r\n| ----------------------- | :---------------: | :------------: | :--------------: | :-----------: |\r\n| **Chinese-Alpaca-2-7B** |       41.3        |    **42.9**    |       40.3       |     39.5      |\r\n| Chinese-Alpaca-Plus-13B |     **43.3**      |      42.4      |     **41.5**     |   **39.9**    |\r\n| Chinese-Alpaca-Plus-7B  |       36.7        |      32.9      |       36.4       |     32.3      |\r\n\r\n#### For English release note, please refer to [Discussion](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\u002Fdiscussions).","2023-07-31T06:47:05"]