[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-LlamaFamily--Llama-Chinese":3,"tool-LlamaFamily--Llama-Chinese":64},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",138956,2,"2026-04-05T11:33:21",[13,15,26],"语言模型",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[13,14,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":23,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,26],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":23,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,51,52,53,15,54,26,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":10,"last_commit_at":62,"category_tags":63,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,26,54],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":79,"owner_email":79,"owner_twitter":79,"owner_website":80,"owner_url":81,"languages":82,"stars":99,"forks":100,"last_commit_at":101,"license":79,"difficulty_score":10,"env_os":102,"env_gpu":103,"env_ram":104,"env_deps":105,"category_tags":119,"github_topics":120,"view_count":23,"oss_zip_url":79,"oss_zip_packed_at":79,"status":16,"created_at":127,"updated_at":128,"faqs":129,"releases":170},2154,"LlamaFamily\u002FLlama-Chinese","Llama-Chinese","Llama中文社区，实时汇总最新Llama学习资料，构建最好的中文Llama大模型开源生态，完全开源可商用","Llama-Chinese 是专注于构建中文大模型开源生态的社区平台，致力于让全球开发者都能轻松使用和优化 Llama 系列模型。它解决了原生 Llama 模型在中文语境下理解与生成能力不足、国内开发者获取高质量中文微调资源困难等痛点。\n\n无论是希望快速上手的初学者，还是深耕算法的研究人员，亦或是需要部署落地方案的企业开发者，都能在这里找到所需支持。平台不仅实时汇总最新的 Llama 学习资料与论文解读，更提供了从数据准备、环境搭建到模型微调（支持 LoRA 及全量参数）、量化加速及多框架部署（如 vLLM、TensorRT-LLM）的全流程指南。\n\n其独特亮点在于推出了基于 Llama 架构深度优化的中文预训练模型\"Atom\"，显著提升了中文处理性能；同时社区由资深 NLP 工程师团队维护，提供低于市场价的算力资源、丰富的中文训练数据集以及专业的技术咨询。通过开放共享的代码库与活跃的论坛交流，Llama-Chinese 正推动着中文 NLP 技术的普惠发展，助力用户高效构建属于自己的中文大模型应用。","\u003Cp align=\"left\">\n    \u003Ca href=\"README_EN.md\">English\u003C\u002Fa> ｜ 中文\n\u003C\u002Fp>\n\n\u003Ch1 align=\"center\">\n  Llama中文社区\n\u003C\u002Fh1>\n\u003Cp align=\"center\" width=\"100%\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FLlamaFamily_Llama-Chinese_readme_b7734f305706.jpg\" alt=\"Llama\" style=\"width: 20%; display: block; margin: auto;\">\u003C\u002Fa>\n\u003C\u002Fp>\n\u003Cp align=\"center\">\n  \u003Cfont face=\"黑体\" color=orange size=\"6\"> 最好的Llama大模型开源社区 \u003C\u002Ffont>\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n🤗 \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002FFlagAlpha\" target=\"_blank\">Hugging Face\u003C\u002Fa> • 🤖 \u003Ca href=\"https:\u002F\u002Fwww.modelscope.cn\u002Forganization\u002FFlagAlpha\u002F\" target=\"_blank\">ModelScope\u003C\u002Fa> • ✡️ \u003Ca href=\"https:\u002F\u002Fwisemodel.cn\u002Fmodels\u002FFlagAlpha\u002FAtom-7B-Chat\" target=\"_blank\">WiseModel\u003C\u002Fa>\n\u003C\u002Fp> \n\n\u003Cp align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Fllama.com\">Llama4原生多模态MoE模型发布！\u003C\u002Fa>\n\u003C\u002Fp>\n\u003Cp align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002FFlagAlpha\u002FAtom-7B-Chat\">基于Llama的开源中文预训练大模型Atom\u003C\u002Fa>\n\u003C\u002Fp>\n\n\u003C\u002Fbr>\u003C\u002Fbr>\n\n\n## 🗂️ 目录\n- [🗂️ 目录](#️-目录)\n- [📌 Llama中文社区](#-llama中文社区)\n  - [🔥 社区介绍](#-社区介绍)\n    - [为什么选择Llama中文社区？](#为什么选择llama中文社区)\n    - [社区活动](#社区活动)\n    - [立即加入我们！](#立即加入我们)\n  - [🪵 社区资源](#-社区资源)\n    - [💻 算力](#-算力)\n    - [📊 数据](#-数据)\n    - [💬 论坛](#-论坛)\n    - [📱 应用](#-应用)\n  - [📢 最新动态](#-最新动态)\n  - [🤗 模型发布](#-模型发布)\n    - [中文预训练模型Atom](#中文预训练模型atom)\n    - [Llama4官方模型](#llama4官方模型)\n    - [Llama3官方模型](#llama3官方模型)\n    - [Llama3中文微调模型](#llama3中文微调模型)\n    - [Llama2官方模型](#llama2官方模型)\n    - [Llama2中文微调模型](#llama2中文微调模型)\n- [📌 如何使用Llama模型](#-如何使用llama模型)\n  - [快速上手-使用Anaconda](#快速上手-使用anaconda)\n  - [快速上手-使用Docker](#快速上手-使用docker)\n  - [快速上手-使用llama.cpp](#快速上手-使用llamacpp)\n  - [快速上手-使用gradio](#快速上手-使用gradio)\n  - [快速上手-构建API服务](#快速上手-构建api服务)\n  - [快速上手-使用ollama运行](#快速上手-使用ollama运行)\n- [🤖 模型预训练](#-模型预训练)\n- [💡 模型微调](#-模型微调)\n  - [Step1: 环境准备](#step1-环境准备)\n  - [Step2: 数据准备](#step2-数据准备)\n  - [Step3: 微调脚本](#step3-微调脚本)\n    - [LoRA微调](#lora微调)\n    - [全量参数微调](#全量参数微调)\n  - [Step4: 加载微调模型](#step4-加载微调模型)\n    - [LoRA微调](#lora微调-1)\n    - [全量参数微调](#全量参数微调-1)\n- [🍄 模型量化](#-模型量化)\n- [🚀 部署加速](#-部署加速)\n  - [TensorRT-LLM](#tensorrt-llm)\n  - [vLLM](#vllm)\n  - [JittorLLMs](#jittorllms)\n  - [lmdeploy](#lmdeploy)\n- [💪 外延能力](#-外延能力)\n  - [LangChain](#langchain)\n- [🥇 模型评测](#-模型评测)\n  - [Llama4模型评测](#llama4模型评测)\n  - [Llama2和Llama3对比评测](#llama2和llama3对比评测)\n  - [Llama3模型评测](#llama3模型评测)\n  - [Llama2模型评测](#llama2模型评测)\n- [📖 学习中心](#-学习中心)\n  - [官方文档](#官方文档)\n  - [社区文档](#社区文档)\n  - [Llama相关论文](#llama相关论文)\n- [📌 其它](#-其它)\n  - [🎉 致谢](#-致谢)\n  - [🤔 问题反馈](#-问题反馈)\n\n\n## 📌 Llama中文社区\n\n### 🔥 社区介绍\n\n欢迎来到Llama中文社区！Llama模型的开源无疑极大促进了大模型技术的发展，我们致力于构建一个开放平台，能够让所有的开发者与技术爱好者一起共创Llama开源生态。从大模型到小模型，从文本到多模态，从软件到硬件算法优化，我们期望开源能够带给全人类以AI普惠。在一个科技爆发的时代，加入Llama Family，与技术一同进步，与社区一同前行，一起迈向AGI！\n\n\u003Cdetails>\n\n#### 为什么选择Llama中文社区？\n🚀 **高级工程师团队支持**：社区有一批专注为大家服务的NLP高级工程师，我们有着强大的技术支持和丰富的经验，为您提供专业的指导和帮助。\n\n🎯 **中文优化**：我们致力于在Llama模型的中文处理方面进行优化，探索适用于中文的最佳实践，以提升其性能和适应性【支持Llama2、Llama3、Llama4】。\n\n💡 **创新交流**：我们拥有一支富有创造力和经验的社区成员团队，定期组织线上活动、技术研讨和经验分享，促进成员间的创新交流。\n\n🌐 **全球联结**：我们欢迎来自世界各地的开发者加入社区，构建一个开放、多元化的学习和交流平台。\n\n🤝 **开放共享**：我们鼓励社区成员开源分享代码和模型，推动合作共赢，共同促进中文NLP技术的发展。\n\n#### 社区活动\n🗓️ **线上讲座**：邀请行业内专家进行线上讲座，分享Llama在中文NLP领域的最新技术和应用，探讨前沿研究成果。\n\n💻 **项目展示**：成员可展示自己在Llama中文优化方面的项目成果，获得反馈和建议，促进项目协作。\n\n📚 **学习资源**：社区维护丰富的学习资料库，包括教程、文档和论文解读，为成员提供全面的学习支持。\n\n📝 **论文解读**：社区成员共同解读与Llama相关的最新研究论文，深入理解前沿算法和方法。\n\n🎉 **主题活动**：定期举办各类主题活动，包括挑战赛、黑客马拉松和技术沙龙，让社区成员在轻松愉快的氛围中交流和学习。\n\n🌟 **奖励计划**：我们设立奖励计划，对社区中积极参与、贡献优秀的成员给予荣誉和奖励，激励更多优秀人才的加入。\n\n📈 **技术咨询**：我们提供技术咨询服务，解答您在Llama开发和优化过程中遇到的问题，助您快速攻克难关。\n\n🚀 **项目合作**：鼓励成员间的项目合作，共同探索Llama在实际应用中的潜力，打造创新解决方案。\n\n\n#### 立即加入我们！\n📚 **愿景**：无论您是对Llama已有研究和应用经验的专业开发者，还是对Llama中文优化感兴趣并希望深入探索的新手，我们都热切期待您的加入。在Llama中文社区，您将有机会与行业内顶尖人才共同交流，携手推动中文NLP技术的进步，开创更加美好的技术未来！\n\n🔗 **温馨提示**：本社区为专业技术交流平台，我们热切期望志同道合的开发者和研究者加入。请遵守社区准则，共同维护积极向上的学习氛围。感谢您的理解和支持！\n\n\u003C\u002Fdetails>\n\n\n### 🪵 社区资源\n社区资源的丰富性是社区发展的重要保障，它涵盖了各种方面，其中包括但不限于以下四个方面：算力、数据、论坛和应用。在这些方面的积极发展与充分利用，将为社区成员提供更多的机会和支持，推动整个社区向着更加繁荣的方向发展。更多的内容请看[llama.family](https:\u002F\u002Fllama.family\u002F)\n\n\u003Cdetails>\n\n#### 💻 算力\n- 提供低于市场价格的算力资源，可用于各类计算任务，如深度学习模型的训练、推理等。\n- 为社区成员提供专属的在线推理服务，让用户可以快速有效地对模型进行推理操作。\n- 提供一键在线微调服务，使用户可以方便地对模型进行微调，以适应不同的任务和数据。\n\n#### 📊 数据\n- 开放丰富的训练数据资源，覆盖多个领域和行业，为模型训练提供充足的数据支持。\n- 提供高质量、多样化的数据集，以满足不同用户的需求，并支持数据共享和交流，促进数据资源的充分利用。\n\n#### 💬 论坛\n- 社区论坛为社区成员提供了一个在线交流和讨论技术问题的平台。\n- 在论坛上，用户可以分享经验、提出问题、解答疑惑，促进技术交流和合作。\n- 论坛还可以定期举办线上活动、研讨会等，增进社区成员之间的联系和了解。\n\n#### 📱 应用\n- 免费提供应用推广展示位，让开发者可以将他们的应用充分展示给社区成员。\n- 提供推广的帮助，包括但不限于宣传推广、用户引导等服务，帮助应用获得更多的曝光和用户。\n- 通过社区平台，为优秀的应用提供合作机会，促进应用开发者之间的合作和交流，共同推动应用的发展和壮大。\n\n\u003C\u002Fdetails>\n\n\n### 📢 最新动态\n\n【最新】2025年04月05日：原生多模态MoE架构的[Llama 4](https:\u002F\u002Fai.meta.com\u002Fblog\u002Fllama-4-multimodal-intelligence\u002F?utm_source=llama-home-latest-updates&utm_medium=llama-referral&utm_campaign=llama-utm&utm_offering=llama-aiblog&utm_product=llama)开源！最高达2T参数的Behemoth模型，以及Maverick、Scout。\n\n【最新】2024年12月06日：[Llama 3.3](https:\u002F\u002Fllama.meta.com\u002Fdocs\u002Foverview)模型发布，更新70B Instruct模型。\n\n【最新】2024年09月25日：[Llama 3.2](https:\u002F\u002Fllama.meta.com\u002Fdocs\u002Foverview)模型发布，核心主打1B、3B端侧小模型，以及11B、90B多模态输入模型！\n\n【最新】2024年07月24日：开源最强[Llama 3.1](https:\u002F\u002Fllama.meta.com\u002Fdocs\u002Foverview)模型发布，包含8B、70B和405B！\n\n【最新】2024年07月16日：[社区论坛](https:\u002F\u002Fforum.llamafamily.cn\u002F)上线，有大模型问题，就找Llama中文社区！\n\n【最新】2024年05月15日：支持ollama运行Llama3-Chinese-8B-Instruct、Atom-7B-Chat，[详细使用方法](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese?tab=readme-ov-file#%E5%BF%AB%E9%80%9F%E4%B8%8A%E6%89%8B-%E4%BD%BF%E7%94%A8ollama%E8%BF%90%E8%A1%8C)。\n\n【最新】2024年04月23日：社区增加了llama3 8B中文微调模型[Llama3-Chinese-8B-Instruct](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese?tab=readme-ov-file#llama3%E4%B8%AD%E6%96%87%E5%BE%AE%E8%B0%83%E6%A8%A1%E5%9E%8B)以及对应的[免费API调用](https:\u002F\u002Fllama.family\u002Fdocs\u002Fchat-completion-v1)。\n \n【最新】2024年04月19日：社区增加了llama3 8B、llama3 70B[在线体验链接](https:\u002F\u002Fllama.family\u002Fchat\u002F#\u002F)。\n\n【最新】2024年04月14日：社区更新了四个专家角色：心理咨询师、羊驼夸夸 、律师、医生。链接：[角色role](https:\u002F\u002Fllama.family\u002Ftools\u002F#\u002Fagent)。\n\n【最新】2024年04月10日：Atom-7B-Chat 模型回答内容相较之前更为丰富、增强了模型的指令遵循能力和回答稳定性、优化了ppo的奖励模型。下载链接[modelscope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FFlagAlpha\u002FAtom-7B-Chat)、[Huggingface](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha\u002FAtom-7B-Chat)。\n\n【最新】2024年04月01日：社区上线了Llama中文[应用平台](https:\u002F\u002Fllama.family\u002Fstore)；同时如果你有优秀的的应用需要推广可以填写[申请表](https:\u002F\u002Fatomecho.feishu.cn\u002Fshare\u002Fbase\u002Fform\u002FshrcnFqpN71OmBoXDCT6y0TQgIc)。\n\n【最新】2024年03月08日：开放了免费API供大家使用，包含（Atom-1B,7B,13B 3种中文大模型）[API使用链接](https:\u002F\u002Fllama.family\u002Fdocs\u002Fchat-completion-v1)\n\n【最新】2024年04月14日：社区更新了四个专家角色：心理咨询师、羊驼夸夸 、律师、医生。链接：[角色role](https:\u002F\u002Fllama.family\u002Ftools\u002F#\u002Fagent)。\n\n【最新】2024年04月10日：Atom-7B-Chat 模型回答内容相较之前更为丰富、增强了模型的指令遵循能力和回答稳定性、优化了ppo的奖励模型。下载链接[modelscope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FFlagAlpha\u002FAtom-7B-Chat)、[Huggingface](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha\u002FAtom-7B-Chat)。\n\n【最新】2024年04月01日：社区上线了Llama中文[应用平台](https:\u002F\u002Fllama.family\u002Fstore)；同时如果你有优秀的的应用需要推广可以填写[申请表](https:\u002F\u002Fatomecho.feishu.cn\u002Fshare\u002Fbase\u002Fform\u002FshrcnFqpN71OmBoXDCT6y0TQgIc)。\n\n【最新】2024年03月28日：[社区免费公开课](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FCsturoU1pOX11CqVnZgu2A)。\n\n【最新】2024年03月08日：开放了免费API供大家使用，包含（Atom-1B,7B,13B 3种中文大模型）[API使用链接](https:\u002F\u002Fllama.family\u002Fdocs\u002Fchat-completion-v1)\n\n【最新】2023年10月8日：新增清华大学JittorLLMs的推理加速功能[JittorLLMs](#jittorllms)！\n\n\u003Cdetails>\n\n- 2023年9月12日：更新预训练版本[Atom-7B](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha\u002FAtom-7B)和对话版本[Atom-7B-Chat](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha\u002FAtom-7B-Chat)模型参数，最新的中文预训练数据量为2.7TB token，训练进程见[llama.family](https:\u002F\u002Fllama.family\u002F)！\n\n- 2023年9月2日：新增模型[预训练代码](#-模型预训练)和[全量参数微调代码](#-模型微调)！\n  \n- 2023年8月28日：发布基于Llama2进行中文预训练的开源大模型[Atom-7B](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha\u002FAtom-7B)，并将持续更新，详情参考[社区公众号文章](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FBdx0JTVh1kgPn5ydYxIkEw)！\n\n- 2023年8月26日：提供[FastAPI](#fastapi接口搭建)接口搭建脚本！\n\n- 2023年8月26日：提供将Meta原始模型参数转换为兼容Hugging Face的[格式转化脚本](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Fblob\u002Fmain\u002Fscripts\u002Fconvert2hf\u002FREADME.md)！\n\n- 2023年8月26日：新增[Code Llama](#-代码模型)模型！\n\n- 2023年8月15日：新增[PEFT加载微调模型参数](#加载微调模型)的代码示例！\n\n- 2023年8月14日：[大模型数据共享训练平台](https:\u002F\u002Fllama.family)上线，没有算力也能参与大模型训练，社区每位成员贡献的数据都将决定模型能力的未来走向！\n\n- 2023年8月3日：新增FasterTransformer和vLLM的GPU[推理加速](#-推理加速)支持！\n\n- 2023年7月31日：【重磅】国内首个真正意义上的Llama2中文大模型发布！详情参见[社区公众号文章](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FlExUU7z_MvgJ7tzQPF8tUQ)\n\n- 2023年7月28日：通过[Docker部署](#docker部署问答接口)问答接口！\n\n- 2023年7月27日：新增[LangChain](#langchain)支持！\n\n- 2023年7月26日：新增Llama2-13B中文微调参数的[4bit量化压缩版本](#-模型量化)！\n\n- 2023年7月25日：社区微信公众号“Llama中文社区”欢迎大家关注，获取最新分享和动态！\n\n- 2023年7月24日：[FlagAlpha](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha)新增Llama2-13B中文微调参数！\n\n- 2023年7月24日：[llama.family](https:\u002F\u002Fllama.family\u002F)新增Llama2-70B在线体验！\n\n- 2023年7月23日：Llama2中文微调参数发布至Hugging Face仓库[FlagAlpha](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha)！\n\n- 2023年7月22日：Llama2在线体验链接[llama.family](https:\u002F\u002Fllama.family\u002F)上线，同时包含Meta原版和中文微调版本！\n\n- 2023年7月21日：评测了Meta原始版Llama2 Chat模型的[中文问答能力](#-模型评测)！\n\n- 2023年7月21日：新增Llama2模型的Hugging Face版本国内下载地址！\n\n- 2023年7月20日：新增[飞书知识库文档](https:\u002F\u002Fchinesellama.feishu.cn\u002Fwiki\u002Fspace\u002F7257824476874768388?ccm_open_type=lark_wiki_spaceLink)，欢迎大家一起共建！\n\n- 2023年7月20日：国内Llama2最新下载地址上线！\n\n- 2023年7月19日：正式启动Llama2模型的中文预训练，关注我们获取实时动态！\n\n- 2023年7月19日：Llama2国内下载地址正在启动，敬请期待！\n\n- 2023年7月19日：开启Llama2中文社区，欢迎大家加入！\n\n\u003C\u002Fdetails>\n\n\n### 🤗 模型发布\n\n#### 中文预训练模型Atom\n\n**原子大模型Atom**由Llama中文社区和原子回声联合打造。\n\n|  类别  | 模型名称        | 🤗模型加载名称                  | 下载地址                                                     |\n| --------------- | --------------- | ------------------------------ | ------------------------------------------------------------ |\n|  预训练  | Atom-7B  | FlagAlpha\u002FAtom-7B  | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha\u002FAtom-7B) \\| [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FFlagAlpha\u002FAtom-7B) \\| [WiseModel](https:\u002F\u002Fwisemodel.cn\u002Fmodels\u002FFlagAlpha\u002FAtom-7B) |\n|  Chat  | Atom-7B-Chat  | FlagAlpha\u002FAtom-7B-Chat  | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha\u002FAtom-7B-Chat) \\| [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FFlagAlpha\u002FAtom-7B-Chat) \\| [WiseModel](https:\u002F\u002Fwisemodel.cn\u002Fmodels\u002FFlagAlpha\u002FAtom-7B-Chat)|\n\nAtom系列模型包含Atom-13B、Atom-7B和Atom-1B，基于Llama2做了中文能力的持续优化。Atom-7B和Atom-7B-Chat目前已完全开源，支持商用，可在[Hugging Face](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha)仓库获取模型，详情见[Atom-7B下载](#基于llama2的中文预训练模型atom)。Atom大模型针对中文做了以下优化：\n\n- 大规模的中文数据预训练\n\n    原子大模型Atom在Llama2的基础上，采用大规模的中文数据进行持续预训练，包含百科、书籍、博客、新闻、公告、小说、金融数据、法律数据、医疗数据、代码数据、专业论文数据、中文自然语言处理竞赛数据集等。同时对庞大的数据进行了过滤、打分、去重，筛选出超过1T token的高质量中文数据，持续不断加入训练迭代中。\n\n- 更高效的中文词表\n\n    为了提高中文文本处理的效率，我们针对Llama2模型的词表进行了深度优化。首先，我们基于数百G的中文文本，在该模型词表的基础上扩展词库至65,000个单词。经过测试，我们的改进使得中文编码\u002F解码速度提高了约350％。此外，我们还扩大了中文字符集的覆盖范围，包括所有emoji符号😊。这使得生成带有表情符号的文章更加高效。\n\n- 自适应上下文扩展\n\n    Atom大模型默认支持4K上下文，利用位置插值PI和Neural Tangent Kernel （NTK）方法，经过微调可以将上下文长度扩增到32K。\n\n📝 中文数据详情如下：\n\n| 类型                                                       | 描述                                                         |\n| ---------------------------------------------------------- | ------------------------------------------------------------ |\n| 网络数据                                                   | 互联网上公开的网络数据，挑选出去重后的高质量中文数据，涉及到百科、书籍、博客、新闻、公告、小说等高质量长文本数据。 |\n| [Wikipedia](https:\u002F\u002Fgithub.com\u002Fgoldsmith\u002FWikipedia)        | 中文Wikipedia的数据                                          |\n| [悟道](https:\u002F\u002Fgithub.com\u002FBAAI-WuDao\u002FModel)                | 中文悟道开源的200G数据                                       |\n| [Clue](https:\u002F\u002Fgithub.com\u002FCLUEbenchmark\u002FCLUEDatasetSearch) | Clue开放的中文预训练数据，进行清洗后的高质量中文长文本数据   |\n| 竞赛数据集                                                 | 近年来中文自然语言处理多任务竞赛数据集，约150个              |\n| [MNBVC](https:\u002F\u002Fgithub.com\u002Fesbatmop\u002FMNBVC)                 | MNBVC 中清洗出来的部分数据集  |\n\n社区提供预训练版本Atom-7B和基于Atom-7B进行对话微调的模型参数供开放下载，关于模型的进展详见社区官网[llama.family](https:\u002F\u002Fllama.family)。\n\n\n#### Llama4官方模型\n\n|  类别  | 模型名称   | 🤗模型加载名称             | 下载地址                                                     |\n|  ----------  | ---------- | ------------------------- | --------------------- |\n|  预训练  | Llama-4-Scout-17B-16E  | meta-llama\u002FLlama-4-Scout-17B-16E  | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-4-Scout-17B-16E) |\n|  对话模型  | Llama-4-Scout-17B-16E-Instruct | meta-llama\u002FLlama-4-Scout-17B-16E-Instruct | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-4-Scout-17B-16E-Instruct) |\n|  预训练  | Llama-4-Maverick-17B-128E  | meta-llama\u002FLlama-4-Maverick-17B-128E  | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-4-Maverick-17B-128E) |\n|  对话模型  | Llama-4-Maverick-17B-128E-Instruct  | meta-llama\u002FLlama-4-Maverick-17B-128E-Instruct  | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-4-Maverick-17B-128E-Instruct) |\n\n\n#### Llama3官方模型\n注意：仅保留同等参数量级模型的最新版本。\n\n|  类别  | 模型名称   | 🤗模型加载名称             | 下载地址                                                     |\n|  ----------  | ---------- | ------------------------- | --------------------- |\n|  预训练  | Llama-3.2-1B  | meta-llama\u002FLlama-3.2-1B  | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-3.2-1B) |\n|  对话模型  | Llama-3.2-1B-Instruct | meta-llama\u002FLlama-3.2-1B-Instruct | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-3.2-1B-Instruct) |\n|  预训练  | Llama-3.2-3B  | meta-llama\u002FLlama-3.2-3B  | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-3.2-3B) |\n|  对话模型  | Llama-3.2-3B-Instruct | meta-llama\u002FLlama-3.2-3B-Instruct | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-3.2-3B-Instruct) |\n|  预训练  | Llama-3.1-8B  | meta-llama\u002FLlama-3.1-8B  | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-3.1-8B) |\n|  对话模型  | Llama-3.1-8B-Instruct | meta-llama\u002FLlama-3.1-8B-Instruct | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-3.1-8B-Instruct) |\n|  预训练  | Llama-3.1-70B  | meta-llama\u002FLlama-3.1-70B  | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-3.1-70B)|\n|  对话模型  | Llama-3.3-70B-Instruct  | meta-llama\u002FLlama-3.3-70B-Instruct  | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-3.3-70B-Instruct) |\n|  预训练  | Llama-3.1-405B  | meta-llama\u002FLlama-3.1-405B  | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-3.1-405B)|\n|  对话模型  | Llama-3.1-405B-Instruct  | meta-llama\u002FLlama-3.1-405B-Instruct  | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-3.1-405B-Instruct)|\n|  多模态预训练  | Llama-3.2-11B-Vision  | meta-llama\u002FLlama-3.2-11B-Vision  | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-3.2-11B-Vision)|\n|  多模态对话模型  | Llama-3.2-11B-Vision-Instruct  | meta-llama\u002FLlama-3.2-11B-Vision-Instruct  | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-3.2-11B-Vision-Instruct)|\n|  多模态预训练  | Llama-3.2-90B-Vision  | meta-llama\u002FLlama-3.2-90B-Vision  | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-3.2-90B-Vision)|\n|  多模态对话模型  | Llama-3.2-90B-Vision-Instruct  | meta-llama\u002FLlama-3.2-90B-Vision-Instruct  | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-3.2-90B-Vision-Instruct)|\n\n\n#### Llama3中文微调模型\n\n|  类别  | 模型名称   | 🤗模型加载名称             | 下载地址                                                     |\n|  ----------  | ---------- | ------------------------- | --------------------- |\n|  对话模型  | Llama3-Chinese-8B-Instruct  | FlagAlpha\u002FLlama3-Chinese-8B-Instruct  | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha\u002FLlama3-Chinese-8B-Instruct) \\| [modelscope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FFlagAlpha\u002FLlama3-Chinese-8B-Instruct\u002Fsummary) \\| [wisemodel](https:\u002F\u002Fwisemodel.cn\u002Fmodels\u002FFlagAlpha\u002FLlama3-Chinese-8B-Instruct\u002Ffile) |\n\n\n#### Llama2官方模型\n\n\u003C!-- \u003Cdetails> -->\n\n|  类别  | 模型名称   | 🤗模型加载名称             | 下载地址                                                     |\n|  ----------  | ---------- | ------------------------- | --------------------- |\n|  预训练  | Llama2-7B  | meta-llama\u002FLlama-2-7b-hf  | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-2-7b-hf) \\| [迅雷网盘](https:\u002F\u002Fpan.xunlei.com\u002Fs\u002FVN_t0dUikZqOwt-5DZWHuMvqA1?pwd=66ep) |\n|  预训练  | Llama2-13B | meta-llama\u002FLlama-2-13b-hf | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-2-13b-hf) \\| [迅雷网盘](https:\u002F\u002Fpan.xunlei.com\u002Fs\u002FVN_yT_9G8xNOz0SDWQ7Mb_GZA1?pwd=yvgf) |\n|  预训练  | Llama2-70B | meta-llama\u002FLlama-2-70b-hf | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-2-70b-hf) |\n|  Chat  | Llama2-7B-Chat  | meta-llama\u002FLlama-2-7b-chat-hf  | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-2-7b-chat-hf) \\| [迅雷网盘](https:\u002F\u002Fpan.xunlei.com\u002Fs\u002FVN_oaV4BpKFgKLto4KgOhBcaA1?pwd=ufir) |\n|  Chat  | Llama2-13B-Chat | meta-llama\u002FLlama-2-13b-chat-hf | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-2-13b-chat-hf) \\| [迅雷网盘](https:\u002F\u002Fpan.xunlei.com\u002Fs\u002FVN_yA-9G34NGL9B79b3OQZZGA1?pwd=xqrg) |\n|  Chat  | Llama2-70B-Chat | meta-llama\u002FLlama-2-70b-chat-hf | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-2-70b-chat-hf) \\| [迅雷网盘](https:\u002F\u002Fpan.xunlei.com\u002Fs\u002FVNa_vCGzCy3h3N7oeFXs2W1hA1?pwd=uhxh#) |\n| Code  | CodeLlama-7b    |   meta-llama\u002FLlama-2-70b-chat-hf              | [迅雷网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1cIPzdNywWLvQI7_2QanOEQ?pwd=zfwi) |\n| Code  | CodeLlama-7b-Python    |   meta-llama\u002FLlama-2-70b-chat-hf              | [迅雷网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1liY8klGoDagYbpw-g-oFag?pwd=i952) |\n| Code  | CodeLlama-7b-Instruct    |   meta-llama\u002FLlama-2-70b-chat-hf              | [迅雷网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F108o9_DT2E_vfSGtOnDCQVw?pwd=zkt9) |\n| Code  | CodeLlama-13b    |   meta-llama\u002FLlama-2-70b-chat-hf              | [迅雷网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1lLaeHv0XEBv0iiZzI1dpnw?pwd=qn99) |\n| Code  | CodeLlama-13b-Python    |   meta-llama\u002FLlama-2-70b-chat-hf              | [迅雷网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1OLVfvZS_oqL3oqMKwsI87w?pwd=a78k) |\n| Code  | CodeLlama-13b-Instruct    |   meta-llama\u002FLlama-2-70b-chat-hf              | [迅雷网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1HyxJl4w8wElgkZRh2ATrXQ?pwd=seg6) |\n| Code  | CodeLlama-34b    |   meta-llama\u002FLlama-2-70b-chat-hf              | [迅雷网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1vEw0pFgIkctPUN4_5_6pIQ?pwd=q8eu) |\n\nMeta官方在2023年8月24日发布了Code Llama，基于代码数据对Llama2进行了微调，提供三个不同功能的版本：基础模型（Code Llama）、Python专用模型（Code Llama - Python）和指令跟随模型（Code Llama - Instruct），包含7B、13B、34B三种不同参数规模。不同模型能力区别如下表所示：\n\n|  模型类别          |        模型名称         | 代码续写 | 代码填充 | 指令编程 |\n|-----------------------|------------------------|------|------|------|\n| Code Llama            | CodeLlama-7b           | ✅    | ✅    | ❌    |\n|                       | CodeLlama-13b          | ✅    | ✅    | ❌    |\n|                       | CodeLlama-34b          | ✅    | ❌    | ❌    |\n| Code Llama - Python   | CodeLlama-7b-Python    | ✅    | ❌    | ❌    |\n|                       | CodeLlama-13b-Python   | ✅    | ❌    | ❌    |\n|                       | CodeLlama-34b-Python   | ✅    | ❌    | ❌    |\n| Code Llama - Instruct | CodeLlama-7b-Instruct  | ❌    | ✅    | ✅    |\n|                       | CodeLlama-13b-Instruct | ❌    | ✅    | ✅    |\n|                       | CodeLlama-34b-Instruct | ❌    | ❌    | ✅    |\n\n关于Code Llama的详细信息可以参考官方Github仓库[codellama](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fcodellama)。\n\n\u003C!-- \u003C\u002Fdetails> -->\n\n\n#### Llama2中文微调模型\n\n我们基于中文指令数据集对Llama2-Chat模型进行了微调，使得Llama2模型有着更强的中文对话能力。LoRA参数以及与基础模型合并的参数均已上传至[Hugging Face](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha)，目前包含7B和13B的模型。\n\n|  类别  | 模型名称   | 🤗模型加载名称             | 基础模型版本 |    下载地址                                                     |\n|  ----------  | ---------- | ------------- |  ----------------- | ------------------- |\n|  合并参数 | Llama2-Chinese-7b-Chat | FlagAlpha\u002FLlama2-Chinese-7b-Chat  |    meta-llama\u002FLlama-2-7b-chat-hf       |[HuggingFace](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha\u002FLlama2-Chinese-7b-Chat)  |\n|  合并参数 | Llama2-Chinese-13b-Chat | FlagAlpha\u002FLlama2-Chinese-13b-Chat|     meta-llama\u002FLlama-2-13b-chat-hf     |[HuggingFace](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha\u002FLlama2-Chinese-13b-Chat) |\n|  LoRA参数 | Llama2-Chinese-7b-Chat-LoRA  | FlagAlpha\u002FLlama2-Chinese-7b-Chat-LoRA  |     meta-llama\u002FLlama-2-7b-chat-hf      |[HuggingFace](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha\u002FLlama2-Chinese-7b-Chat-LoRA) |\n|  LoRA参数 | Llama2-Chinese-13b-Chat-LoRA | FlagAlpha\u002FLlama2-Chinese-13b-Chat-LoRA |     meta-llama\u002FLlama-2-13b-chat-hf     |[HuggingFace](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha\u002FLlama2-Chinese-13b-Chat-LoRA) |\n\n\n## 📌 如何使用Llama模型\n\n\n你可以选择下面的快速上手的任一种方式，开始使用 Llama 系列模型。推荐使用[中文预训练对话模型](#llama2中文预训练模型atom-7b)进行使用，对中文的效果支持更好。\n\n\n### 快速上手-使用Anaconda\n\n第 0 步：前提条件\n- 确保安装了 Python 3.10 以上版本。\n\n第 1 步：准备环境\n\n如需设置环境，安装所需要的软件包，运行下面的命令。\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese.git\ncd Llama-Chinese\npip install -r requirements.txt\n```\n\n第 2 步：下载模型\n\n你可以从以下来源下载Atom-7B-Chat模型。\n- [HuggingFace](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha)\n- [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Forganization\u002FFlagAlpha)\n- [WiseModel](https:\u002F\u002Fwisemodel.cn\u002Fmodels\u002FFlagAlpha\u002FAtom-7B-Chat)\n\n第 3 步：进行推理\n\n使用Atom-7B-Chat模型进行推理\n创建一个名为 quick_start.py 的文件，并将以下内容复制到该文件中。\n```python\nimport torch\nfrom transformers import AutoTokenizer, AutoModelForCausalLM\ndevice_map = \"cuda:0\" if torch.cuda.is_available() else \"auto\"\nmodel = AutoModelForCausalLM.from_pretrained('FlagAlpha\u002FAtom-7B-Chat',device_map=device_map,torch_dtype=torch.float16,load_in_8bit=True,trust_remote_code=True,use_flash_attention_2=True)\nmodel =model.eval()\ntokenizer = AutoTokenizer.from_pretrained('FlagAlpha\u002FAtom-7B-Chat',use_fast=False)\ntokenizer.pad_token = tokenizer.eos_token\ninput_ids = tokenizer(['\u003Cs>Human: 介绍一下中国\\n\u003C\u002Fs>\u003Cs>Assistant: '], return_tensors=\"pt\",add_special_tokens=False).input_ids\nif torch.cuda.is_available():\n  input_ids = input_ids.to('cuda')\ngenerate_input = {\n    \"input_ids\":input_ids,\n    \"max_new_tokens\":512,\n    \"do_sample\":True,\n    \"top_k\":50,\n    \"top_p\":0.95,\n    \"temperature\":0.3,\n    \"repetition_penalty\":1.3,\n    \"eos_token_id\":tokenizer.eos_token_id,\n    \"bos_token_id\":tokenizer.bos_token_id,\n    \"pad_token_id\":tokenizer.pad_token_id\n}\ngenerate_ids  = model.generate(**generate_input)\ntext = tokenizer.decode(generate_ids[0])\nprint(text)\n```\n\n运行 quick_start.py 代码。\n```bash\npython quick_start.py\n```\n\n### 快速上手-使用Docker\n\n详情参见：[Docker部署](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Fblob\u002Fmain\u002Fdocs\u002Fchat_gradio_guide.md)\n\n第 1 步：准备docker镜像，通过docker容器启动[chat_gradio.py](..\u002Fexamples\u002Fchat_gradio.py)\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese.git\n\ncd Llama-Chinese\n\ndocker build -f docker\u002FDockerfile -t flagalpha\u002Fllama2-chinese:gradio .\n```\n\n第 2 步：通过docker-compose启动chat_gradio\n```bash\ncd Llama-Chinese\u002Fdocker\ndocker-compose up -d --build\n```\n\n### 快速上手-使用llama.cpp\n详情参见：[使用llama.cpp](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Fblob\u002Fmain\u002Finference-speed\u002FCPU\u002Fggml\u002FREADME.md)\n\n### 快速上手-使用gradio\n基于gradio搭建的问答界面，实现了流式的输出，将下面代码复制到控制台运行，以下代码以Atom-7B-Chat模型为例，不同模型只需修改一下面的model_name_or_path对应的模型名称就好了😊\n```\npython examples\u002Fchat_gradio.py --model_name_or_path FlagAlpha\u002FAtom-7B-Chat\n```\n\n### 快速上手-构建API服务\n使用FastChat构建和OpenAI一致的推理服务接口。\n\n\u003C!-- \u003Cdetails> -->\n第 0 步：前提条件\n\n安装fastchat\n```bash\npip3 install \"fschat[model_worker,webui]\"\n```\n第 1 步：启动Restful API\n\n开启三个控制台分别执行下面的三个命令\n- 首先启动controler\n```bash\npython3 -m fastchat.serve.controller \\\n--host localhost \\\n--port 21001\n```\n\n- 启动模型\n```bash\nCUDA_VISIBLE_DEVICES=\"0\" python3 -m fastchat.serve.model_worker --model-path \u002Fpath\u002FAtom-7B-Chat \\\n--host localhost \\\n--port 21002 \\\n--worker-address \"http:\u002F\u002Flocalhost:21002\" \\\n--limit-worker-concurrency 5 \\\n--stream-interval 2 \\\n--gpus \"1\" \\\n--load-8bit\n```\n\n- 启动RESTful API 服务\n```bash\npython3 -m fastchat.serve.openai_api_server \\\n--host localhost \\\n--port 21003 \\\n--controller-address http:\u002F\u002Flocalhost:21001\n```\n\n第 2 步：测试api服务\n\n执行下面的python代码测试上面部署的api服务\n```python\n# coding=utf-8\nimport json\nimport time\nimport urllib.request\nimport sys\nimport requests\n\ndef test_api_server(input_text):\n    header = {'Content-Type': 'application\u002Fjson'}\n\n    data = {\n          \"messages\": [{\"role\": \"system\", \"content\": \"\"}, {\"role\": \"user\", \"content\": input_text}],\n          \"temperature\": 0.3, \n          \"top_p\" : 0.95, \n          \"max_tokens\": 512, \n          \"model\": \"LLama2-Chinese-13B\",\n          \"stream\" : False,\n          \"n\" : 1,\n          \"best_of\": 1, \n          \"presence_penalty\": 1.2, \n          \"frequency_penalty\": 0.2,           \n          \"top_k\": 50, \n          \"use_beam_search\": False, \n          \"stop\": [], \n          \"ignore_eos\" :False,\n          \"logprobs\": None\n    }\n    response = requests.post(\n        url='http:\u002F\u002F127.0.0.1:21003\u002Fv1\u002Fchat\u002Fcompletions',\n        headers=header,\n        data=json.dumps(data).encode('utf-8')\n    )\n\n    result = None\n    try:\n        result = json.loads(response.content)\n        print(json.dumps(data, ensure_ascii=False, indent=2))\n        print(json.dumps(result, ensure_ascii=False, indent=2))\n\n    except Exception as e:\n        print(e)\n\n    return result\n\nif __name__ == \"__main__\":\n    test_api_server(\"如何去北京?\")\n```\n\n\u003C!-- \u003C\u002Fdetails> -->\n\n\n### 快速上手-使用ollama运行\n\n1. 首先需要安装ollama工具\n\n安装方法参考：[https:\u002F\u002Follama.com](https:\u002F\u002Follama.com\u002F)\n\n2. ollama运行Llama3-Chinese-8B-Instruct、Atom-7B-Chat\n\nollama运行基于Llama3进行中文微调的大模型[Llama3-Chinese-8B-Instruct](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha\u002FLlama3-Chinese-8B-Instruct)\n\n打开命令行执行命令\n```\nollama run llamafamily\u002Fllama3-chinese-8b-instruct\n```\n\nollama运行基于Llama2进行中文预训练的开源大模型[Atom-7B-Chat](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha\u002FAtom-7B-Chat)\n\n打开命令行执行命令\n```\nollama run llamafamily\u002Fatom-7b-chat\n```\n\n\n## 🤖 模型预训练\n模型迭代日新月异，虽然Llama2现在使用已经不多，在这里我们还是作为一个学习样例，展示如何做基座模型的预训练与微调。Llama2的预训练数据相对于第一代LLaMA扩大了一倍，但是中文预训练数据的比例依然非常少，仅占0.13%，这也导致了原始Llama2的中文能力较弱。为了能够提升模型的中文能力，可以采用微调和预训练两种路径，其中：\n- 微调需要的算力资源少，能够快速实现一个中文Llama的雏形。但缺点也显而易见，只能激发基座模型已有的中文能力，由于Llama2的中文训练数据本身较少，所以能够激发的能力也有限，治标不治本。\n\n- 基于大规模中文语料进行预训练，成本高，不仅需要大规模高质量的中文数据，也需要大规模的算力资源。但是优点也显而易见，就是能从模型底层优化中文能力，真正达到治本的效果，从内核为大模型注入强大的中文能力。\n\n我们为社区提供了Llama模型的预训练代码，以及[中文测试语料](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Ftree\u002Fmain\u002Fdata)，更多数据可以参考[中文语料](#-中文数据)。具体代码和配置如下：\n- 模型预训练脚本：[train\u002Fpretrain\u002Fpretrain.sh](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Fblob\u002Fmain\u002Ftrain\u002Fpretrain\u002Fpretrain.sh)\n- 预训练实现代码：[train\u002Fpretrain\u002Fpretrain_clm.py](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Fblob\u002Fmain\u002Ftrain\u002Fpretrain\u002Fpretrain_clm.py)\n- [DeepSpeed](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FDeepSpeed)加速：\n  - 对于单卡训练，可以采用ZeRO-2的方式，参数配置见 [train\u002Fpretrain\u002Fds_config_zero2.json](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Fblob\u002Fmain\u002Ftrain\u002Fpretrain\u002Fds_config_zero2.json)\n  - 对于多卡训练，可以采用ZeRO-3的方式，参数配置见 [train\u002Fpretrain\u002Fds_config_zero3.json](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Fblob\u002Fmain\u002Ftrain\u002Fpretrain\u002Fds_config_zero3.json)\n- 训练效果度量指标：[train\u002Fpretrain\u002Faccuracy.py](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Fblob\u002Fmain\u002Ftrain\u002Fpretrain\u002Faccuracy.py)\n\n## 💡 模型微调\n\n本仓库中同时提供了LoRA微调和全量参数微调代码，关于LoRA的详细介绍可以参考论文“[LoRA: Low-Rank Adaptation of Large Language Models](https:\u002F\u002Farxiv.org\u002Fabs\u002F2106.09685)”以及微软Github仓库[LoRA](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FLoRA)。\n\n### Step1: 环境准备\n\n根据[requirements.txt](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Fblob\u002Fmain\u002Frequirements.txt)安装对应的环境依赖。\n\n### Step2: 数据准备\n在data目录下提供了一份用于模型sft的数据样例：\n- 训练数据：[data\u002Ftrain_sft.csv](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Fblob\u002Fmain\u002Fdata\u002Ftrain_sft.csv)\n- 验证数据：[data\u002Fdev_sft.csv](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Fblob\u002Fmain\u002Fdata\u002Fdev_sft.csv)\n\n每个csv文件中包含一列“text”，每一行为一个训练样例，每个训练样例按照以下格式将问题和答案组织为模型输入，您可以按照以下格式自定义训练和验证数据集：\n```\n\"\u003Cs>Human: \"+问题+\"\\n\u003C\u002Fs>\u003Cs>Assistant: \"+答案+\"\\n\"\u003C\u002Fs>\n```\n例如，\n```\n\u003Cs>Human: 用一句话描述地球为什么是独一无二的。\u003C\u002Fs>\u003Cs>Assistant: 因为地球是目前为止唯一已知存在生命的行星。\u003C\u002Fs>\n```\n\n### Step3: 微调脚本\n\n#### LoRA微调\nLoRA微调脚本见：[train\u002Fsft\u002Ffinetune_lora.sh](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Fblob\u002Fmain\u002Ftrain\u002Fsft\u002Ffinetune_lora.sh)，关于LoRA微调的具体实现代码见[train\u002Fsft\u002Ffinetune_clm_lora.py](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Fblob\u002Fmain\u002Ftrain\u002Fsft\u002Ffinetune_clm_lora.py)，单机多卡的微调可以通过修改脚本中的`--include localhost:0`来实现。\n\n#### 全量参数微调\n全量参数微调脚本见：[train\u002Fsft\u002Ffinetune.sh](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Fblob\u002Fmain\u002Ftrain\u002Fsft\u002Ffinetune.sh)，关于全量参数微调的具体实现代码见[train\u002Fsft\u002Ffinetune_clm.py](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Fblob\u002Fmain\u002Ftrain\u002Fsft\u002Ffinetune_clm.py)。\n\n\n### Step4: 加载微调模型\n\n#### LoRA微调\n基于LoRA微调的模型参数见：[基于Llama2的中文微调模型](#llama2中文微调模型)，LoRA参数需要和基础模型参数结合使用。\n\n通过[PEFT](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fpeft)加载预训练模型参数和微调模型参数，以下示例代码中，base_model_name_or_path为预训练模型参数保存路径，finetune_model_path为微调模型参数保存路径。\n\n```python\nimport torch\nfrom transformers import AutoTokenizer, AutoModelForCausalLM\nfrom peft import PeftModel,PeftConfig\n# 例如: finetune_model_path='FlagAlpha\u002FLlama2-Chinese-7b-Chat-LoRA'\nfinetune_model_path=''  \nconfig = PeftConfig.from_pretrained(finetune_model_path)\n# 例如: base_model_name_or_path='meta-llama\u002FLlama-2-7b-chat'\ntokenizer = AutoTokenizer.from_pretrained(config.base_model_name_or_path,use_fast=False)\ntokenizer.pad_token = tokenizer.eos_token\ndevice_map = \"cuda:0\" if torch.cuda.is_available() else \"auto\"\nmodel = AutoModelForCausalLM.from_pretrained(config.base_model_name_or_path,device_map=device_map,torch_dtype=torch.float16,load_in_8bit=True,trust_remote_code=True,use_flash_attention_2=True)\nmodel = PeftModel.from_pretrained(model, finetune_model_path, device_map={\"\": 0})\nmodel =model.eval()\ninput_ids = tokenizer(['\u003Cs>Human: 介绍一下北京\\n\u003C\u002Fs>\u003Cs>Assistant: '], return_tensors=\"pt\",add_special_tokens=False).input_ids\nif torch.cuda.is_available():\n  input_ids = input_ids.to('cuda')\ngenerate_input = {\n    \"input_ids\":input_ids,\n    \"max_new_tokens\":512,\n    \"do_sample\":True,\n    \"top_k\":50,\n    \"top_p\":0.95,\n    \"temperature\":0.3,\n    \"repetition_penalty\":1.3,\n    \"eos_token_id\":tokenizer.eos_token_id,\n    \"bos_token_id\":tokenizer.bos_token_id,\n    \"pad_token_id\":tokenizer.pad_token_id\n}\ngenerate_ids  = model.generate(**generate_input)\ntext = tokenizer.decode(generate_ids[0])\nprint(text)\n```\n\n#### 全量参数微调\n对于全量参数微调的模型，调用方式同[模型调用代码示例](#模型调用代码示例)，只需要修改其中的模型名称或者保存路径即可。\n\n## 🍄 模型量化\n我们对中文微调的模型参数进行了量化，方便以更少的计算资源运行。目前已经在[Hugging Face](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha)上传了13B中文微调模型[FlagAlpha\u002FLlama2-Chinese-13b-Chat](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha\u002FLlama2-Chinese-13b-Chat)的4bit压缩版本[FlagAlpha\u002FLlama2-Chinese-13b-Chat-4bit](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha\u002FLlama2-Chinese-13b-Chat-4bit)，具体调用方式如下：\n\n环境准备：\n```\npip install git+https:\u002F\u002Fgithub.com\u002FPanQiWei\u002FAutoGPTQ.git\n```\n\n```python\nfrom transformers import AutoTokenizer\nfrom auto_gptq import AutoGPTQForCausalLM\nmodel = AutoGPTQForCausalLM.from_quantized('FlagAlpha\u002FLlama2-Chinese-13b-Chat-4bit', device=\"cuda:0\")\ntokenizer = AutoTokenizer.from_pretrained('FlagAlpha\u002FLlama2-Chinese-13b-Chat-4bit',use_fast=False)\ninput_ids = tokenizer(['\u003Cs>Human: 怎么登上火星\\n\u003C\u002Fs>\u003Cs>Assistant: '], return_tensors=\"pt\",add_special_tokens=False).input_ids.to('cuda')        \ngenerate_input = {\n    \"input_ids\":input_ids,\n    \"max_new_tokens\":512,\n    \"do_sample\":True,\n    \"top_k\":50,\n    \"top_p\":0.95,\n    \"temperature\":0.3,\n    \"repetition_penalty\":1.3,\n    \"eos_token_id\":tokenizer.eos_token_id,\n    \"bos_token_id\":tokenizer.bos_token_id,\n    \"pad_token_id\":tokenizer.pad_token_id\n}\ngenerate_ids  = model.generate(**generate_input)\ntext = tokenizer.decode(generate_ids[0])\nprint(text)\n```\n\n## 🚀 部署加速\n随着大模型参数规模的不断增长，在有限的算力资源下，提升模型的推理速度逐渐变为一个重要的研究方向。常用的推理加速框架包含 lmdeploy、TensorRT-LLM、vLLM和JittorLLMs 等。\n\n### TensorRT-LLM\n[TensorRT-LLM](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FTensorRT-LLM\u002Ftree\u002Fmain)由NVIDIA开发，高性能推理框架\n\n详细的推理文档见：[inference-speed\u002FGPU\u002FTensorRT-LLM_example](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Ftree\u002Fmain\u002Finference-speed\u002FGPU\u002FTensorRT-LLM_example)\n\n### vLLM\n[vLLM](https:\u002F\u002Fgithub.com\u002Fvllm-project\u002Fvllm)由加州大学伯克利分校开发，核心技术是PageAttention，吞吐量比HuggingFace Transformers高出24倍。相较与FasterTrainsformer，vLLM更加的简单易用，不需要额外进行模型的转换，支持fp16推理。\n\n详细的推理文档见：[inference-speed\u002FGPU\u002Fvllm_example](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Fblob\u002Fmain\u002Finference-speed\u002FGPU\u002Fvllm_example\u002FREADME.md)\n\n### JittorLLMs\n[JittorLLMs](https:\u002F\u002Fgithub.com\u002FJittor\u002FJittorLLMs)由非十科技领衔，与清华大学可视媒体研究中心合作研发，通过动态swap机制大幅降低硬件配置要求（减少80%）,并且Jittor框架通过零拷贝技术，大模型加载相比Pytorch开销降低40%，同时，通过元算子自动编译优化，计算性能提升20%以上。\n\n详细的推理文档见：[inference-speed\u002FGPU\u002FJittorLLMs](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Fblob\u002Fmain\u002Finference-speed\u002FGPU\u002FJittorLLMs_example\u002FREADME.md)\n\n### lmdeploy\n[lmdeploy](https:\u002F\u002Fgithub.com\u002FInternLM\u002Flmdeploy\u002F) 由上海人工智能实验室开发，推理使用 C++\u002FCUDA，对外提供 python\u002FgRPC\u002Fhttp 接口和 WebUI 界面，支持 tensor parallel 分布式推理、支持 fp16\u002Fweight int4\u002Fkv cache int8 量化。\n\n详细的推理文档见：[inference-speed\u002FGPU\u002Flmdeploy_example](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Ftree\u002Fmain\u002Finference-speed\u002FGPU\u002Flmdeploy_example)\n\n## 💪 外延能力\n\n除了持续增强大模型内在的知识储备、通用理解、逻辑推理和想象能力等，未来，我们也会不断丰富大模型的外延能力，例如知识库检索、计算工具、WolframAlpha、操作软件等。\n我们首先集成了LangChain框架，可以更方便地基于Llama2开发文档检索、问答机器人和智能体应用等，关于LangChain的更多介绍参见[LangChain](https:\u002F\u002Fgithub.com\u002Flangchain-ai\u002Flangchain)。\n\n### LangChain\n针对LangChain框架封装的Llama2 LLM类见[examples\u002Fllama2_for_langchain.py](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Fblob\u002Fmain\u002Fexamples\u002Fllama2_for_langchain.py)，简单的调用代码示例如下：\n```python\nfrom llama2_for_langchain import Llama2\n\n# 这里以调用FlagAlpha\u002FAtom-7B-Chat为例\nllm = Llama2(model_name_or_path='FlagAlpha\u002FAtom-7B-Chat')\n\nwhile True:\n    human_input = input(\"Human: \")\n    response = llm(human_input)\n    print(f\"Llama2: {response}\")\n```\n\n## 🥇 模型评测\n\n### Llama4模型评测\n\u003Cp align=\"center\" width=\"100%\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FLlamaFamily_Llama-Chinese_readme_61be08075862.png\" style=\"width: 100%; display: block; margin: auto;\">\n\u003C\u002Fp>\n\n### Llama2和Llama3对比评测\n基础模型对比\n\u003Cp align=\"center\" width=\"100%\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FLlamaFamily_Llama-Chinese_readme_872c0ff0fee2.png\" style=\"width: 100%; display: block; margin: auto;\">\n\u003C\u002Fp>\n微调模型对比\n\u003Cp align=\"center\" width=\"100%\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FLlamaFamily_Llama-Chinese_readme_8ee55b1910f0.png\" style=\"width: 100%; display: block; margin: auto;\">\n\u003C\u002Fp>\n\n### Llama3模型评测\n\u003Cp align=\"center\" width=\"100%\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FLlamaFamily_Llama-Chinese_readme_0af451f73c24.png\" style=\"width: 100%; display: block; margin: auto;\">\n\u003C\u002Fp>\n\n### Llama2模型评测\n\u003Cp align=\"center\" width=\"100%\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FLlamaFamily_Llama-Chinese_readme_4bbb6fc4986c.jpeg\" style=\"width: 100%; display: block; margin: auto;\">\n\u003C\u002Fp>\n\n为了能够更加清晰地了解Llama模型的中文问答能力，我们筛选了一些具有代表性的中文问题，对Llama模型进行提问。我们测试的模型包含Meta公开的Llama2-7B-Chat和Llama2-13B-Chat两个版本，没有做任何微调和训练。测试问题筛选自[AtomBulb](https:\u002F\u002Fgithub.com\u002FAtomEcho\u002FAtomBulb)，共95个测试问题，包含：通用知识、语言理解、创作能力、逻辑推理、代码编程、工作技能、使用工具、人格特征八个大的类别。\n\n测试中使用的Prompt如下，例如对于问题“列出5种可以改善睡眠质量的方法”：\n```\n[INST] \n\u003C\u003CSYS>>\nYou are a helpful, respectful and honest assistant. Always answer as helpfully as possible, while being safe.  Your answers should not include any harmful, unethical, racist, sexist, toxic, dangerous, or illegal content. Please ensure that your responses are socially unbiased and positive in nature. The answer always been translate into Chinese language.\n\nIf a question does not make any sense, or is not factually coherent, explain why instead of answering something not correct. If you don't know the answer to a question, please don't share false information.\n\nThe answer always been translate into Chinese language.\n\u003C\u003C\u002FSYS>>\n\n列出5种可以改善睡眠质量的方法\n[\u002FINST]\n```\nLlama2-7B-Chat的测试结果见[meta_eval_7B.md](assets\u002Fmeta_eval_7B.md)，Llama2-13B-Chat的测试结果见[meta_eval_13B.md](assets\u002Fmeta_eval_13B.md)。\n\n通过测试我们发现，Meta原始的Llama2 Chat模型对于中文问答的对齐效果一般，大部分情况下都不能给出中文回答，或者是中英文混杂的形式。当然，随着基座模型多语种语料的扩充，这些问题将很快被解决。比如，在Llama4当中，预训练数据包含200种语言，其中100种语言的语料超过了1B tokens。\n\n\n## 📖 学习中心\n\n### 官方文档\n\nMeta Llama全系列模型官方文档：https:\u002F\u002Fwww.llama.com\u002Fdocs\u002Fget-started\n\nMeta Llama官方网站：https:\u002F\u002Fwww.llama.com\n\n### 社区文档\n[Llama全套学习资料](https:\u002F\u002Fchinesellama.feishu.cn\u002Fwiki\u002FXBKPwbhWriWCfrkmJhfcrS9Rnqc?fromScene=spaceOverview)\n\n### Llama相关论文\n* [LLaMA: Open and Efficient Foundation Language Models](https:\u002F\u002Farxiv.org\u002Fabs\u002F2302.13971)\n* [Llama 2: Open Foundation and Fine-Tuned Chat Models](https:\u002F\u002Farxiv.org\u002Fabs\u002F2307.09288)\n* [Code Llama: Open Foundation Models for Code](https:\u002F\u002Fai.meta.com\u002Fresearch\u002Fpublications\u002Fcode-llama-open-foundation-models-for-code\u002F)\n\n\n## 📌 其它\n\n### 🎉 致谢\n\n感谢原子回声[AtomEcho](https:\u002F\u002Fgithub.com\u002FAtomEcho)团队的技术和资源支持！\n\n感谢芯格[Coremesh](https:\u002F\u002Fcoremesh.net)团队的技术和资源支持！\n\n感谢 [福州连天教育科技有限公司](www.3class.cc) 对Llama中文社区的贡献！\n\n感谢 @Z Potentials社区对Llama中文社区的支持！\n\n### 🤔 问题反馈\n\n如有问题，请在GitHub Issue中提交，在提交问题之前，请先查阅以往的issue是否能解决你的问题。\n\n礼貌地提出问题，构建和谐的讨论社区。\n\n加入[飞书知识库](https:\u002F\u002Fchinesellama.feishu.cn\u002Fwiki\u002Fspace\u002F7257824476874768388?ccm_open_type=lark_wiki_spaceLink)，一起共建社区文档。\n\n加入微信群讨论😍😍\n\n\u003Cp align=\"center\" width=\"100%\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FLlamaFamily_Llama-Chinese_readme_a378f58474f8.jpeg\" alt=\"Wechat\" style=\"width: 100%; display: block; margin: auto;\">\n\u003C\u002Fp>\n\n\u003Cp align=\"center\" width=\"100%\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FLlamaFamily_Llama-Chinese_readme_1ad947c36aab.png\" alt=\"Star\" style=\"width: 100%; display: block; margin: auto;\">\n\u003C\u002Fp>\n","\u003Cp align=\"left\">\n    \u003Ca href=\"README_EN.md\">English\u003C\u002Fa> ｜ 中文\n\u003C\u002Fp>\n\n\u003Ch1 align=\"center\">\n  Llama中文社区\n\u003C\u002Fh1>\n\u003Cp align=\"center\" width=\"100%\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FLlamaFamily_Llama-Chinese_readme_b7734f305706.jpg\" alt=\"Llama\" style=\"width: 20%; display: block; margin: auto;\">\u003C\u002Fa>\n\u003C\u002Fp>\n\u003Cp align=\"center\">\n  \u003Cfont face=\"黑体\" color=orange size=\"6\"> 最好的Llama大模型开源社区 \u003C\u002Ffont>\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n  🤗 \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002FFlagAlpha\" target=\"_blank\">Hugging Face\u003C\u002Fa> • 🤖 \u003Ca href=\"https:\u002F\u002Fwww.modelscope.cn\u002Forganization\u002FFlagAlpha\u002F\" target=\"_blank\">ModelScope\u003C\u002Fa> • ✡️ \u003Ca href=\"https:\u002F\u002Fwisemodel.cn\u002Fmodels\u002FFlagAlpha\u002FAtom-7B-Chat\" target=\"_blank\">WiseModel\u003C\u002Fa>\n\u003C\u002Fp> \n\n\u003Cp align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Fllama.com\">Llama4原生多模态MoE模型发布！\u003C\u002Fa>\n\u003C\u002Fp>\n\u003Cp align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002FFlagAlpha\u002FAtom-7B-Chat\">基于Llama的开源中文预训练大模型Atom\u003C\u002Fa>\n\u003C\u002Fp>\n\n\u003C\u002Fbr>\u003C\u002Fbr>\n\n\n## 🗂️ 目录\n- [🗂️ 目录](#️-目录)\n- [📌 Llama中文社区](#-llama中文社区)\n  - [🔥 社区介绍](#-社区介绍)\n    - [为什么选择Llama中文社区？](#为什么选择llama中文社区)\n    - [社区活动](#社区活动)\n    - [立即加入我们！](#立即加入我们)\n  - [🪵 社区资源](#-社区资源)\n    - [💻 算力](#-算力)\n    - [📊 数据](#-数据)\n    - [💬 论坛](#-论坛)\n    - [📱 应用](#-应用)\n  - [📢 最新动态](#-最新动态)\n  - [🤗 模型发布](#-模型发布)\n    - [中文预训练模型Atom](#中文预训练模型atom)\n    - [Llama4官方模型](#llama4官方模型)\n    - [Llama3官方模型](#llama3官方模型)\n    - [Llama3中文微调模型](#llama3中文微调模型)\n    - [Llama2官方模型](#llama2官方模型)\n    - [Llama2中文微调模型](#llama2中文微调模型)\n- [📌 如何使用Llama模型](#-如何使用llama模型)\n  - [快速上手-使用Anaconda](#快速上手-使用anaconda)\n  - [快速上手-使用Docker](#快速上手-使用docker)\n  - [快速上手-使用llama.cpp](#快速上手-使用llamacpp)\n  - [快速上手-使用gradio](#快速上手-使用gradio)\n  - [快速上手-构建API服务](#快速上手-构建api服务)\n  - [快速上手-使用ollama运行](#快速上手-使用ollama运行)\n- [🤖 模型预训练](#-模型预训练)\n- [💡 模型微调](#-模型微调)\n  - [Step1: 环境准备](#step1-环境准备)\n  - [Step2: 数据准备](#step2-数据准备)\n  - [Step3: 微调脚本](#step3-微调脚本)\n    - [LoRA微调](#lora微调)\n    - [全量参数微调](#全量参数微调)\n  - [Step4: 加载微调模型](#step4-加载微调模型)\n    - [LoRA微调](#lora微调-1)\n    - [全量参数微调](#全量参数微调-1)\n- [🍄 模型量化](#-模型量化)\n- [🚀 部署加速](#-部署加速)\n  - [TensorRT-LLM](#tensorrt-llm)\n  - [vLLM](#vllm)\n  - [JittorLLMs](#jittorllms)\n  - [lmdeploy](#lmdeploy)\n- [💪 外延能力](#-外延能力)\n  - [LangChain](#langchain)\n- [🥇 模型评测](#-模型评测)\n  - [Llama4模型评测](#llama4模型评测)\n  - [Llama2和Llama3对比评测](#llama2和llama3对比评测)\n  - [Llama3模型评测](#llama3模型评测)\n  - [Llama2模型评测](#llama2模型评测)\n- [📖 学习中心](#-学习中心)\n  - [官方文档](#官方文档)\n  - [社区文档](#社区文档)\n  - [Llama相关论文](#llama相关论文)\n- [📌 其它](#-其它)\n  - [🎉 致谢](#-致谢)\n  - [🤔 问题反馈](#-问题反馈)\n\n\n## 📌 Llama中文社区\n\n### 🔥 社区介绍\n\n欢迎来到Llama中文社区！Llama模型的开源无疑极大促进了大模型技术的发展，我们致力于构建一个开放平台，能够让所有的开发者与技术爱好者一起共创Llama开源生态。从大模型到小模型，从文本到多模态，从软件到硬件算法优化，我们期望开源能够带给全人类以AI普惠。在一个科技爆发的时代，加入Llama Family，与技术一同进步，与社区一同前行，一起迈向AGI！\n\n\u003Cdetails>\n\n#### 为什么选择Llama中文社区？\n🚀 **高级工程师团队支持**：社区有一批专注为大家服务的NLP高级工程师，我们有着强大的技术支持和丰富的经验，为您提供专业的指导和帮助。\n\n🎯 **中文优化**：我们致力于在Llama模型的中文处理方面进行优化，探索适用于中文的最佳实践，以提升其性能和适应性【支持Llama2、Llama3、Llama4】。\n\n💡 **创新交流**：我们拥有一支富有创造力和经验的社区成员团队，定期组织线上活动、技术研讨和经验分享，促进成员间的创新交流。\n\n🌐 **全球联结**：我们欢迎来自世界各地的开发者加入社区，构建一个开放、多元化的学习和交流平台。\n\n🤝 **开放共享**：我们鼓励社区成员开源分享代码和模型，推动合作共赢，共同促进中文NLP技术的发展。\n\n#### 社区活动\n🗓️ **线上讲座**：邀请行业内专家进行线上讲座，分享Llama在中文NLP领域的最新技术和应用，探讨前沿研究成果。\n\n💻 **项目展示**：成员可展示自己在Llama中文优化方面的项目成果，获得反馈和建议，促进项目协作。\n\n📚 **学习资源**：社区维护丰富的学习资料库，包括教程、文档和论文解读，为成员提供全面的学习支持。\n\n📝 **论文解读**：社区成员共同解读与Llama相关的最新研究论文，深入理解前沿算法和方法。\n\n🎉 **主题活动**：定期举办各类主题活动，包括挑战赛、黑客马拉松和技术沙龙，让社区成员在轻松愉快的氛围中交流和学习。\n\n🌟 **奖励计划**：我们设立奖励计划，对社区中积极参与、贡献优秀的成员给予荣誉和奖励，激励更多优秀人才的加入。\n\n📈 **技术咨询**：我们提供技术咨询服务，解答您在Llama开发和优化过程中遇到的问题，助您快速攻克难关。\n\n🚀 **项目合作**：鼓励成员间的项目合作，共同探索Llama在实际应用中的潜力，打造创新解决方案。\n\n\n#### 立即加入我们！\n📚 **愿景**：无论您是对Llama已有研究和应用经验的专业开发者，还是对Llama中文优化感兴趣并希望深入探索的新手，我们都热切期待您的加入。在Llama中文社区，您将有机会与行业内顶尖人才共同交流，携手推动中文NLP技术的进步，开创更加美好的技术未来！\n\n🔗 **温馨提示**：本社区为专业技术交流平台，我们热切期望志同道合的开发者和研究者加入。请遵守社区准则，共同维护积极向上的学习氛围。感谢您的理解和支持！\n\n\u003C\u002Fdetails>\n\n\n### 🪵 社区资源\n社区资源的丰富性是社区发展的重要保障，它涵盖了各种方面，其中包括但不限于以下四个方面：算力、数据、论坛和应用。在这些方面的积极发展与充分利用，将为社区成员提供更多的机会和支持，推动整个社区向着更加繁荣的方向发展。更多的内容请看[llama.family](https:\u002F\u002Fllama.family\u002F)\n\n\u003Cdetails>\n\n#### 💻 算力\n- 提供低于市场价格的算力资源，可用于各类计算任务，如深度学习模型的训练、推理等。\n- 为社区成员提供专属的在线推理服务，让用户可以快速有效地对模型进行推理操作。\n- 提供一键在线微调服务，使用户可以方便地对模型进行微调，以适应不同的任务和数据。\n\n#### 📊 数据\n- 开放丰富的训练数据资源，覆盖多个领域和行业，为模型训练提供充足的数据支持。\n- 提供高质量、多样化的数据集，以满足不同用户的需求，并支持数据共享和交流，促进数据资源的充分利用。\n\n#### 💬 论坛\n- 社区论坛为社区成员提供了一个在线交流和讨论技术问题的平台。\n- 在论坛上，用户可以分享经验、提出问题、解答疑惑，促进技术交流和合作。\n- 论坛还可以定期举办线上活动、研讨会等，增进社区成员之间的联系和了解。\n\n#### 📱 应用\n- 免费提供应用推广展示位，让开发者可以将他们的应用充分展示给社区成员。\n- 提供推广的帮助，包括但不限于宣传推广、用户引导等服务，帮助应用获得更多的曝光和用户。\n- 通过社区平台，为优秀的应用提供合作机会，促进应用开发者之间的合作和交流，共同推动应用的发展和壮大。\n\n\u003C\u002Fdetails>\n\n### 📢 最新动态\n\n【最新】2025年04月05日：原生多模态MoE架构的[Llama 4](https:\u002F\u002Fai.meta.com\u002Fblog\u002Fllama-4-multimodal-intelligence\u002F?utm_source=llama-home-latest-updates&utm_medium=llama-referral&utm_campaign=llama-utm&utm_offering=llama-aiblog&utm_product=llama)开源！最高达2T参数的Behemoth模型，以及Maverick、Scout。\n\n【最新】2024年12月06日：[Llama 3.3](https:\u002F\u002Fllama.meta.com\u002Fdocs\u002Foverview)模型发布，更新70B Instruct模型。\n\n【最新】2024年09月25日：[Llama 3.2](https:\u002F\u002Fllama.meta.com\u002Fdocs\u002Foverview)模型发布，核心主打1B、3B端侧小模型，以及11B、90B多模态输入模型！\n\n【最新】2024年07月24日：开源最强[Llama 3.1](https:\u002F\u002Fllama.meta.com\u002Fdocs\u002Foverview)模型发布，包含8B、70B和405B！\n\n【最新】2024年07月16日：[社区论坛](https:\u002F\u002Fforum.llamafamily.cn\u002F)上线，有大模型问题，就找Llama中文社区！\n\n【最新】2024年05月15日：支持ollama运行Llama3-Chinese-8B-Instruct、Atom-7B-Chat，[详细使用方法](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese?tab=readme-ov-file#%E5%BF%AB%E9%80%9F%E4%B8%8A%E6%89%8B-%E4%BD%BF%E7%94%A8ollama%E8%BF%90%E8%A1%8C)。\n\n【最新】2024年04月23日：社区增加了llama3 8B中文微调模型[Llama3-Chinese-8B-Instruct](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese?tab=readme-ov-file#llama3%E4%B8%AD%E6%96%87%E5%BE%AE%E8%B0%83%E6%A8%A1%E5%9E%8B)以及对应的[免费API调用](https:\u002F\u002Fllama.family\u002Fdocs\u002Fchat-completion-v1)。\n \n【最新】2024年04月19日：社区增加了llama3 8B、llama3 70B[在线体验链接](https:\u002F\u002Fllama.family\u002Fchat\u002F#\u002F)。\n\n【最新】2024年04月14日：社区更新了四个专家角色：心理咨询师、羊驼夸夸 、律师、医生。链接：[角色role](https:\u002F\u002Fllama.family\u002Ftools\u002F#\u002Fagent)。\n\n【最新】2024年04月10日：Atom-7B-Chat 模型回答内容相较之前更为丰富、增强了模型的指令遵循能力和回答稳定性、优化了ppo的奖励模型。下载链接[modelscope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FFlagAlpha\u002FAtom-7B-Chat)、[Huggingface](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha\u002FAtom-7B-Chat)。\n\n【最新】2024年04月01日：社区上线了Llama中文[应用平台](https:\u002F\u002Fllama.family\u002Fstore)；同时如果你有优秀的的应用需要推广可以填写[申请表](https:\u002F\u002Fatomecho.feishu.cn\u002Fshare\u002Fbase\u002Fform\u002FshrcnFqpN71OmBoXDCT6y0TQgIc)。\n\n【最新】2024年03月08日：开放了免费API供大家使用，包含（Atom-1B,7B,13B 3种中文大模型）[API使用链接](https:\u002F\u002Fllama.family\u002Fdocs\u002Fchat-completion-v1)\n\n【最新】2024年04月14日：社区更新了四个专家角色：心理咨询师、羊驼夸夸 、律师、医生。链接：[角色role](https:\u002F\u002Fllama.family\u002Ftools\u002F#\u002Fagent)。\n\n【最新】2024年04月10日：Atom-7B-Chat 模型回答内容相较之前更为丰富、增强了模型的指令遵循能力和回答稳定性、优化了ppo的奖励模型。下载链接[modelscope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FFlagAlpha\u002FAtom-7B-Chat)、[Huggingface](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha\u002FAtom-7B-Chat)。\n\n【最新】2024年04月01日：社区上线了Llama中文[应用平台](https:\u002F\u002Fllama.family\u002Fstore)；同时如果你有优秀的的应用需要推广可以填写[申请表](https:\u002F\u002Fatomecho.feishu.cn\u002Fshare\u002Fbase\u002Fform\u002FshrcnFqpN71OmBoXDCT6y0TQgIc)。\n\n【最新】2024年03月28日：[社区免费公开课](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FCsturoU1pOX11CqVnZgu2A)。\n\n【最新】2024年03月08日：开放了免费API供大家使用，包含（Atom-1B,7B,13B 3种中文大模型）[API使用链接](https:\u002F\u002Fllama.family\u002Fdocs\u002Fchat-completion-v1)\n\n【最新】2023年10月8日：新增清华大学JittorLLMs的推理加速功能[JittorLLMs](#jittorllms)！\n\n\u003Cdetails>\n\n- 2023年9月12日：更新预训练版本[Atom-7B](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha\u002FAtom-7B)和对话版本[Atom-7B-Chat](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha\u002FAtom-7B-Chat)模型参数，最新的中文预训练数据量为2.7TB token，训练进程见[llama.family](https:\u002F\u002Fllama.family\u002F)！\n\n- 2023年9月2日：新增模型[预训练代码](#-模型预训练)和[全量参数微调代码](#-模型微调)！\n  \n- 2023年8月28日：发布基于Llama2进行中文预训练的开源大模型[Atom-7B](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha\u002FAtom-7B)，并将持续更新，详情参考[社区公众号文章](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FBdx0JTVh1kgPn5ydYxIkEw)！\n\n- 2023年8月26日：提供[FastAPI](#fastapi接口搭建)接口搭建脚本！\n\n- 2023年8月26日：提供将Meta原始模型参数转换为兼容Hugging Face的[格式转化脚本](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Fblob\u002Fmain\u002Fscripts\u002Fconvert2hf\u002FREADME.md)！\n\n- 2023年8月26日：新增[Code Llama](#-代码模型)模型！\n\n- 2023年8月15日：新增[PEFT加载微调模型参数](#加载微调模型)的代码示例！\n\n- 2023年8月14日：[大模型数据共享训练平台](https:\u002F\u002Fllama.family)上线，没有算力也能参与大模型训练，社区每位成员贡献的数据都将决定模型能力的未来走向！\n\n- 2023年8月3日：新增FasterTransformer和vLLM的GPU[推理加速](#-推理加速)支持！\n\n- 2023年7月31日：【重磅】国内首个真正意义上的Llama2中文大模型发布！详情参见[社区公众号文章](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FlExUU7z_MvgJ7tzQPF8tUQ)\n\n- 2023年7月28日：通过[Docker部署](#docker部署问答接口)问答接口！\n\n- 2023年7月27日：新增[LangChain](#langchain)支持！\n\n- 2023年7月26日：新增Llama2-13B中文微调参数的[4bit量化压缩版本](#-模型量化)！\n\n- 2023年7月25日：社区微信公众号“Llama中文社区”欢迎大家关注，获取最新分享和动态！\n\n- 2023年7月24日：[FlagAlpha](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha)新增Llama2-13B中文微调参数！\n\n- 2023年7月24日：[llama.family](https:\u002F\u002Fllama.family\u002F)新增Llama2-70B在线体验！\n\n- 2023年7月23日：Llama2中文微调参数发布至Hugging Face仓库[FlagAlpha](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha)！\n\n- 2023年7月22日：Llama2在线体验链接[llama.family](https:\u002F\u002Fllama.family\u002F)上线，同时包含Meta原版和中文微调版本！\n\n- 2023年7月21日：评测了Meta原始版Llama2 Chat模型的[中文问答能力](#-模型评测)！\n\n- 2023年7月21日：新增Llama2模型的Hugging Face版本国内下载地址！\n\n- 2023年7月20日：新增[飞书知识库文档](https:\u002F\u002Fchinesellama.feishu.cn\u002Fwiki\u002Fspace\u002F7257824476874768388?ccm_open_type=lark_wiki_spaceLink)，欢迎大家一起共建！\n\n- 2023年7月20日：国内Llama2最新下载地址上线！\n\n- 2023年7月19日：正式启动Llama2模型的中文预训练，关注我们获取实时动态！\n\n- 2023年7月19日：Llama2国内下载地址正在启动，敬请期待！\n\n- 2023年7月19日：开启Llama2中文社区，欢迎大家加入！\n\n\u003C\u002Fdetails>\n\n\n### 🤗 模型发布\n\n#### 中文预训练模型Atom\n\n**原子大模型Atom**由Llama中文社区和原子回声联合打造。\n\n|  类别  | 模型名称        | 🤗模型加载名称                  | 下载地址                                                     |\n| --------------- | --------------- | ------------------------------ | ------------------------------------------------------------ |\n|  预训练  | Atom-7B  | FlagAlpha\u002FAtom-7B  | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha\u002FAtom-7B) \\| [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FFlagAlpha\u002FAtom-7B) \\| [WiseModel](https:\u002F\u002Fwisemodel.cn\u002Fmodels\u002FFlagAlpha\u002FAtom-7B) |\n|  Chat  | Atom-7B-Chat  | FlagAlpha\u002FAtom-7B-Chat  | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha\u002FAtom-7B-Chat) \\| [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FFlagAlpha\u002FAtom-7B-Chat) \\| [WiseModel](https:\u002F\u002Fwisemodel.cn\u002Fmodels\u002FFlagAlpha\u002FAtom-7B-Chat)|\n\nAtom系列模型包含Atom-13B、Atom-7B和Atom-1B，基于Llama2做了中文能力的持续优化。Atom-7B和Atom-7B-Chat目前已完全开源，支持商用，可在[Hugging Face](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha)仓库获取模型，详情见[Atom-7B下载](#基于llama2的中文预训练模型atom)。Atom大模型针对中文做了以下优化：\n\n- 大规模的中文数据预训练\n\n    原子大模型Atom在Llama2的基础上，采用大规模的中文数据进行持续预训练，包含百科、书籍、博客、新闻、公告、小说、金融数据、法律数据、医疗数据、代码数据、专业论文数据、中文自然语言处理竞赛数据集等。同时对庞大的数据进行了过滤、打分、去重，筛选出超过1T token的高质量中文数据，持续不断加入训练迭代中。\n\n- 更高效的中文词表\n\n    为了提高中文文本处理的效率，我们针对Llama2模型的词表进行了深度优化。首先，我们基于数百G的中文文本，在该模型词表的基础上扩展词库至65,000个单词。经过测试，我们的改进使得中文编码\u002F解码速度提高了约350％。此外，我们还扩大了中文字符集的覆盖范围，包括所有emoji符号😊。这使得生成带有表情符号的文章更加高效。\n\n- 自适应上下文扩展\n\n    Atom大模型默认支持4K上下文，利用位置插值PI和Neural Tangent Kernel （NTK）方法，经过微调可以将上下文长度扩增到32K。\n\n📝 中文数据详情如下：\n\n| 类型                                                       | 描述                                                         |\n| ---------------------------------------------------------- | ------------------------------------------------------------ |\n| 网络数据                                                   | 互联网上公开的网络数据，挑选出去重后的高质量中文数据，涉及到百科、书籍、博客、新闻、公告、小说等高质量长文本数据。 |\n| [Wikipedia](https:\u002F\u002Fgithub.com\u002Fgoldsmith\u002FWikipedia)        | 中文Wikipedia的数据                                          |\n| [悟道](https:\u002F\u002Fgithub.com\u002FBAAI-WuDao\u002FModel)                | 中文悟道开源的200G数据                                       |\n| [Clue](https:\u002F\u002Fgithub.com\u002FCLUEbenchmark\u002FCLUEDatasetSearch) | Clue开放的中文预训练数据，进行清洗后的高质量中文长文本数据   |\n| 竞赛数据集                                                 | 近年来中文自然语言处理多任务竞赛数据集，约150个              |\n| [MNBVC](https:\u002F\u002Fgithub.com\u002Fesbatmop\u002FMNBVC)                 | MNBVC 中清洗出来的部分数据集  |\n\n社区提供预训练版本Atom-7B和基于Atom-7B进行对话微调的模型参数供开放下载，关于模型的进展详见社区官网[llama.family](https:\u002F\u002Fllama.family)。\n\n\n#### Llama4官方模型\n\n|  类别  | 模型名称   | 🤗模型加载名称             | 下载地址                                                     |\n|  ----------  | ---------- | ------------------------- | --------------------- |\n|  预训练  | Llama-4-Scout-17B-16E  | meta-llama\u002FLlama-4-Scout-17B-16E  | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-4-Scout-17B-16E) |\n|  对话模型  | Llama-4-Scout-17B-16E-Instruct | meta-llama\u002FLlama-4-Scout-17B-16E-Instruct | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-4-Scout-17B-16E-Instruct) |\n|  预训练  | Llama-4-Maverick-17B-128E  | meta-llama\u002FLlama-4-Maverick-17B-128E  | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-4-Maverick-17B-128E) |\n|  对话模型  | Llama-4-Maverick-17B-128E-Instruct  | meta-llama\u002FLlama-4-Maverick-17B-128E-Instruct  | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-4-Maverick-17B-128E-Instruct) |\n\n\n#### Llama3官方模型\n注意：仅保留同等参数量级模型的最新版本。\n\n|  类别  | 模型名称   | 🤗模型加载名称             | 下载地址                                                     |\n|  ----------  | ---------- | ------------------------- | --------------------- |\n|  预训练  | Llama-3.2-1B  | meta-llama\u002FLlama-3.2-1B  | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-3.2-1B) |\n|  对话模型  | Llama-3.2-1B-Instruct | meta-llama\u002FLlama-3.2-1B-Instruct | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-3.2-1B-Instruct) |\n|  预训练  | Llama-3.2-3B  | meta-llama\u002FLlama-3.2-3B  | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-3.2-3B) |\n|  对话模型  | Llama-3.2-3B-Instruct | meta-llama\u002FLlama-3.2-3B-Instruct | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-3.2-3B-Instruct) |\n|  预训练  | Llama-3.1-8B  | meta-llama\u002FLlama-3.1-8B  | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-3.1-8B) |\n|  对话模型  | Llama-3.1-8B-Instruct | meta-llama\u002FLlama-3.1-8B-Instruct | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-3.1-8B-Instruct) |\n|  预训练  | Llama-3.1-70B  | meta-llama\u002FLlama-3.1-70B  | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-3.1-70B)|\n|  对话模型  | Llama-3.3-70B-Instruct  | meta-llama\u002FLlama-3.3-70B-Instruct  | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-3.3-70B-Instruct) |\n|  预训练  | Llama-3.1-405B  | meta-llama\u002FLlama-3.1-405B  | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-3.1-405B)|\n|  对话模型  | Llama-3.1-405B-Instruct  | meta-llama\u002FLlama-3.1-405B-Instruct  | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-3.1-405B-Instruct)|\n|  多模态预训练  | Llama-3.2-11B-Vision  | meta-llama\u002FLlama-3.2-11B-Vision  | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-3.2-11B-Vision)|\n|  多模态对话模型  | Llama-3.2-11B-Vision-Instruct  | meta-llama\u002FLlama-3.2-11B-Vision-Instruct  | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-3.2-11B-Vision-Instruct)|\n|  多模态预训练  | Llama-3.2-90B-Vision  | meta-llama\u002FLlama-3.2-90B-Vision  | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-3.2-90B-Vision)|\n|  多模态对话模型  | Llama-3.2-90B-Vision-Instruct  | meta-llama\u002FLlama-3.2-90B-Vision-Instruct  | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-3.2-90B-Vision-Instruct)|\n\n\n#### Llama3中文微调模型\n\n|  类别  | 模型名称   | 🤗模型加载名称             | 下载地址                                                     |\n|  ----------  | ---------- | ------------------------- | --------------------- |\n|  对话模型  | Llama3-Chinese-8B-Instruct  | FlagAlpha\u002FLlama3-Chinese-8B-Instruct  | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha\u002FLlama3-Chinese-8B-Instruct) \\| [modelscope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FFlagAlpha\u002FLlama3-Chinese-8B-Instruct\u002Fsummary) \\| [wisemodel](https:\u002F\u002Fwisemodel.cn\u002Fmodels\u002FFlagAlpha\u002FLlama3-Chinese-8B-Instruct\u002Ffile) |\n\n\n#### Llama2官方模型\n\n\u003C!-- \u003Cdetails> -->\n\n|  类别  | 模型名称   | 🤗模型加载名称             | 下载地址                                                     |\n|  ----------  | ---------- | ------------------------- | --------------------- |\n|  预训练  | Llama2-7B  | meta-llama\u002FLlama-2-7b-hf  | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-2-7b-hf) \\| [迅雷网盘](https:\u002F\u002Fpan.xunlei.com\u002Fs\u002FVN_t0dUikZqOwt-5DZWHuMvqA1?pwd=66ep) |\n|  预训练  | Llama2-13B | meta-llama\u002FLlama-2-13b-hf | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-2-13b-hf) \\| [迅雷网盘](https:\u002F\u002Fpan.xunlei.com\u002Fs\u002FVN_yT_9G8xNOz0SDWQ7Mb_GZA1?pwd=yvgf) |\n|  预训练  | Llama2-70B | meta-llama\u002FLlama-2-70b-hf | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-2-70b-hf) |\n|  Chat  | Llama2-7B-Chat  | meta-llama\u002FLlama-2-7b-chat-hf  | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-2-7b-chat-hf) \\| [迅雷网盘](https:\u002F\u002Fpan.xunlei.com\u002Fs\u002FVN_oaV4BpKFgKLto4KgOhBcaA1?pwd=ufir) |\n|  Chat  | Llama2-13B-Chat | meta-llama\u002FLlama-2-13b-chat-hf | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-2-13b-chat-hf) \\| [迅雷网盘](https:\u002F\u002Fpan.xunlei.com\u002Fs\u002FVN_yA-9G34NGL9B79b3OQZZGA1?pwd=xqrg) |\n|  Chat  | Llama2-70B-Chat | meta-llama\u002FLlama-2-70b-chat-hf | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-2-70b-chat-hf) \\| [迅雷网盘](https:\u002F\u002Fpan.xunlei.com\u002Fs\u002FVNa_vCGzCy3h3N7oeFXs2W1hA1?pwd=uhxh#) |\n| Code  | CodeLlama-7b    |   meta-llama\u002FLlama-2-70b-chat-hf              | [迅雷网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1cIPzdNywWLvQI7_2QanOEQ?pwd=zfwi) |\n| Code  | CodeLlama-7b-Python    |   meta-llama\u002FLlama-2-70b-chat-hf              | [迅雷网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1liY8klGoDagYbpw-g-oFag?pwd=i952) |\n| Code  | CodeLlama-7b-Instruct    |   meta-llama\u002FLlama-2-70b-chat-hf              | [迅雷网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F108o9_DT2E_vfSGtOnDCQVw?pwd=zkt9) |\n| Code  | CodeLlama-13b    |   meta-llama\u002FLlama-2-70b-chat-hf              | [迅雷网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1lLaeHv0XEBv0iiZzI1dpnw?pwd=qn99) |\n| Code  | CodeLlama-13b-Python    |   meta-llama\u002FLlama-2-70b-chat-hf              | [迅雷网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1OLVfvZS_oqL3oqMKwsI87w?pwd=a78k) |\n| Code  | CodeLlama-13b-Instruct    |   meta-llama\u002FLlama-2-70b-chat-hf              | [迅雷网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1HyxJl4w8wElgkZRh2ATrXQ?pwd=seg6) |\n| Code  | CodeLlama-34b    |   meta-llama\u002FLlama-2-70b-chat-hf              | [迅雷网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1vEw0pFgIkctPUN4_5_6pIQ?pwd=q8eu) |\n\nMeta官方在2023年8月24日发布了Code Llama，基于代码数据对Llama2进行了微调，提供三个不同功能的版本：基础模型（Code Llama）、Python专用模型（Code Llama - Python）和指令跟随模型（Code Llama - Instruct），包含7B、13B、34B三种不同参数规模。不同模型能力区别如下表所示：\n\n|  模型类别          |        模型名称         | 代码续写 | 代码填充 | 指令编程 |\n|-----------------------|------------------------|------|------|------|\n| Code Llama            | CodeLlama-7b           | ✅    | ✅    | ❌    |\n|                       | CodeLlama-13b          | ✅    | ✅    | ❌    |\n|                       | CodeLlama-34b          | ✅    | ❌    | ❌    |\n| Code Llama - Python   | CodeLlama-7b-Python    | ✅    | ❌    | ❌    |\n|                       | CodeLlama-13b-Python   | ✅    | ❌    | ❌    |\n|                       | CodeLlama-34b-Python   | ✅    | ❌    | ❌    |\n| Code Llama - Instruct | CodeLlama-7b-Instruct  | ❌    | ✅    | ✅    |\n|                       | CodeLlama-13b-Instruct | ❌    | ✅    | ✅    |\n|                       | CodeLlama-34b-Instruct | ❌    | ❌    | ✅    |\n\n关于Code Llama的详细信息可以参考官方Github仓库[codellama](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fcodellama)。\n\n\u003C!-- \u003C\u002Fdetails> -->\n\n#### Llama2中文微调模型\n\n我们基于中文指令数据集对Llama2-Chat模型进行了微调，使得Llama2模型有着更强的中文对话能力。LoRA参数以及与基础模型合并的参数均已上传至[Hugging Face](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha)，目前包含7B和13B的模型。\n\n|  类别  | 模型名称   | 🤗模型加载名称             | 基础模型版本 |    下载地址                                                     |\n|  ----------  | ---------- | ------------- |  ----------------- | ------------------- |\n|  合并参数 | Llama2-Chinese-7b-Chat | FlagAlpha\u002FLlama2-Chinese-7b-Chat  |    meta-llama\u002FLlama-2-7b-chat-hf       |[HuggingFace](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha\u002FLlama2-Chinese-7b-Chat)  |\n|  合并参数 | Llama2-Chinese-13b-Chat | FlagAlpha\u002FLlama2-Chinese-13b-Chat|     meta-llama\u002FLlama-2-13b-chat-hf     |[HuggingFace](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha\u002FLlama2-Chinese-13b-Chat) |\n|  LoRA参数 | Llama2-Chinese-7b-Chat-LoRA  | FlagAlpha\u002FLlama2-Chinese-7b-Chat-LoRA  |     meta-llama\u002FLlama-2-7b-chat-hf      |[HuggingFace](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha\u002FLlama2-Chinese-7b-Chat-LoRA) |\n|  LoRA参数 | Llama2-Chinese-13b-Chat-LoRA | FlagAlpha\u002FLlama2-Chinese-13b-Chat-LoRA |     meta-llama\u002FLlama-2-13b-chat-hf     |[HuggingFace](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha\u002FLlama2-Chinese-13b-Chat-LoRA) |\n\n\n\n\n## 📌 如何使用Llama模型\n\n\n你可以选择下面的快速上手的任一种方式，开始使用 Llama 系列模型。推荐使用[中文预训练对话模型](#llama2中文预训练模型atom-7b)进行使用，对中文的效果支持更好。\n\n\n### 快速上手-使用Anaconda\n\n第 0 步：前提条件\n- 确保安装了 Python 3.10 以上版本。\n\n第 1 步：准备环境\n\n如需设置环境，安装所需要的软件包，运行下面的命令。\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese.git\ncd Llama-Chinese\npip install -r requirements.txt\n```\n\n第 2 步：下载模型\n\n你可以从以下来源下载Atom-7B-Chat模型。\n- [HuggingFace](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha)\n- [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Forganization\u002FFlagAlpha)\n- [WiseModel](https:\u002F\u002Fwisemodel.cn\u002Fmodels\u002FFlagAlpha\u002FAtom-7B-Chat)\n\n第 3 步：进行推理\n\n使用Atom-7B-Chat模型进行推理\n创建一个名为 quick_start.py 的文件，并将以下内容复制到该文件中。\n```python\nimport torch\nfrom transformers import AutoTokenizer, AutoModelForCausalLM\ndevice_map = \"cuda:0\" if torch.cuda.is_available() else \"auto\"\nmodel = AutoModelForCausalLM.from_pretrained('FlagAlpha\u002FAtom-7B-Chat',device_map=device_map,torch_dtype=torch.float16,load_in_8bit=True,trust_remote_code=True,use_flash_attention_2=True)\nmodel =model.eval()\ntokenizer = AutoTokenizer.from_pretrained('FlagAlpha\u002FAtom-7B-Chat',use_fast=False)\ntokenizer.pad_token = tokenizer.eos_token\ninput_ids = tokenizer(['\u003Cs>Human: 介绍一下中国\\n\u003C\u002Fs>\u003Cs>Assistant: '], return_tensors=\"pt\",add_special_tokens=False).input_ids\nif torch.cuda.is_available():\n  input_ids = input_ids.to('cuda')\ngenerate_input = {\n    \"input_ids\":input_ids,\n    \"max_new_tokens\":512,\n    \"do_sample\":True,\n    \"top_k\":50,\n    \"top_p\":0.95,\n    \"temperature\":0.3,\n    \"repetition_penalty\":1.3,\n    \"eos_token_id\":tokenizer.eos_token_id,\n    \"bos_token_id\":tokenizer.bos_token_id,\n    \"pad_token_id\":tokenizer.pad_token_id\n}\ngenerate_ids  = model.generate(**generate_input)\ntext = tokenizer.decode(generate_ids[0])\nprint(text)\n```\n\n运行 quick_start.py 代码。\n```bash\npython quick_start.py\n```\n\n### 快速上手-使用Docker\n\n详情参见：[Docker部署](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Fblob\u002Fmain\u002Fdocs\u002Fchat_gradio_guide.md)\n\n第 1 步：准备docker镜像，通过docker容器启动[chat_gradio.py](..\u002Fexamples\u002Fchat_gradio.py)\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese.git\n\ncd Llama-Chinese\n\ndocker build -f docker\u002FDockerfile -t flagalpha\u002Fllama2-chinese:gradio .\n```\n\n第 2 步：通过docker-compose启动chat_gradio\n```bash\ncd Llama-Chinese\u002Fdocker\ndocker-compose up -d --build\n```\n\n### 快速上手-使用llama.cpp\n详情参见：[使用llama.cpp](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Fblob\u002Fmain\u002Finference-speed\u002FCPU\u002Fggml\u002FREADME.md)\n\n### 快速上手-使用gradio\n基于gradio搭建的问答界面，实现了流式的输出，将下面代码复制到控制台运行，以下代码以Atom-7B-Chat模型为例，不同模型只需修改一下面的model_name_or_path对应的模型名称就好了😊\n```\npython examples\u002Fchat_gradio.py --model_name_or_path FlagAlpha\u002FAtom-7B-Chat\n```\n\n### 快速上手-构建API服务\n使用FastChat构建和OpenAI一致的推理服务接口。\n\n\u003C!-- \u003Cdetails> -->\n第 0 步：前提条件\n\n安装fastchat\n```bash\npip3 install \"fschat[model_worker,webui]\"\n```\n第 1 步：启动Restful API\n\n开启三个控制台分别执行下面的三个命令\n- 首先启动controler\n```bash\npython3 -m fastchat.serve.controller \\\n--host localhost \\\n--port 21001\n```\n\n- 启动模型\n```bash\nCUDA_VISIBLE_DEVICES=\"0\" python3 -m fastchat.serve.model_worker --model-path \u002Fpath\u002FAtom-7B-Chat \\\n--host localhost \\\n--port 21002 \\\n--worker-address \"http:\u002F\u002Flocalhost:21002\" \\\n--limit-worker-concurrency 5 \\\n--stream-interval 2 \\\n--gpus \"1\" \\\n--load-8bit\n```\n\n- 启动RESTful API 服务\n```bash\npython3 -m fastchat.serve.openai_api_server \\\n--host localhost \\\n--port 21003 \\\n--controller-address http:\u002F\u002Flocalhost:21001\n```\n\n第 2 步：测试api服务\n\n执行下面的python代码测试上面部署的api服务\n```python\n# coding=utf-8\nimport json\nimport time\nimport urllib.request\nimport sys\nimport requests\n\ndef test_api_server(input_text):\n    header = {'Content-Type': 'application\u002Fjson'}\n\n    data = {\n          \"messages\": [{\"role\": \"system\", \"content\": \"\"}, {\"role\": \"user\", \"content\": input_text}],\n          \"temperature\": 0.3, \n          \"top_p\" : 0.95, \n          \"max_tokens\": 512, \n          \"model\": \"LLama2-Chinese-13B\",\n          \"stream\" : False,\n          \"n\" : 1,\n          \"best_of\": 1, \n          \"presence_penalty\": 1.2, \n          \"frequency_penalty\": 0.2,           \n          \"top_k\": 50, \n          \"use_beam_search\": False, \n          \"stop\": [], \n          \"ignore_eos\" :False,\n          \"logprobs\": None\n    }\n    response = requests.post(\n        url='http:\u002F\u002F127.0.0.1:21003\u002Fv1\u002Fchat\u002Fcompletions',\n        headers=header,\n        data=json.dumps(data).encode('utf-8')\n    )\n\n    result = None\n    try:\n        result = json.loads(response.content)\n        print(json.dumps(data, ensure_ascii=False, indent=2))\n        print(json.dumps(result, ensure_ascii=False, indent=2))\n\n    except Exception as e:\n        print(e)\n\n    return result\n\nif __name__ == \"__main__\":\n    test_api_server(\"如何去北京?\")\n```\n\n\u003C!-- \u003C\u002Fdetails> -->\n\n\n### 快速上手-使用ollama运行\n\n1. 首先需要安装ollama工具\n\n安装方法参考：[https:\u002F\u002Follama.com](https:\u002F\u002Follama.com\u002F)\n\n2. ollama运行Llama3-Chinese-8B-Instruct、Atom-7B-Chat\n\nollama运行基于Llama3进行中文微调的大模型[Llama3-Chinese-8B-Instruct](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha\u002FLlama3-Chinese-8B-Instruct)\n\n打开命令行执行命令\n```\nollama run llamafamily\u002Fllama3-chinese-8b-instruct\n```\n\nollama运行基于Llama2进行中文预训练的开源大模型[Atom-7B-Chat](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha\u002FAtom-7B-Chat)\n\n打开命令行执行命令\n```\nollama run llamafamily\u002Fatom-7b-chat\n```\n\n## 🤖 模型预训练\n模型迭代日新月异，虽然Llama2现在使用已经不多，在这里我们还是作为一个学习样例，展示如何做基座模型的预训练与微调。Llama2的预训练数据相对于第一代LLaMA扩大了一倍，但是中文预训练数据的比例依然非常少，仅占0.13%，这也导致了原始Llama2的中文能力较弱。为了能够提升模型的中文能力，可以采用微调和预训练两种路径，其中：\n- 微调需要的算力资源少，能够快速实现一个中文Llama的雏形。但缺点也显而易见，只能激发基座模型已有的中文能力，由于Llama2的中文训练数据本身较少，所以能够激发的能力也有限，治标不治本。\n\n- 基于大规模中文语料进行预训练，成本高，不仅需要大规模高质量的中文数据，也需要大规模的算力资源。但是优点也显而易见，就是能从模型底层优化中文能力，真正达到治本的效果，从内核为大模型注入强大的中文能力。\n\n我们为社区提供了Llama模型的预训练代码，以及[中文测试语料](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Ftree\u002Fmain\u002Fdata)，更多数据可以参考[中文语料](#-中文数据)。具体代码和配置如下：\n- 模型预训练脚本：[train\u002Fpretrain\u002Fpretrain.sh](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Fblob\u002Fmain\u002Ftrain\u002Fpretrain\u002Fpretrain.sh)\n- 预训练实现代码：[train\u002Fpretrain\u002Fpretrain_clm.py](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Fblob\u002Fmain\u002Ftrain\u002Fpretrain\u002Fpretrain_clm.py)\n- [DeepSpeed](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FDeepSpeed)加速：\n  - 对于单卡训练，可以采用ZeRO-2的方式，参数配置见 [train\u002Fpretrain\u002Fds_config_zero2.json](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Fblob\u002Fmain\u002Ftrain\u002Fpretrain\u002Fds_config_zero2.json)\n  - 对于多卡训练，可以采用ZeRO-3的方式，参数配置见 [train\u002Fpretrain\u002Fds_config_zero3.json](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Fblob\u002Fmain\u002Ftrain\u002Fpretrain\u002Fds_config_zero3.json)\n- 训练效果度量指标：[train\u002Fpretrain\u002Faccuracy.py](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Fblob\u002Fmain\u002Ftrain\u002Fpretrain\u002Faccuracy.py)\n\n## 💡 模型微调\n\n本仓库中同时提供了LoRA微调和全量参数微调代码，关于LoRA的详细介绍可以参考论文“[LoRA: Low-Rank Adaptation of Large Language Models](https:\u002F\u002Farxiv.org\u002Fabs\u002F2106.09685)”以及微软Github仓库[LoRA](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FLoRA)。\n\n### Step1: 环境准备\n\n根据[requirements.txt](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Fblob\u002Fmain\u002Frequirements.txt)安装对应的环境依赖。\n\n### Step2: 数据准备\n在data目录下提供了一份用于模型sft的数据样例：\n- 训练数据：[data\u002Ftrain_sft.csv](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Fblob\u002Fmain\u002Fdata\u002Ftrain_sft.csv)\n- 验证数据：[data\u002Fdev_sft.csv](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Fblob\u002Fmain\u002Fdata\u002Fdev_sft.csv)\n\n每个csv文件中包含一列“text”，每一行为一个训练样例，每个训练样例按照以下格式将问题和答案组织为模型输入，您可以按照以下格式自定义训练和验证数据集：\n```\n\"\u003Cs>Human: \"+问题+\"\\n\u003C\u002Fs>\u003Cs>Assistant: \"+答案+\"\\n\"\u003C\u002Fs>\n```\n例如，\n```\n\u003Cs>Human: 用一句话描述地球为什么是独一无二的。\u003C\u002Fs>\u003Cs>Assistant: 因为地球是目前为止唯一已知存在生命的行星。\u003C\u002Fs>\n```\n\n### Step3: 微调脚本\n\n#### LoRA微调\nLoRA微调脚本见：[train\u002Fsft\u002Ffinetune_lora.sh](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Fblob\u002Fmain\u002Ftrain\u002Fsft\u002Ffinetune_lora.sh)，关于LoRA微调的具体实现代码见[train\u002Fsft\u002Ffinetune_clm_lora.py](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Fblob\u002Fmain\u002Ftrain\u002Fsft\u002Ffinetune_clm_lora.py)，单机多卡的微调可以通过修改脚本中的`--include localhost:0`来实现。\n\n#### 全量参数微调\n全量参数微调脚本见：[train\u002Fsft\u002Ffinetune.sh](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Fblob\u002Fmain\u002Ftrain\u002Fsft\u002Ffinetune.sh)，关于全量参数微调的具体实现代码见[train\u002Fsft\u002Ffinetune_clm.py](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Fblob\u002Fmain\u002Ftrain\u002Fsft\u002Ffinetune_clm.py)。\n\n\n### Step4: 加载微调模型\n\n#### LoRA微调\n基于LoRA微调的模型参数见：[基于Llama2的中文微调模型](#llama2中文微调模型)，LoRA参数需要和基础模型参数结合使用。\n\n通过[PEFT](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fpeft)加载预trained模型参数和微trained model parameters，以下示例代码中，base_model_name_or_path为 pretrained model parameter save path，finetune_model_path为 microtrained model parameter save path。\n\n```python\nimport torch\nfrom transformers import AutoTokenizer, AutoModelForCausalLM\nfrom peft import PeftModel,PeftConfig\n# 例如: finetune_model_path='FlagAlpha\u002FLlama2-Chinese-7b-Chat-LoRA'\nfinetune_model_path=''  \nconfig = PeftConfig.from_pretrained(finetune_model_path)\n# 例如: base_model_name_or_path='meta-llama\u002FLlama-2-7b-chat'\ntokenizer = AutoTokenizer.from_pretrained(config.base_model_name_or_path,use_fast=False)\ntokenizer.pad_token = tokenizer.eos_token\ndevice_map = \"cuda:0\" if torch.cuda.is_available() else \"auto\"\nmodel = AutoModelForCausalLM.from_pretrained(config.base_model_name_or_path,device_map=device_map,torch_dtype=torch.float16,load_in_8bit=True,trust_remote_code=True,use_flash_attention_2=True)\nmodel = PeftModel.from_pretrained(model, finetune_model_path, device_map={\"\": 0})\nmodel =model.eval()\ninput_ids = tokenizer(['\u003Cs>Human: 介绍一下北京\\n\u003C\u002Fs>\u003Cs>Assistant: '], return_tensors=\"pt\",add_special_tokens=False).input_ids\nif torch.cuda.is_available():\n  input_ids = input_ids.to('cuda')\ngenerate_input = {\n    \"input_ids\":input_ids,\n    \"max_new_tokens\":512,\n    \"do_sample\":True,\n    \"top_k\":50,\n    \"top_p\":0.95,\n    \"temperature\":0.3,\n    \"repetition_penalty\":1.3,\n    \"eos_token_id\":tokenizer.eos_token_id,\n    \"bos_token_id\":tokenizer.bos_token_id,\n    \"pad_token_id\":tokenizer.pad_token_id\n}\ngenerate_ids  = model.generate(**generate_input)\ntext = tokenizer.decode(generate_ids[0])\nprint(text)\n```\n\n#### 全量参数微调\n对于全量参数微调的模型，调用方式同[模型调用代码示例](#模型调用代码示例)，只需要修改其中的模型名称或者保存路径即可。\n\n## 🍄 模型量化\n我们对中文微调的模型参数进行了量化，方便以更少的计算资源运行。目前已经在[Hugging Face](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha)上传了13B中文微调模型[FlagAlpha\u002FLlama2-Chinese-13b-Chat](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha\u002FLlama2-Chinese-13b-Chat)的4bit压缩版本[FlagAlpha\u002FLlama2-Chinese-13b-Chat-4bit](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha\u002FLlama2-Chinese-13b-Chat-4bit)，具体调用方式如下：\n\n环境准备：\n```\npip install git+https:\u002F\u002Fgithub.com\u002FPanQiWei\u002FAutoGPTQ.git\n```\n\n```python\nfrom transformers import AutoTokenizer\nfrom auto_gptq import AutoGPTQForCausalLM\nmodel = AutoGPTQForCausalLM.from_quantized('FlagAlpha\u002FLlama2-Chinese-13b-Chat-4bit', device=\"cuda:0\")\ntokenizer = AutoTokenizer.from_pretrained('FlagAlpha\u002FLlama2-Chinese-13b-Chat-4bit',use_fast=False)\ninput_ids = tokenizer(['\u003Cs>Human: 怎么登上火星\\n\u003C\u002Fs>\u003Cs>Assistant: '], return_tensors=\"pt\",add_special_tokens=False).input_ids.to('cuda')        \ngenerate_input = {\n    \"input_ids\":input_ids,\n    \"max_new_tokens\":512,\n    \"do_sample\":True,\n    \"top_k\":50,\n    \"top_p\":0.95,\n    \"temperature\":0.3,\n    \"repetition_penalty\":1.3,\n    \"eos_token_id\":tokenizer.eos_token_id,\n    \"bos_token_id\":tokenizer.bos_token_id,\n    \"pad_token_id\":tokenizer.pad_token_id\n}\ngenerate_ids  = model.generate(**generate_input)\ntext = tokenizer.decode(generate_ids[0])\nprint(text)\n```\n\n## 🚀 部署加速\n随着大模型参数规模的不断增长，在有限的算力资源下，提升模型的推理速度逐渐变为一个重要的研究方向。常用的推理加速框架包含 lmdeploy、TensorRT-LLM、vLLM和JittorLLMs 等。\n\n### TensorRT-LLM\n[TensorRT-LLM](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FTensorRT-LLM\u002Ftree\u002Fmain)由NVIDIA开发，高性能推理框架\n\n详细的推理文档见：[inference-speed\u002FGPU\u002FTensorRT-LLM_example](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Ftree\u002Fmain\u002Finference-speed\u002FGPU\u002FTensorRT-LLM_example)\n\n### vLLM\n[vLLM](https:\u002F\u002Fgithub.com\u002Fvllm-project\u002Fvllm)由加州大学伯克利分校开发，核心技术是PageAttention，吞吐量比HuggingFace Transformers高出24倍。相较与FasterTrainsformer，vLLM更加的简单易用，不需要额外进行模型的转换，支持fp16推理。\n\n详细的推理文档见：[inference-speed\u002FGPU\u002Fvllm_example](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Fblob\u002Fmain\u002Finference-speed\u002FGPU\u002Fvllm_example\u002FREADME.md)\n\n### JittorLLMs\n[JittorLLMs](https:\u002F\u002Fgithub.com\u002FJittor\u002FJittorLLMs)由非十科技领衔，与清华大学可视媒体研究中心合作研发，通过动态swap机制大幅降低硬件配置要求（减少80%）,并且Jittor框架通过零拷贝技术，大模型加载相比Pytorch开销降低40%，同时，通过元算子自动编译优化，计算性能提升20%以上。\n\n详细的推理文档见：[inference-speed\u002FGPU\u002FJittorLLMs](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Fblob\u002Fmain\u002Finference-speed\u002FGPU\u002FJittorLLMs_example\u002FREADME.md)\n\n### lmdeploy\n[lmdeploy](https:\u002F\u002Fgithub.com\u002FInternLM\u002Flmdeploy\u002F) 由上海人工智能实验室开发，推理使用 C++\u002FCUDA，对外提供 python\u002FgRPC\u002Fhttp 接口和 WebUI 界面，支持 tensor parallel 分布式推理、支持 fp16\u002Fweight int4\u002Fkv cache int8 量化。\n\n详细的推理文档见：[inference-speed\u002FGPU\u002Flmdeploy_example](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Ftree\u002Fmain\u002Finference-speed\u002FGPU\u002Flmdeploy_example)\n\n## 💪 外延能力\n\n除了持续增强大模型内在的知识储备、通用理解、逻辑推理和想象能力等，未来，我们也会不断丰富大模型的外延能力，例如知识库检索、计算工具、WolframAlpha、操作软件等。\n我们首先集成了LangChain框架，可以更方便地基于Llama2开发文档检索、问答机器人和智能体应用等，关于LangChain的更多介绍参见[LangChain](https:\u002F\u002Fgithub.com\u002Flangchain-ai\u002Flangchain)。\n\n### LangChain\n针对LangChain框架封装的Llama2 LLM类见[examples\u002Fllama2_for_langchain.py](https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese\u002Fblob\u002Fmain\u002Fexamples\u002Fllama2_for_langchain.py)，简单的调用代码示例如下：\n```python\nfrom llama2_for_langchain import Llama2\n\n# 这里以调用FlagAlpha\u002FAtom-7B-Chat为例\nllm = Llama2(model_name_or_path='FlagAlpha\u002FAtom-7B-Chat')\n\nwhile True:\n    human_input = input(\"Human: \")\n    response = llm(human_input)\n    print(f\"Llama2: {response}\")\n```\n\n## 🥇 模型评测\n\n### Llama4模型评测\n\u003Cp align=\"center\" width=\"100%\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FLlamaFamily_Llama-Chinese_readme_61be08075862.png\" style=\"width: 100%; display: block; margin: auto;\">\n\u003C\u002Fp>\n\n### Llama2和Llama3对比评测\n基础模型对比\n\u003Cp align=\"center\" width=\"100%\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FLlamaFamily_Llama-Chinese_readme_872c0ff0fee2.png\" style=\"width: 100%; display: block; margin: auto;\">\n\u003C\u002Fp>\n微调模型对比\n\u003Cp align=\"center\" width=\"100%\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FLlamaFamily_Llama-Chinese_readme_8ee55b1910f0.png\" style=\"width: 100%; display: block; margin: auto;\">\n\u003C\u002Fp>\n\n### Llama3模型评测\n\u003Cp align=\"center\" width=\"100%\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FLlamaFamily_Llama-Chinese_readme_0af451f73c24.png\" style=\"width: 100%; display: block; margin: auto;\">\n\u003C\u002Fp>\n\n### Llama2模型评测\n\u003Cp align=\"center\" width=\"100%\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FLlamaFamily_Llama-Chinese_readme_4bbb6fc4986c.jpeg\" style=\"width: 100%; display: block; margin: auto;\">\n\u003C\u002Fp>\n\n为了能够更加清晰地了解Llama模型的中文问答能力，我们筛选了一些具有代表性的中文问题，对Llama模型进行提问。我们测试的模型包含Meta公开的Llama2-7B-Chat和Llama2-13B-Chat两个版本，没有做任何微调和训练。测试问题筛选自[AtomBulb](https:\u002F\u002Fgithub.com\u002FAtomEcho\u002FAtomBulb)，共95个测试问题，包含：通用知识、语言理解、创作能力、逻辑推理、代码编程、工作技能、使用工具、人格特征八个大的类别。\n\n测试中使用的Prompt如下，例如对于问题“列出5种可以改善睡眠质量的方法”：\n```\n[INST] \n\u003C\u003CSYS>>\n你是一位乐于助人、尊重他人且诚实的助手。在确保安全的前提下，始终尽可能提供有帮助的回答。你的回答不应包含任何有害、不道德、种族主义、性别歧视、有毒、危险或非法的内容。请确保你的回应是社会上公正且积极向上的。答案始终翻译成中文。\n\n如果一个问题毫无意义或在事实上不连贯，你应该解释原因，而不是给出错误的答案。如果你不知道问题的答案，切勿提供虚假信息。\n\n答案始终翻译成中文。\n\u003C\u003C\u002FSYS>>\n\n列出5种可以改善睡眠质量的方法\n[\u002FINST]\n```\nLlama2-7B-Chat的测试结果见[meta_eval_7B.md](assets\u002Fmeta_eval_7B.md)，Llama2-13B-Chat的测试结果见[meta_eval_13B.md](assets\u002Fmeta_eval_13B.md)。\n\n通过测试我们发现，Meta原始的Llama2 Chat模型对于中文问答的对齐效果一般，大部分情况下都不能给出中文回答，或者是中英文混杂的形式。当然，随着基座模型多语种语料的扩充，这些问题将很快被解决。比如，在Llama4当中，预训练数据包含200种语言，其中100种语言的语料超过了1B tokens。\n\n\n## 📖 学习中心\n\n### 官方文档\n\nMeta Llama全系列模型官方文档：https:\u002F\u002Fwww.llama.com\u002Fdocs\u002Fget-started\n\nMeta Llama官方网站：https:\u002F\u002Fwww.llama.com\n\n### 社区文档\n[Llama全套学习资料](https:\u002F\u002Fchinesellama.feishu.cn\u002Fwiki\u002FXBKPwbhWriWCfrkmJhfcrS9Rnqc?fromScene=spaceOverview)\n\n### Llama相关论文\n* [LLaMA: 开放且高效的底层语言模型](https:\u002F\u002Farxiv.org\u002Fabs\u002F2302.13971)\n* [Llama 2: 开放的基础模型和微调后的聊天模型](https:\u002F\u002Farxiv.org\u002Fabs\u002F2307.09288)\n* [Code Llama: 面向代码的开放基础模型](https:\u002F\u002Fai.meta.com\u002Fresearch\u002Fpublications\u002Fcode-llama-open-foundation-models-for-code\u002F)\n\n\n## 📌 其它\n\n### 🎉 致谢\n\n感谢原子回声[AtomEcho](https:\u002F\u002Fgithub.com\u002FAtomEcho)团队的技术和资源支持！\n\n感谢芯格[Coremesh](https:\u002F\u002Fcoremesh.net)团队的技术和资源支持！\n\n感谢 [福州连天教育科技有限公司](www.3class.cc) 对Llama中文社区的贡献！\n\n感谢 @Z Potentials社区对Llama中文社区的支持！\n\n### 🤔 问题反馈\n\n如有问题，请在GitHub Issue中提交，在提交问题之前，请先查阅以往的issue是否能解决你的问题。\n\n礼貌地提出问题，构建和谐的讨论社区。\n\n加入[飞书知识库](https:\u002F\u002Fchinesellama.feishu.cn\u002Fwiki\u002Fspace\u002F7257824476874768388?ccm_open_type=lark_wiki_spaceLink)，一起共建社区文档。\n\n加入微信群讨论😍😍\n\n\u003Cp align=\"center\" width=\"100%\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FLlamaFamily_Llama-Chinese_readme_a378f58474f8.jpeg\" alt=\"Wechat\" style=\"width: 100%; display: block; margin: auto;\">\n\u003C\u002Fp>\n\n\u003Cp align=\"center\" width=\"100%\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FLlamaFamily_Llama-Chinese_readme_1ad947c36aab.png\" alt=\"Star\" style=\"width: 100%; display: block; margin: auto;\">\n\u003C\u002Fp>","# Llama-Chinese 快速上手指南\n\nLlama-Chinese 是由 Llama 中文社区维护的开源项目，旨在提供针对中文优化的 Llama 系列大模型（包括 Atom 系列及 Llama2\u002F3\u002F4 的微调版本），并提供从环境搭建、模型微调到部署加速的全套解决方案。\n\n## 1. 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**: Linux (推荐 Ubuntu 20.04+) 或 macOS。Windows 用户建议使用 WSL2 或 Docker。\n*   **Python 版本**: 3.8 - 3.10\n*   **硬件要求**:\n    *   **推理**: 至少 8GB GPU 显存 (运行 7B 模型量化版) 或 16GB+ (运行全精度 7B)。\n    *   **微调**: 建议 24GB+ GPU 显存 (如 RTX 3090\u002F4090)，或使用多卡集群。\n*   **前置依赖**:\n    *   Git\n    *   CUDA Toolkit (版本需与 PyTorch 匹配，通常建议 11.8 或 12.1)\n    *   Anaconda 或 Miniconda (强烈推荐使用虚拟环境管理)\n\n## 2. 安装步骤\n\n推荐使用 **Anaconda** 创建独立的 Python 环境，并优先使用国内镜像源加速下载。\n\n### 第一步：克隆项目代码\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FLlamaFamily\u002FLlama-Chinese.git\ncd Llama-Chinese\n```\n\n### 第二步：创建并激活虚拟环境\n```bash\nconda create -n llama-chinese python=3.10 -y\nconda activate llama-chinese\n```\n\n### 第三步：安装依赖库\n项目通常依赖 `requirements.txt`。为确保下载速度，建议配置 pip 使用清华或阿里镜像。\n\n```bash\n# 配置清华镜像源\npip config set global.index-url https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n\n# 安装核心依赖\npip install -r requirements.txt\n```\n\n> **注意**：如果您仅需进行推理测试，也可以直接安装关键库：\n> ```bash\n> pip install torch torchvision torchaudio --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118\n> pip install transformers accelerate sentencepiece protobuf\n> ```\n\n## 3. 基本使用\n\n以下展示如何使用 Python 脚本加载社区优化的 **Atom-7B-Chat** 模型进行最简单的对话交互。\n\n### 方式一：使用 Hugging Face Transformers 加载\n\n确保您已登录 Hugging Face 或已将模型下载到本地。以下示例假设使用在线加载（需网络环境支持）或本地路径加载。\n\n```python\nfrom transformers import AutoTokenizer, AutoModelForCausalLM\nimport torch\n\n# 模型标识符 (社区优化版本)\nmodel_name = \"FlagAlpha\u002FAtom-7B-Chat\"\n\n# 1. 加载分词器\ntokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)\n\n# 2. 加载模型\n# device_map=\"auto\" 会自动将模型分配到可用的 GPU 上\nmodel = AutoModelForCausalLM.from_pretrained(\n    model_name, \n    device_map=\"auto\", \n    torch_dtype=torch.float16, \n    trust_remote_code=True\n)\n\n# 3. 构建输入提示 (Prompt)\n# Atom\u002FLlama-Chinese 系列通常遵循特定的对话格式，此处为通用示例\nprompt = \"你好，请介绍一下你自己。\"\ninputs = tokenizer(prompt, return_tensors=\"pt\").to(model.device)\n\n# 4. 生成回复\noutputs = model.generate(\n    inputs.input_ids, \n    max_new_tokens=512, \n    do_sample=True, \n    temperature=0.7, \n    top_p=0.95\n)\n\n# 5. 解码并输出结果\nresponse = tokenizer.decode(outputs[0], skip_special_tokens=True)\nprint(response)\n```\n\n### 方式二：使用 Ollama 快速运行 (推荐新手)\n\n如果您不想配置复杂的 Python 环境，可以使用 Ollama 一键运行社区适配的模型。\n\n1.  **安装 Ollama**: 访问 [ollama.com](https:\u002F\u002Follama.com) 下载安装。\n2.  **拉取并运行模型**:\n    ```bash\n    # 运行 Llama3 中文微调版\n    ollama run llama3-chinese-8b-instruct\n    \n    # 或者运行 Atom 模型 (如果已收录)\n    # ollama run atom-7b-chat\n    ```\n\n### 方式三：使用 Gradio 启动 Web 界面\n\n项目提供了基于 Gradio 的交互式界面，适合快速体验。\n\n```bash\n# 在项目根目录下运行\npython examples\u002Fgradio_demo.py --model_name_or_path FlagAlpha\u002FAtom-7B-Chat\n```\n运行后，终端会显示一个本地链接（通常是 `http:\u002F\u002F127.0.0.1:7860`），在浏览器打开即可进行对话。\n\n---\n\n**获取更多资源**:\n*   **模型下载**: [Hugging Face](https:\u002F\u002Fhuggingface.co\u002FFlagAlpha) | [ModelScope (魔搭)](https:\u002F\u002Fwww.modelscope.cn\u002Forganization\u002FFlagAlpha\u002F)\n*   **在线体验**: [llama.family](https:\u002F\u002Fllama.family\u002Fchat\u002F#\u002F)\n*   **详细文档**: 请参考项目仓库中的完整 README 或社区论坛。","某电商初创公司的算法团队急需构建一个能精准理解中文网络用语和客服话术的智能问答机器人，以应对大促期间的高并发咨询。\n\n### 没有 Llama-Chinese 时\n- **语言水土不服**：直接加载原生 Llama 模型，面对“亲”、“种草”、“拔草”等中文特有词汇时理解偏差大，回答生硬且充满翻译腔。\n- **资料分散难寻**：团队需花费数天在 GitHub、Hugging Face 和各技术博客间碎片化搜集中文微调教程、数据集和适配代码，效率极低。\n- **部署门槛过高**：缺乏针对中文场景优化的量化方案和推理加速指南，导致模型在有限算力下响应缓慢，难以落地生产环境。\n- **商用合规风险**：难以快速确认不同版本模型的开源协议细节，担心陷入版权纠纷，阻碍项目正式上线。\n\n### 使用 Llama-Chinese 后\n- **原生中文增强**：直接调用社区提供的 Atom 中文预训练模型或经过中文指令微调的 Llama3 版本，模型瞬间掌握本土化表达，回复自然流畅。\n- **资源一站聚合**：通过社区汇总的最新学习资料和现成脚本，团队在几小时内即可完成从数据准备到 LoRA 微调的全流程，研发周期缩短 70%。\n- **高效部署加速**：利用社区整理的 TensorRT-LLM 和 vLLM 中文适配方案，轻松实现模型量化与加速，在低成本显卡上也能支撑高并发请求。\n- **生态安全无忧**：依托社区明确的完全开源可商用声明及活跃的技术支持论坛，团队放心大胆地推进商业化应用，遇到问题能迅速获得高级工程师解答。\n\nLlama-Chinese 通过提供深度优化的中文模型底座与全链路开源生态，让开发者从繁琐的适配工作中解放，专注于业务价值的创造。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FLlamaChinese_Llama-Chinese_b7734f30.jpg","LlamaChinese","LlamaFamily","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FLlamaChinese_877454dc.jpg","The family for Llama models, technologies, and enthusiasts. Let’s build Llama community together!",null,"https:\u002F\u002Fllama.family","https:\u002F\u002Fgithub.com\u002FLlamaChinese",[83,87,91,95],{"name":84,"color":85,"percentage":86},"Python","#3572A5",94.5,{"name":88,"color":89,"percentage":90},"Shell","#89e051",3.6,{"name":92,"color":93,"percentage":94},"Jupyter Notebook","#DA5B0B",1.3,{"name":96,"color":97,"percentage":98},"Dockerfile","#384d54",0.6,14738,1304,"2026-04-04T14:23:00","Linux, macOS, Windows","推理和微调通常需要 NVIDIA GPU。具体显存需求取决于模型大小：7B 模型量化后需 6-8GB，全量微调 7B 建议 16GB+，70B 模型需多卡或高显存（80GB+）。支持 CUDA 加速及 TensorRT-LLM、vLLM 等后端。","最低 16GB（小模型量化推理），推荐 32GB-64GB+（大模型加载或全量微调）",{"notes":106,"python":107,"dependencies":108},"项目提供多种运行方式：Anaconda 环境、Docker 容器、llama.cpp（CPU\u002F金属加速）、Ollama 及各类推理加速框架（TensorRT-LLM, vLLM, lmdeploy）。中文预训练模型 Atom 针对中文词表进行了优化。使用 Docker 或 Conda 可快速搭建环境。模型文件较大，需确保存储空间充足。","3.8+",[109,110,111,112,113,114,115,116,117,118],"torch","transformers","accelerate","peft","bitsandbytes","gradio","fastapi","uvicorn","sentencepiece","protobuf",[13,26,15],[121,122,123,124,125,126],"llama","llm","pretraining","agent","llama4","rl","2026-03-27T02:49:30.150509","2026-04-06T07:16:06.952354",[130,135,140,145,150,155,160,165],{"id":131,"question_zh":132,"answer_zh":133,"source_url":134},9938,"使用 Chinese-llama2-7b 模型输出时出现中文乱码怎么办？","这通常是因为解码方式不当或词表不全导致的。如果您是在逐个 token 生成并打印时出现乱码，请尝试改为一次性输出所有 token，这样可以避免乱码问题。此外，部分字符可能因模型中文词表不全而无法处理，可尝试更换其他中文优化模型（如百川模型）进行测试。","https:\u002F\u002Fgithub.com\u002FLlamaChinese\u002FLlama-Chinese\u002Fissues\u002F149",{"id":136,"question_zh":137,"answer_zh":138,"source_url":139},9939,"下载模型后报错提示缺少 config.json 文件如何解决？","该问题通常是因为下载了官方原版模型而非 Hugging Face Transformers 格式的版本。请确保下载带有 '-hf' 后缀的模型（例如 Llama-2-7b-chat-hf），该版本包含 config.json 等必要配置文件。您可以直接在 Hugging Face 官网（需申请授权）下载，或使用项目提供的 download.sh 脚本并选择对应的 hf 版本选项。","https:\u002F\u002Fgithub.com\u002FLlamaChinese\u002FLlama-Chinese\u002Fissues\u002F4",{"id":141,"question_zh":142,"answer_zh":143,"source_url":144},9940,"微调非 Chat 版本的 LLAMA2 模型时，Prompt 模板必须保留 Human\u002FAssistant 格式吗？","不一定非要保留 Human\u002FAssistant 格式，您可以自定义模板（如 Instruction\u002FAnswer 格式）。但需要注意：训练和推理时必须使用完全相同的 Prompt 格式。如果沿用原模型的 Prompt 风格，模型收敛更快且泛化性更强；若使用自定义格式，则需要更多的数据量才能保证效果。","https:\u002F\u002Fgithub.com\u002FLlamaChinese\u002FLlama-Chinese\u002Fissues\u002F125",{"id":146,"question_zh":147,"answer_zh":148,"source_url":149},9941,"微调 13B 或 7B 模型大概需要多少显存？","显存需求取决于模型大小和 batch_size。根据用户经验，微调 7B 模型在 batch_size=4 时大约需要 24G 显存。对于 13B 模型，即使拥有 48G 显存，在某些参数配置下仍可能爆显存，建议尝试减小 batch_size 或使用量化技术（如 8bit\u002F4bit）来降低显存占用。","https:\u002F\u002Fgithub.com\u002FLlamaChinese\u002FLlama-Chinese\u002Fissues\u002F74",{"id":151,"question_zh":152,"answer_zh":153,"source_url":154},9942,"运行 quick_start.py 报错提示需要安装 flash_attn 但安装失败怎么办？","flash_attn 对显卡架构有要求（如不支持 V100 或 Mac M1）。如果您的环境不支持 flash_attn，可以在代码中将相关参数（如 use_flash_attention 或 load_in_8bit 中的依赖项）设置为 False 来跳过该依赖。虽然这会导致推理速度变慢，但可以正常运行程序。Mac M1 用户目前也面临类似兼容性问题，建议暂时关闭该功能。","https:\u002F\u002Fgithub.com\u002FLlamaChinese\u002FLlama-Chinese\u002Fissues\u002F320",{"id":156,"question_zh":157,"answer_zh":158,"source_url":159},9943,"Atom-7B 模型是重新预训练的还是基于 Llama2 微调的？","Atom-7B 是基于大规模中文数据，从预训练阶段开始对 Llama2 模型进行的持续迭代升级（即全量参数预训练），而不仅仅是 SFT 微调。如果您想学习从头训练的思路，可以参考项目中的预训练代码：train\u002Fpretrain\u002Fpretrain_clm.py，或者参考社区开源项目 open-llama2。","https:\u002F\u002Fgithub.com\u002FLlamaChinese\u002FLlama-Chinese\u002Fissues\u002F170",{"id":161,"question_zh":162,"answer_zh":163,"source_url":164},9944,"编译扩展 cpu_adam 时报 RuntimeError 错误如何解决？","该错误通常是由于 GCC 编译器版本过低导致的。在 CUDA 11.7 环境下，建议将 GCC 升级到 7.2.0 或更高版本。有用户反馈升级到 5.4.0 仍然报错，最终升级到 7.2.0 后解决了问题。","https:\u002F\u002Fgithub.com\u002FLlamaChinese\u002FLlama-Chinese\u002Fissues\u002F42",{"id":166,"question_zh":167,"answer_zh":168,"source_url":169},9945,"如何使用自己的数据进行全量预训练？","您可以参考 Hugging Face Transformers 库中的语言模型训练示例脚本：examples\u002Fpytorch\u002Flanguage-modeling\u002Frun_clm.py。此外，社区开源项目 open-llama2 也提供了相关的预训练实现思路供参考。","https:\u002F\u002Fgithub.com\u002FLlamaChinese\u002FLlama-Chinese\u002Fissues\u002F31",[]]