[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-IEIT-Yuan--Yuan-2.0":3,"tool-IEIT-Yuan--Yuan-2.0":64},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",138956,2,"2026-04-05T11:33:21",[13,15,26],"语言模型",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[13,14,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":23,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,26],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":23,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,51,52,53,15,54,26,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":10,"last_commit_at":62,"category_tags":63,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,26,54],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":75,"owner_avatar_url":76,"owner_bio":77,"owner_company":78,"owner_location":78,"owner_email":78,"owner_twitter":78,"owner_website":78,"owner_url":79,"languages":80,"stars":108,"forks":109,"last_commit_at":110,"license":111,"difficulty_score":10,"env_os":112,"env_gpu":113,"env_ram":114,"env_deps":115,"category_tags":118,"github_topics":78,"view_count":23,"oss_zip_url":78,"oss_zip_packed_at":78,"status":16,"created_at":119,"updated_at":120,"faqs":121,"releases":157},1450,"IEIT-Yuan\u002FYuan-2.0","Yuan-2.0","Yuan 2.0 Large Language Model","源2.0是浪潮信息推出的开源大语言模型系列，包含102B、51B和2B三个版本，支持商用无需授权。模型在代码生成、数学推理和对话理解方面表现优异，例如HumanEval准确率62.8%，GSM8K达77.7%。支持vLLM、TensorRT-LLM高效部署，适配FastChat框架，并开放共训计划，开发者可提交需求定制模型。新增Java、C++、Go等编程语言支持，强化安全性和价值观对齐能力，适合AI研究人员、开发者及企业团队快速构建智能应用。","\n# 源2.0\n\n[Read this in English.](.\u002FREADME-EN.md)\n\n📔 更为详细的使用信息，可以参考：[源2.0 论文](https:\u002F\u002Farxiv.org\u002Fftp\u002Farxiv\u002Fpapers\u002F2311\u002F2311.15786.pdf)\n\n\n\n## 目录\n\n- [源2.0](#源20)\n  - [目录](#目录)\n  - [持续更新🔥🔥🔥](#持续更新)\n  - [介绍](#介绍)\n  - [源大模型共训计划](#源大模型共训计划)\n  - [快速启动](#快速启动)\n    - [环境配置](#环境配置)\n    - [数据预处理](#数据预处理)\n    - [预训练](#预训练)\n    - [模型微调](#模型微调)\n    - [模型](#模型)\n    - [Hugging Face版本 ](#hugging-face版本-)\n    - [原始版本 ](#原始版本-)\n  - [评测结果](#评测结果)\n  - [代码调用](#代码调用)\n  - [源2.0 + 源Chat部署](#源20--源chat部署)\n    - [linux部署](#linux部署)\n    - [Windows部署](#windows部署)\n      - [🔘 GPU部署](#-gpu部署)\n      - [🔘 CPU部署](#-cpu部署)\n  - [联系我们](#联系我们)\n  - [招聘公告](#招聘公告)\n\n\n\u003C!-- markdown-toc end -->\n\n\n\n\n## 持续更新🔥🔥🔥\n* [2024-04-23] [新版 2B 模型发布：Yuan2-2B-Mars-hf](https:\u002F\u002Fhuggingface.co\u002FIEITYuan\u002FYuan2-2B-Mars-hf)：模型新增Java、C++、Go编程语言的代码生成能力;支持通过调用API工具进行数值计算，并在输出内容方面进行安全性增强，以及强化模型价值观对齐能力。同时发布GGUF版本 [Yuan2-2B-Mars-hf-GGUF](https:\u002F\u002Fhuggingface.co\u002FIEITYuan\u002FYuan2-2B-Mars-hf-GGUF)，支持使用CPU、GPU、iGPU（Intel AI PC）进行推理加速。\n* [2024-03-29] [增加用vLLM部署2B模型](https:\u002F\u002Fgithub.com\u002FIEI-mjx\u002FYuan-2.0\u002Fblob\u002Fmain\u002F3rdparty\u002Fvllm\u002FREADME_yuan_vllm.md),详请参见本页中的章节 \n* [2024-02-29] [新版 2B 模型发布：Yuan2-2B-Februa-hf](https:\u002F\u002Fhuggingface.co\u002FIEITYuan\u002FYuan2-2B-Februa-hf)：新版本的Yuan2-2B模型在数学、代码任务精度上均取得了明显提升。具体评测结果，**HumanEval精度从 61.5% 提升至 62.8%，GSM8K的测试精度从 70.2% 提升至 77.7% 。**\n* [2024-02-04] [增加用 TensorRT-LLM & Triton Server 部署2B模型](https:\u002F\u002Fgithub.com\u002FIEI-mjx\u002FYuan-2.0\u002Fblob\u002Fmain\u002F3rdparty\u002FTensorRT-LLM\u002FREADME_Yuan.md),详请参见本页中的章节\n* [2024-01-24] [源2.0适配FastChat框架](https:\u002F\u002Fgithub.com\u002Flm-sys\u002FFastChat\u002Fblob\u002Fmain\u002Fdocs\u002Fmodel_support.md)，支持最新[对话模板](https:\u002F\u002Fhuggingface.co\u002FIEITYuan\u002FYuan2-2B-Janus-hf\u002Fblob\u002Fmain\u002Ftokenizer_config.json#L6)：FastChat是一个用于训练、部署和评估基于大型语言模型的开放平台。用户可以基于FastChat框架更快、更灵活地使用源2.0大模型。\n* [2024-01-13] [新版 2B 模型发布：Yuan2-2B-Janus-hf](https:\u002F\u002Fhuggingface.co\u002FIEITYuan\u002FYuan2-2B-Janus-hf)：**从评测结果上来看，新版本的Yuan2-2B模型在推理、代码、对话等领域，均取得了显著的成果。准确率方面，HumanEval的评测结果从54.9%提升至61.5%，GSM8K的评测结果从66.6%提升至70.2% 。**\n* [2024-01-04] [使用 源Chat(YuanChat) 搭建对话应用](https:\u002F\u002Fgithub.com\u002FIEIT-Yuan\u002FYuanChat\u002Ftree\u002Fmain):源Chat 是Yuan-2.0 项目的一部分, 作为Yuan-2.0的一个客户端应用. 源Chat 提供了一种简单的交互方式，可以让用户很轻松的使用 Yuan-2.0, 用户可以很方便的进行测试以及使用。\n* [2024-01-02] [增加 Hugging Face 版本模型下载链接](https:\u002F\u002Fgithub.com\u002FIEIT-Yuan\u002FYuan-2.0?tab=readme-ov-file#hugging-face%E7%89%88%E6%9C%AC-),详情参见本页中的章节。\n\n\n\n\n\n## 介绍\n\n源2.0 是浪潮信息发布的新一代基础语言大模型。我们开源了全部的3个模型源2.0-102B，源2.0-51B和源2.0-2B。并且我们提供了预训练，微调，推理服务的相关脚本，以供研发人员做进一步的开发。源2.0是在源1.0的基础上，利用更多样的高质量预训练数据和指令微调数据集，令模型在语义、数学、推理、代码、知识等不同方面具备更强的理解能力。\n\n-----\n\n对本仓库源码的使用遵循开源许可协议 **Apache 2.0**。\n\n源2.0模型支持商用，不需要申请授权，请您了解并遵循[《源2.0模型许可协议》](.\u002FLICENSE-Yuan)，勿将开源模型和代码及基于开源项目产生的衍生物用于任何可能给国家和社会带来危害的用途以及用于任何未经过安全评估和备案的服务。\n\n尽管模型在训练时我们已采取措施尽力确保数据的合规性和准确性，但模型参数量巨大且受概率随机性因素影响，我们无法保证输出内容的准确性，且模型易被输入指令所误导，本项目不承担开源模型和代码导致的数据安全、舆情风险或发生任何模型被误导、滥用、传播、不当利用而产生的风险和责任。**您将对通过使用、复制、分发和修改模型等方式利用该开源项目所产生的风险与后果，独自承担全部责任。**\n\n## 源大模型共训计划\n\n我们希望开源的模型更符合开发者应用需求，为此我们推出源大模型共训计划，开发者提出自己的应用或场景的需求，由我们来准备训练数据并对源大模型进行增强训练，训练后的模型依然在社区开源。\n\n每月六日我们会收集前一月开发者提出的具体需求，经过评审后列入当月模型训练计划，训练完成后的模型在当月月末就会更新到开源社区。开发者只需要提出需求，由我们来进行数据准备、模型训练并开源。请开发者在issue的“源大模型共训计划”问题下提出具体需求，提出需求的具体格式无要求，只需要说清楚具体的应用场景、对大模型的能力需求以及给出输入输出的说明。\n\n以下是提出需求的一些示例（几条示例，能够反应场景的典型特性即可）：\n\n1. 场景需求：能够基于业务场景生成相关内容，对场景的描述。\n 输入：用户问题，输出：正确的答案。\n\n2. 场景需求：我想让大模型能够阅读一个领域下的多篇论文，给出这些论文的综述，当前领域研究的热点以及未解决的问题，从而辅助学术研究。\n输入为：一个领域下的多篇论文，输出为：综述研究报告，研究热点总结，未解决问题总结。\n\n## 快速启动 \n详细启动文档可参考[快速启动](Quickstart.md).\n\n### 环境配置\n\n我们建议使用有我们提供的最新的docker[镜像文件](https:\u002F\u002Fhub.docker.com\u002Fr\u002Fyuanmodel\u002Fyuan2.0).\n\n我们可以通过下面命令启动容器：\n\n```bash\ndocker pull yuanmodel\u002Fyuan2.0:V1-base\ndocker run --gpus all --privileged --ulimit stack=68719476736 --shm-size=1000G -itd -v \u002Fpath\u002Fto\u002Fyuan_2.0:\u002Fworkspace\u002Fyuan_2.0 -v \u002Fpath\u002Fto\u002Fdataset:\u002Fworkspace\u002Fdataset -v \u002Fpath\u002Fto\u002Fcheckpoints:\u002Fworkspace\u002Fcheckpoints --name your_name yuanmodel\u002Fyuan2.0:V1-base\ndocker exec -it your_name bash\n```\n\n\n\n\n### 数据预处理\n\n我们提供了数据预处理的脚本，参考[数据预处理说明文档](.\u002Fdocs\u002Fdata_process.md).\n\n### 预训练\n\n我们提供了用于预训练的文档和 [`example`](.\u002Fexamples)的脚本，具体使用方法可以参考[预训练说明文档](.\u002Fdocs\u002Fpretrain.md).\n\n\n\n### 模型微调\n\n请参考指令微调 [源2.0 指令微调示例](.\u002Fdocs\u002Finstruct_tuning.md)。\n\n请注意，不同的微调脚本对应的模型并不相同，请根据需要选择对应的模型。\n\n支持使用[llama-factory进行指令微调](.\u002Fdocs\u002FYuan2_llama-factory.md)。\n\n支持使用[fastchat进行多轮对话的微调](.\u002Fdocs\u002FYuan2_fastchat.md)。\n\n### 模型\n\n源2.0 是浪潮信息发布的新一代基础语言大模型。我们开源了全部的3个模型：源2.0-102B、源2.0-51B、源2.0-2B。提供预训练、微调、推理服务的相关脚本，以供研发人员做进一步开发。源2.0是在源1.0的基础上，利用更多样的高质量预训练数据和指令微调数据集，令模型在语义、数学、推理、代码、知识等不同方面具备更强的理解能力。\n\n\n🥇🥇🥇 **\u003Cfont color=#FFC125 >我们提供了源2.0的模型文件，可以通过以下链接进行下载：\u003C\u002Ffont>**\n\n\n### \u003Cfont color=#FFC125 >Hugging Face版本 \u003C\u002Ffont> \n\n\n\n|                                 模型                                  | 序列长度  |                                                                                                                                                                                       下载链接                                                                                                                                                                                        |\n|:-------------------------------------------------------------------:| :------: |:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------:|\n|                            源2.0-102B-hf                             |    4K    | [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FIEITYuan\u002FYuan2.0-102B-hf) \\| [HuggingFace](https:\u002F\u002Fhuggingface.co\u002FIEITYuan\u002FYuan2-102B-hf) \\| [OpenXlab](https:\u002F\u002Fopenxlab.org.cn\u002Fmodels\u002Fdetail\u002FYuanLLM\u002FYuan2-102B-hf)  \\|  [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1O4GkPSTPu5nwHk4v9byt7A?pwd=pq74#list\u002Fpath=%2F) \\| [WiseModel](https:\u002F\u002Fwww.wisemodel.cn\u002Fmodels\u002FIEIT-Yuan\u002FYuan2-102B-hf) |\n|                             源2.0-51B-hf                             |    4K    | [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FIEITYuan\u002FYuan2.0-51B-hf)  \\| [HuggingFace](https:\u002F\u002Fhuggingface.co\u002FIEITYuan\u002FYuan2.0-51B-hf)  \\| [OpenXlab](https:\u002F\u002Fopenxlab.org.cn\u002Fmodels\u002Fdetail\u002FYuanLLM\u002FYuan2-51B-hf)   \\| [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1-qw30ZuyrMfraFtkLgDg0A?pwd=v2nd#list\u002Fpath=%2F) \\| [WiseModel](https:\u002F\u002Fwww.wisemodel.cn\u002Fmodels\u002FIEIT-Yuan\u002FYuan2-51B-hf) |\n|                             源2.0-2B-hf                              |    8K    |  [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FIEITYuan\u002FYuan2.0-2B-hf)   \\| [HuggingFace](https:\u002F\u002Fhuggingface.co\u002FIEITYuan\u002FYuan2-2B-hf)   \\| [OpenXlab](https:\u002F\u002Fopenxlab.org.cn\u002Fmodels\u002Fdetail\u002FYuanLLM\u002FYuan2-2B-hf)    \\| [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1nt-03OAnjtZwhiVywj3xGw?pwd=nqef#list\u002Fpath=%2F) \\| [WiseModel](https:\u002F\u002Fwww.wisemodel.cn\u002Fmodels\u002FIEIT-Yuan\u002FYuan2-2B-hf)   |\n|                          源2.0-2B-Janus-hf                           |    8K    | [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FIEITYuan\u002FYuan2-2B-Janus-hf)   \\| [HuggingFace](https:\u002F\u002Fhuggingface.co\u002FIEITYuan\u002FYuan2-2B-Janus-hf) \\| [OpenXlab](https:\u002F\u002Fopenxlab.org.cn\u002Fmodels\u002Fdetail\u002FYuanLLM\u002FYuan2-2B-Janus-hf)  \\| [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1f7l-rSVlYAij33htR51TEg?pwd=hkep ) \\| [WiseModel](https:\u002F\u002Fwww.wisemodel.cn\u002Fmodels\u002FIEIT-Yuan\u002FYuan2-2B-Janus-hf) |\n|                          源2.0-2B-Februa-hf                          |    8K    |  [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FIEITYuan\u002FYuan2-2B-Februa-hf)   \\| [HuggingFace](https:\u002F\u002Fhuggingface.co\u002FIEITYuan\u002FYuan2-2B-Februa-hf) \\| [OpenXlab](https:\u002F\u002Fopenxlab.org.cn\u002Fmodels\u002Fdetail\u002FYuanLLM\u002FYuan2-2B-Februa-hf)  \\| [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1f7l-rSVlYAij33htR51TEg?pwd=hkep ) \\| [WiseModel](https:\u002F\u002Fwww.wisemodel.cn\u002Fmodels\u002FIEIT-Yuan\u002FYuan2-2B-Februa-hf)  |\n| 源2.0-2B-Mars-hf \u003Csup>\u003Cfont color=\"#FFFF00\">*New*\u003C\u002Ffont>\u003Cbr \u002F>\u003C\u002Fsup> |    8K    | [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FIEITYuan\u002FYuan2-2B-Mars-hf)   \\| [HuggingFace](https:\u002F\u002Fhuggingface.co\u002FIEITYuan\u002FYuan2-2B-Mars-hf) \\| [OpenXlab](https:\u002F\u002Fopenxlab.org.cn\u002Fmodels\u002Fdetail\u002FYuanLLM\u002FYuan2-2B-Mars-hf)  \\| [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1f7l-rSVlYAij33htR51TEg?pwd=hkep ) \\| [WiseModel](https:\u002F\u002Fwww.wisemodel.cn\u002Fmodels\u002FIEIT-Yuan\u002FYuan2-2B-Mars-hf)      | \n\n\nhttps:\u002F\u002Fhuggingface.co\u002FIEITYuan\u002FYuan2-2B-Mars-hf\n\n\n### \u003Cfont color=#FFC125 >原始版本 \u003C\u002Ffont> \n\n\n|        模型        | 序列长度  |                                                                                                                                                                           下载链接                                                                                                                                                                           |\n|:----------------:| :------: |:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------:|\n|    源2.0-102B     |    4K    |                             [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FIEITYuan\u002FYuan2.0-102B)  \\| [OpenXlab](https:\u002F\u002Fopenxlab.org.cn\u002Fmodels\u002Fdetail\u002FYuanLLM\u002FYuan2.0-102B)  \\|  [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1Tb9W6hEWS4bMkaE3p5s1fw?pwd=xrfo) \\| [WiseModel](https:\u002F\u002Fwisemodel.cn\u002Fmodels\u002FIEIT-Yuan\u002FYuan2.0-102B)                              |\n|     源2.0-51B     |    4K    |                               [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FIEITYuan\u002FYuan2.0-51B)  \\| [OpenXlab](https:\u002F\u002Fopenxlab.org.cn\u002Fmodels\u002Fdetail\u002FYuanLLM\u002FYuan2.0-51B)   \\| [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1bOypWMepdh9GFK_hHXVQbQ?pwd=1uw3) \\| [WiseModel](https:\u002F\u002Fwisemodel.cn\u002Fmodels\u002FIEIT-Yuan\u002FYuan2.0-51B)                               |\n|     源2.0-2B      |    8K    |                               [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FIEITYuan\u002FYuan2.0-2B)   \\| [OpenXlab](https:\u002F\u002Fopenxlab.org.cn\u002Fmodels\u002Fdetail\u002FYuanLLM\u002FYuan2.0-2B)    \\| [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1Xj8Mi2tPwuuVu7Cb0tCbtw?pwd=qxpa) \\| [WiseModel](https:\u002F\u002Fwisemodel.cn\u002Fmodels\u002FIEIT-Yuan\u002FYuan2.0-2B)                                |\n|  源2.0-2B-Janus   |    8K    |                             [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FIEITYuan\u002FYuan2-2B-Janus)   \\| [OpenXlab](https:\u002F\u002Fopenxlab.org.cn\u002Fmodels\u002Fdetail\u002FYuanLLM\u002FYuan2-2B-hf)  \\| [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1hCHI9LwxborXWABaShwl4w?pwd=sdyq) \\| [WiseModel](https:\u002F\u002Fwww.wisemodel.cn\u002Fmodels\u002FIEIT-Yuan\u002FYuan2-2B-Janus)                             |\n|  源2.0-2B-Februa  |    8K    |                             [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FIEITYuan\u002FYuan2-2B-Februa)   \\| [OpenXlab](https:\u002F\u002Fopenxlab.org.cn\u002Fmodels\u002Fdetail\u002FYuanLLM\u002FYuan2-2B-Februa)  \\| [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1hCHI9LwxborXWABaShwl4w?pwd=sdyq) \\| [WiseModel](https:\u002F\u002Fwww.wisemodel.cn\u002Fmodels\u002FIEIT-Yuan\u002FYuan2-2B-Februa)                             |\n\n\n\n源2.0-2B模型支持的序列长度为8192个tokens，源2.0-51B和源2.0-102B模型支持的序列长度为4096个tokens，可以根据用户设备的内存大小设置 `--max-position-embeddings` 和 `--seq-length` 的值。\n\n\n\n## 评测结果\n\n我们提供了[HumanEval](.\u002Fdocs\u002Feval_humaneval.md)，[AGIEval-GK-Math](.\u002Fdocs\u002Feval_agieval_math_cn.md)，[GSM8K](.\u002Fdocs\u002Feval_gsm8k_cn.md)和[TruthfulQA](.\u002Fdocs\u002Feval_TruthfulQA.md)的评估脚本，以方便大家复现我们的评测结果。在4个典型任务上，我们在论文中给出了源2.0不同尺寸模型的精度。\n\n| Model             | GSM8K   | AGIEval-GK-Math-QA     | AGIEval-GK-Math-Cloze     | HumanEval | TurthfulQA |\n| ----------------- | :----:  | :------------: | :---------------: | :-------: | ---------- |\n|  GPT-4            |  92%    |     47.0%      |       16.1%       |   86.6%   |     59%    |\n|  ChatGPT         | 68.6%\\* |     36.5%      |        7.3%       |  66.5%\\*  |     34%\\*  |\n|  Llama2           | 56.8%   |       -        |         -         |   29.9%   |       -    |\n| 源2.0-102B      | 76.6%   |     38.7%      |       13.5%       |   67.1%   |     58%    |\n| 源2.0-102B-SC   | 86.2%   |     45.5%      |       15.2%       |   77.4%   |       -    |\n\n\\* 使用与源2.0完全相同的输入数据对ChatGPT进行测试，时间2023年11月\n\n## 代码调用 \n\n考虑到推理服务的效率，源2.0-51B和源2.0-102B模型在启动推理服务之前，需要将模型转换成只有张量并行的模型文件。可以参考[文档](.\u002Fdocs\u002Fcheckpoint_process.md)\n\n可以通过调用推理服务，向推理服务发送请求实现模型的调用，[源2.0 推理服务](.\u002Fdocs\u002Finference_server.md)\n\n详细启动推理服务的流程可以参考 [Yuan2_inference_guide文档](.\u002Fdocs\u002FYuan2_inference_guide_cn.md)\n\n可以使用[replicate.com\u002Fieit-yuan](https:\u002F\u002Freplicate.com\u002Fieit-yuan)进行yuan2.0的线上api调用 ，具体操作方式参考replicate的官方文档。在LangChain和llamaIndex中使用replicate的教程可参考：https:\u002F\u002Fpython.langchain.com\u002Fdocs\u002Fintegrations\u002Fproviders\u002Freplicate 和 https:\u002F\u002Fdocs.llamaindex.ai\u002Fen\u002Fstable\u002Fapi_reference\u002Fllms\u002Freplicate.html。\n\n\n## 推理资源需求\n| 模型规格 | 最低GPU显存（推理） |  最低GPU显存（微调）\n| :---------: |:-----------:|:--------------:|\n| 2B |     6GB     | 80GB |\n| 51B |   4*80GB    | 32*80GB | \n| 102B |   8*80GB    | 96*80GB | \n\n\n## 源2.0 + 源Chat部署\n\n使用 [源Chat（YuanChat）](https:\u002F\u002Fgithub.com\u002FIEIT-Yuan\u002FYuanChat) 可以快速构建基于源2.0大模型的对话应用，源Chat 提供了一种简单的交互方式，支持在linux部署和Windows 操作系统上的便捷部署。\n\n\n### linux部署\n\n\n**Step 1:** 根据 [源2.0 推理服务](.\u002Fdocs\u002Finference_server_cn.md)，获取推理服务的 request url：`http:\u002F\u002F127.0.0.1:8000` ，支持ckpt和HuggingFace两种模型方式部署\n\n**Step 2:** 根据 [源Chat部署文档](https:\u002F\u002Fgithub.com\u002FIEIT-Yuan\u002FYuanChat\u002Fblob\u002Fmain\u002FREADME.md) 完成源Chat的部署\n\n**Step 3:** 在浏览器中访问链接：http:\u002F\u002Flocalhost:5050，验证是否部署正确\n\n\n### Windows部署\n#### 🔘 GPU部署\n**Step 1:** 根据 [源2.0 推理服务](.\u002Fdocs\u002Finference_server_cn.md)，获取推理服务的 request url：`http:\u002F\u002F127.0.0.1:8000` ，支持ckpt和HuggingFace两种模型方式部署\n\n**Step 2:** 根据 [源Chat部署文档](https:\u002F\u002Fgithub.com\u002FIEIT-Yuan\u002FYuanChat\u002Fblob\u002Fmain\u002FREADME.md) 完成源Chat的部署\n\n**Step 3:** 在浏览器中访问链接：http:\u002F\u002Flocalhost:5050，验证是否部署正确\n\n#### 🔘 CPU部署\n仅支持HuggingFace模型方式部署\n\n**Step 1:** 通过修改HuggingFace模型配置文件手动关闭flash_atten，具体如下：将[config_cpu.json](https:\u002F\u002Fhuggingface.co\u002FIEITYuan\u002FYuan2-2B-hf\u002Fblob\u002Fmain\u002Fconfig_cpu.json) 内容替代[config.json](https:\u002F\u002Fhuggingface.co\u002FIEITYuan\u002FYuan2-2B-hf\u002Fblob\u002Fmain\u002Fconfig.json), 将[yuan_hf_model_cpu.py](https:\u002F\u002Fhuggingface.co\u002FIEITYuan\u002FYuan2-2B-hf\u002Fblob\u002Fmain\u002Fyuan_hf_model_cpu.py) 内容替代[yuan_hf_model.py](https:\u002F\u002Fhuggingface.co\u002FIEITYuan\u002FYuan2-2B-hf\u002Fblob\u002Fmain\u002Fyuan_hf_model.py)\n\n**Step 2:** 根据 [Hugging Face 模型推理api部署](https:\u002F\u002Fgithub.com\u002FIEIT-Yuan\u002FYuan-2.0\u002Fblob\u002Fmain\u002Fdocs\u002Finference_server_cn.md#huggingface%E6%A8%A1%E5%9E%8B%E6%8E%A8%E7%90%86api%E9%83%A8%E7%BD%B2) ，获取推理服务的 request url：`http:\u002F\u002F127.0.0.1:8000` \n\n**Step 3:** 根据 [源Chat部署文档](https:\u002F\u002Fgithub.com\u002FIEIT-Yuan\u002FYuanChat\u002Fblob\u002Fmain\u002FREADME.md) 完成源Chat的部署\n\n**Step 4:** 在浏览器中访问链接：`http:\u002F\u002Flocalhost:5050`，验证是否部署正确\n\n详细部署方案可以参考 [源2.0](https:\u002F\u002Fgithub.com\u002FIEIT-Yuan\u002FYuan-2.0\u002Ftree\u002Fmain) 与 [源Chat](https:\u002F\u002Fgithub.com\u002FIEIT-Yuan\u002FYuanChat\u002F) \n\n## TensorRT-LLM推理服务部署\n性能测试\n\n我们比较了Yuan2.0-2B的trt_llm模型和原始的megatron模型进行的推理速度\n\nmax_output_len=300, prompt=\"写一篇春游作文\u003Csep>\"\n\n| Batch_size |  Megatron(推理速度:token\u002Fs)   |   trt-llm-engine_2B(推理速度:token\u002Fs)  |   性能提升(倍)          \n| :---------: |:----------------------------:|:--------------------------------------:|:------------:|\n| 1 | 29 | 124 | 4.35 |\n| 4 | 114| 477 | 4.17 |\n| 8 | 229 | 880 | 3.85 |\n| 16 | 432| 1888 | 4.37 |\n| 32 | 842 | 3326 | 3.95 |\n| 64 | 1684| 6724 | 3.99 |\n\n详细部署方案可以参考[TensorRT-LLM Yuan](.\u002F3rdparty\u002FTensorRT-LLM\u002FREADME_Yuan.md)\n\n## 联系我们\n1.给我们发邮件：air_service@ieisystem.com\n\n2.加入开发者微信群：\n扫码关注“源AI看世界”公众号，发送消息 **“入群”** 获取开发者技术交流群二维码。\n  ![Image text](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIEIT-Yuan_Yuan-2.0_readme_4bb859bd7278.png)\n\n## 招聘公告\n\n我们正在招聘大模型框架研发、推理性能优化、开源社区运营方向相关专家。\n\n请申请者将个人简历发送至邮箱(wushaohua@ieisystem.com)，并注明邮件主题”源项目团队应聘简历-个人名字”。\n","# 源2.0\n\n[用英文阅读本内容。](.\u002FREADME-EN.md)\n\n📔 更为详细的使用信息，可以参考：[源2.0 论文](https:\u002F\u002Farxiv.org\u002Fftp\u002Farxiv\u002Fpapers\u002F2311\u002F2311.15786.pdf)\n\n\n\n## 目录\n\n- [源2.0](#源20)\n  - [目录](#目录)\n  - [持续更新🔥🔥🔥](#持续更新)\n  - [介绍](#介绍)\n  - [源大模型共训计划](#源大模型共训计划)\n  - [快速启动](#快速启动)\n    - [环境配置](#环境配置)\n    - [数据预处理](#数据预处理)\n    - [预训练](#预训练)\n    - [模型微调](#模型微调)\n    - [模型](#模型)\n    - [Hugging Face版本 ](#hugging-face版本-)\n    - [原始版本 ](#原始版本-)\n  - [评测结果](#评测结果)\n  - [代码调用](#代码调用)\n  - [源2.0 + 源Chat部署](#源20--源chat部署)\n    - [linux部署](#linux部署)\n    - [Windows部署](#windows部署)\n      - [🔘 GPU部署](#-gpu部署)\n      - [🔘 CPU部署](#-cpu部署)\n  - [联系我们](#联系我们)\n  - [招聘公告](#招聘公告)\n\n\n\u003C!-- markdown-toc end -->\n\n\n\n\n## 持续更新🔥🔥🔥\n* [2024-04-23] [新版 2B 模型发布：Yuan2-2B-Mars-hf](https:\u002F\u002Fhuggingface.co\u002FIEITYuan\u002FYuan2-2B-Mars-hf)：模型新增Java、C++、Go编程语言的代码生成能力;支持通过调用API工具进行数值计算，并在输出内容方面进行安全性增强，以及强化模型价值观对齐能力。同时发布GGUF版本 [Yuan2-2B-Mars-hf-GGUF](https:\u002F\u002Fhuggingface.co\u002FIEITYuan\u002FYuan2-2B-Mars-hf-GGUF)，支持使用CPU、GPU、iGPU（Intel AI PC）进行推理加速。\n* [2024-03-29] [增加用vLLM部署2B模型](https:\u002F\u002Fgithub.com\u002FIEI-mjx\u002FYuan-2.0\u002Fblob\u002Fmain\u002F3rdparty\u002Fvllm\u002FREADME_yuan_vllm.md),详请参见本页中的章节 \n* [2024-02-29] [新版 2B 模型发布：Yuan2-2B-Februa-hf](https:\u002F\u002Fhuggingface.co\u002FIEITYuan\u002FYuan2-2B-Februa-hf)：新版本的Yuan2-2B模型在数学、代码任务精度上均取得了明显提升。具体评测结果，**HumanEval精度从 61.5% 提升至 62.8%，GSM8K的测试精度从 70.2% 提升至 77.7% 。**\n* [2024-02-04] [增加用 TensorRT-LLM & Triton Server 部署2B模型](https:\u002F\u002Fgithub.com\u002FIEI-mjx\u002FYuan-2.0\u002Fblob\u002Fmain\u002F3rdparty\u002FTensorRT-LLM\u002FREADME_Yuan.md),详请参见本页中的章节\n* [2024-01-24] [源2.0适配FastChat框架](https:\u002F\u002Fgithub.com\u002Flm-sys\u002FFastChat\u002Fblob\u002Fmain\u002Fdocs\u002Fmodel_support.md)，支持最新[对话模板](https:\u002F\u002Fhuggingface.co\u002FIEITYuan\u002FYuan2-2B-Janus-hf\u002Fblob\u002Fmain\u002Ftokenizer_config.json#L6)：FastChat是一个用于训练、部署和评估基于大型语言模型的开放平台。用户可以基于FastChat框架更快、更灵活地使用源2.0大模型。\n* [2024-01-13] [新版 2B 模型发布：Yuan2-2B-Janus-hf](https:\u002F\u002Fhuggingface.co\u002FIEITYuan\u002FYuan2-2B-Janus-hf)：**从评测结果上来看，新版本的Yuan2-2B模型在推理、代码、对话等领域，均取得了显著的成果。准确率方面，HumanEval的评测结果从54.9%提升至61.5%，GSM8K的评测结果从66.6%提升至70.2% 。**\n* [2024-01-04] [使用 源Chat(YuanChat) 搭建对话应用](https:\u002F\u002Fgithub.com\u002FIEIT-Yuan\u002FYuanChat\u002Ftree\u002Fmain):源Chat 是Yuan-2.0 项目的一部分, 作为Yuan-2.0的一个客户端应用. 源Chat 提供了一种简单的交互方式，可以让用户很轻松的使用 Yuan-2.0, 用户可以很方便的进行测试以及使用。\n* [2024-01-02] [增加 Hugging Face 版本模型下载链接](https:\u002F\u002Fgithub.com\u002FIEIT-Yuan\u002FYuan-2.0?tab=readme-ov-file#hugging-face%E7%89%88%E6%9C%AC-),详情参见本页中的章节。\n\n\n\n\n\n## 介绍\n\n源2.0 是浪潮信息发布的新一代基础语言大模型。我们开源了全部的3个模型源2.0-102B，源2.0-51B和源2.0-2B。并且我们提供了预训练，微调，推理服务的相关脚本，以供研发人员做进一步的开发。源2.0是在源1.0的基础上，利用更多样的高质量预训练数据和指令微调数据集，令模型在语义、数学、推理、代码、知识等不同方面具备更强的理解能力。\n\n-----\n\n对本仓库源码的使用遵循开源许可协议 **Apache 2.0**。\n\n源2.0模型支持商用，不需要申请授权，请您了解并遵循[《源2.0模型许可协议》](.\u002FLICENSE-Yuan)，勿将开源模型和代码及基于开源项目产生的衍生物用于任何可能给国家和社会带来危害的用途以及用于任何未经过安全评估和备案的服务。\n\n尽管模型在训练时我们已采取措施尽力确保数据的合规性和准确性，但模型参数量巨大且受概率随机性因素影响，我们无法保证输出内容的准确性，且模型易被输入指令所误导，本项目不承担开源模型和代码导致的数据安全、舆情风险或发生任何模型被误导、滥用、传播、不当利用而产生的风险和责任。**您将对通过使用、复制、分发和修改模型等方式利用该开源项目所产生的风险与后果，独自承担全部责任。**\n\n## 源大模型共训计划\n\n我们希望开源的模型更符合开发者应用需求，为此我们推出源大模型共训计划，开发者提出自己的应用或场景的需求，由我们来准备训练数据并对源大模型进行增强训练，训练后的模型依然在社区开源。\n\n每月六日我们会收集前一月开发者提出的具体需求，经过评审后列入当月模型训练计划，训练完成后的模型在当月月末就会更新到开源社区。开发者只需要提出需求，由我们来进行数据准备、模型训练并开源。请开发者在issue的“源大模型共训计划”问题下提出具体需求，提出需求的具体格式无要求，只需要说清楚具体的应用场景、对大模型的能力需求以及给出输入输出的说明。\n\n以下是提出需求的一些示例（几条示例，能够反应场景的典型特性即可）：\n\n1. 场景需求：能够基于业务场景生成相关内容，对场景的描述。\n 输入：用户问题，输出：正确的答案。\n\n2. 场景需求：我想让大模型能够阅读一个领域下的多篇论文，给出这些论文的综述，当前领域研究的热点以及未解决的问题，从而辅助学术研究。\n输入为：一个领域下的多篇论文，输出为：综述研究报告，研究热点总结，未解决问题总结。\n\n## 快速启动 \n详细启动文档可参考[快速启动](Quickstart.md).\n\n### 环境配置\n\n我们建议使用有我们提供的最新的docker[镜像文件](https:\u002F\u002Fhub.docker.com\u002Fr\u002Fyuanmodel\u002Fyuan2.0).\n\n我们可以通过下面命令启动容器：\n\n```bash\ndocker pull yuanmodel\u002Fyuan2.0:V1-base\ndocker run --gpus all --privileged --ulimit stack=68719476736 --shm-size=1000G -itd -v \u002Fpath\u002Fto\u002Fyuan_2.0:\u002Fworkspace\u002Fyuan_2.0 -v \u002Fpath\u002Fto\u002Fdataset:\u002Fworkspace\u002Fdataset -v \u002Fpath\u002Fto\u002Fcheckpoints:\u002Fworkspace\u002Fcheckpoints --name your_name yuanmodel\u002Fyuan2.0:V1-base\ndocker exec -it your_name bash\n```\n\n\n\n\n### 数据预处理\n\n我们提供了数据预处理的脚本，参考[数据预处理说明文档](.\u002Fdocs\u002Fdata_process.md).\n\n### 预训练\n\n我们提供了用于预训练的文档和 [`example`](.\u002Fexamples)的脚本，具体使用方法可以参考[预训练说明文档](.\u002Fdocs\u002Fpretrain.md).\n\n\n\n### 模型微调\n\n请参考指令微调 [源2.0 指令微调示例](.\u002Fdocs\u002Finstruct_tuning.md)。\n\n请注意，不同的微调脚本对应的模型并不相同，请根据需要选择对应的模型。\n\n支持使用[llama-factory进行指令微调](.\u002Fdocs\u002FYuan2_llama-factory.md)。\n\n支持使用[fastchat进行多轮对话的微调](.\u002Fdocs\u002FYuan2_fastchat.md)。\n\n### 模型\n\n源2.0 是浪潮信息发布的新一代基础语言大模型。我们开源了全部的3个模型：源2.0-102B、源2.0-51B、源2.0-2B。提供预训练、微调、推理服务的相关脚本，以供研发人员做进一步开发。源2.0是在源1.0的基础上，利用更多样的高质量预训练数据和指令微调数据集，令模型在语义、数学、推理、代码、知识等不同方面具备更强的理解能力。\n\n\n🥇🥇🥇 **\u003Cfont color=#FFC125 >我们提供了源2.0的模型文件，可以通过以下链接进行下载：\u003C\u002Ffont>**\n\n### \u003Cfont color=#FFC125 >Hugging Face版本 \u003C\u002Ffont> \n\n\n\n|                                 模型                                  | 序列长度  |                                                                                                                                                                                       下载链接                                                                                                                                                                                        |\n|:-------------------------------------------------------------------:| :------: |:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------:|\n|                            源2.0-102B-hf                             |    4K    | [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FIEITYuan\u002FYuan2.0-102B-hf) \\| [HuggingFace](https:\u002F\u002Fhuggingface.co\u002FIEITYuan\u002FYuan2-102B-hf) \\| [OpenXlab](https:\u002F\u002Fopenxlab.org.cn\u002Fmodels\u002Fdetail\u002FYuanLLM\u002FYuan2-102B-hf)  \\|  [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1O4GkPSTPu5nwHk4v9byt7A?pwd=pq74#list\u002Fpath=%2F) \\| [WiseModel](https:\u002F\u002Fwww.wisemodel.cn\u002Fmodels\u002FIEIT-Yuan\u002FYuan2-102B-hf) |\n|                             源2.0-51B-hf                             |    4K    | [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FIEITYuan\u002FYuan2.0-51B-hf)  \\| [HuggingFace](https:\u002F\u002Fhuggingface.co\u002FIEITYuan\u002FYuan2.0-51B-hf)  \\| [OpenXlab](https:\u002F\u002Fopenxlab.org.cn\u002Fmodels\u002Fdetail\u002FYuanLLM\u002FYuan2-51B-hf)   \\| [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1-qw30ZuyrMfraFtkLgDg0A?pwd=v2nd#list\u002Fpath=%2F) \\| [WiseModel](https:\u002F\u002Fwww.wisemodel.cn\u002Fmodels\u002FIEIT-Yuan\u002FYuan2-51B-hf) |\n|                             源2.0-2B-hf                              |    8K    |  [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FIEITYuan\u002FYuan2.0-2B-hf)   \\| [HuggingFace](https:\u002F\u002Fhuggingface.co\u002FIEITYuan\u002FYuan2-2B-hf)   \\| [OpenXlab](https:\u002F\u002Fopenxlab.org.cn\u002Fmodels\u002Fdetail\u002FYuanLLM\u002FYuan2-2B-hf)    \\| [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1nt-03OAnjtZwhiVywj3xGw?pwd=nqef#list\u002Fpath=%2F) \\| [WiseModel](https:\u002F\u002Fwww.wisemodel.cn\u002Fmodels\u002FIEIT-Yuan\u002FYuan2-2B-hf)   |\n|                          源2.0-2B-Janus-hf                           |    8K    | [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FIEITYuan\u002FYuan2-2B-Janus-hf)   \\| [HuggingFace](https:\u002F\u002Fhuggingface.co\u002FIEITYuan\u002FYuan2-2B-Janus-hf) \\| [OpenXlab](https:\u002F\u002Fopenxlab.org.cn\u002Fmodels\u002Fdetail\u002FYuanLLM\u002FYuan2-2B-Janus-hf)  \\| [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1f7l-rSVlYAij33htR51TEg?pwd=hkep ) \\| [WiseModel](https:\u002F\u002Fwww.wisemodel.cn\u002Fmodels\u002FIEIT-Yuan\u002FYuan2-2B-Janus-hf) |\n|                          源2.0-2B-Februa-hf                          |    8K    |  [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FIEITYuan\u002FYuan2-2B-Februa-hf)   \\| [HuggingFace](https:\u002F\u002Fhuggingface.co\u002FIEITYuan\u002FYuan2-2B-Februa-hf) \\| [OpenXlab](https:\u002F\u002Fopenxlab.org.cn\u002Fmodels\u002Fdetail\u002FYuanLLM\u002FYuan2-2B-Februa-hf)  \\| [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1f7l-rSVlYAij33htR51TEg?pwd=hkep ) \\| [WiseModel](https:\u002F\u002Fwww.wisemodel.cn\u002Fmodels\u002FIEIT-Yuan\u002FYuan2-2B-Februa-hf)  |\n| 源2.0-2B-Mars-hf \u003Csup>\u003Cfont color=\"#FFFF00\">*New*\u003C\u002Ffont>\u003Cbr \u002F>\u003C\u002Fsup> |    8K    | [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FIEITYuan\u002FYuan2-2B-Mars-hf)   \\| [HuggingFace](https:\u002F\u002Fhuggingface.co\u002FIEITYuan\u002FYuan2-2B-Mars-hf) \\| [OpenXlab](https:\u002F\u002Fopenxlab.org.cn\u002Fmodels\u002Fdetail\u002FYuanLLM\u002FYuan2-2B-Mars-hf)  \\| [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1f7l-rSVlYAij33htR51TEg?pwd=hkep ) \\| [WiseModel](https:\u002F\u002Fwww.wisemodel.cn\u002Fmodels\u002FIEIT-Yuan\u002FYuan2-2B-Mars-hf)      | \n\n\nhttps:\u002F\u002Fhuggingface.co\u002FIEITYuan\u002FYuan2-2B-Mars-hf\n\n\n### \u003Cfont color=#FFC125 >原始版本 \u003C\u002Ffont> \n\n\n|        模型        | 序列长度  |                                                                                                                                                                           下载链接                                                                                                                                                                           |\n|:----------------:| :------: |:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------:|\n|    源2.0-102B     |    4K    |                             [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FIEITYuan\u002FYuan2.0-102B)  \\| [OpenXlab](https:\u002F\u002Fopenxlab.org.cn\u002Fmodels\u002Fdetail\u002FYuanLLM\u002FYuan2.0-102B)  \\|  [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1Tb9W6hEWS4bMkaE3p5s1fw?pwd=xrfo) \\| [WiseModel](https:\u002F\u002Fwisemodel.cn\u002Fmodels\u002FIEIT-Yuan\u002FYuan2.0-102B)                              |\n|     源2.0-51B     |    4K    |                               [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FIEITYuan\u002FYuan2.0-51B)  \\| [OpenXlab](https:\u002F\u002Fopenxlab.org.cn\u002Fmodels\u002Fdetail\u002FYuanLLM\u002FYuan2.0-51B)   \\| [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1bOypWMepdh9GFK_hHXVQbQ?pwd=1uw3) \\| [WiseModel](https:\u002F\u002Fwisemodel.cn\u002Fmodels\u002FIEIT-Yuan\u002FYuan2.0-51B)                               |\n|     源2.0-2B      |    8K    |                               [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FIEITYuan\u002FYuan2.0-2B)   \\| [OpenXlab](https:\u002F\u002Fopenxlab.org.cn\u002Fmodels\u002Fdetail\u002FYuanLLM\u002FYuan2.0-2B)    \\| [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1Xj8Mi2tPwuuVu7Cb0tCbtw?pwd=qxpa) \\| [WiseModel](https:\u002F\u002Fwisemodel.cn\u002Fmodels\u002FIEIT-Yuan\u002FYuan2.0-2B)                                |\n|  源2.0-2B-Janus   |    8K    |                             [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FIEITYuan\u002FYuan2-2B-Janus)   \\| [OpenXlab](https:\u002F\u002Fopenxlab.org.cn\u002Fmodels\u002Fdetail\u002FYuanLLM\u002FYuan2-2B-hf)  \\| [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1hCHI9LwxborXWABaShwl4w?pwd=sdyq) \\| [WiseModel](https:\u002F\u002Fwww.wisemodel.cn\u002Fmodels\u002FIEIT-Yuan\u002FYuan2-2B-Janus)                             |\n|  源2.0-2B-Februa  |    8K    |                             [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FIEITYuan\u002FYuan2-2B-Februa)   \\| [OpenXlab](https:\u002F\u002Fopenxlab.org.cn\u002Fmodels\u002Fdetail\u002FYuanLLM\u002FYuan2-2B-Februa)  \\| [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1hCHI9LwxborXWABaShwl4w?pwd=sdyq) \\| [WiseModel](https:\u002F\u002Fwww.wisemodel.cn\u002Fmodels\u002FIEIT-Yuan\u002FYuan2-2B-Februa)                             |\n\n\n\n源2.0-2B模型支持的序列长度为8192个tokens，源2.0-51B和源2.0-102B模型支持的序列长度为4096个tokens，可以根据用户设备的内存大小设置 `--max-position-embeddings` 和 `--seq-length` 的值。\n\n## 评测结果\n\n我们提供了[HumanEval](.\u002Fdocs\u002Feval_humaneval.md)、[AGIEval-GK-Math](.\u002Fdocs\u002Feval_agieval_math_cn.md)、[GSM8K](.\u002Fdocs\u002Feval_gsm8k_cn.md)和[TruthfulQA](.\u002Fdocs\u002Feval_TruthfulQA.md)的评估脚本，以方便大家复现我们的评测结果。在4个典型任务上，我们在论文中给出了源2.0不同尺寸模型的精度。\n\n| 模型             | GSM8K   | AGIEval-GK-Math-QA     | AGIEval-GK-Math-Cloze     | HumanEval | TruthfulQA |\n| ----------------- | :----:  | :------------: | :---------------: | :-------: | ---------- |\n|  GPT-4            |  92%    |     47.0%      |       16.1%       |   86.6%   |     59%    |\n|  ChatGPT         | 68.6%\\* |     36.5%      |        7.3%       |  66.5%\\*  |     34%\\*  |\n|  Llama2           | 56.8%   |       -        |         -         |   29.9%   |       -    |\n| 源2.0-102B      | 76.6%   |     38.7%      |       13.5%       |   67.1%   |     58%    |\n| 源2.0-102B-SC   | 86.2%   |     45.5%      |       15.2%       |   77.4%   |       -    |\n\n\\* 使用与源2.0完全相同的输入数据对ChatGPT进行测试，时间2023年11月\n\n## 代码调用 \n\n考虑到推理服务的效率，源2.0-51B和源2.0-102B模型在启动推理服务之前，需要将模型转换成只有张量并行的模型文件。可以参考[文档](.\u002Fdocs\u002Fcheckpoint_process.md)\n\n可以通过调用推理服务，向推理服务发送请求实现模型的调用，[源2.0 推理服务](.\u002Fdocs\u002Finference_server.md)\n\n详细启动推理服务的流程可以参考 [Yuan2_inference_guide文档](.\u002Fdocs\u002FYuan2_inference_guide_cn.md)\n\n可以使用[replicate.com\u002Fieit-yuan](https:\u002F\u002Freplicate.com\u002Fieit-yuan)进行yuan2.0的线上api调用 ，具体操作方式参考replicate的官方文档。在LangChain和llamaIndex中使用replicate的教程可参考：https:\u002F\u002Fpython.langchain.com\u002Fdocs\u002Fintegrations\u002Fproviders\u002Freplicate 和 https:\u002F\u002Fdocs.llamaindex.ai\u002Fen\u002Fstable\u002Fapi_reference\u002Fllms\u002Freplicate.html。\n\n\n## 推理资源需求\n| 模型规格 | 最低GPU显存（推理） |  最低GPU显存（微调）\n| :---------: |:-----------:|:--------------:|\n| 2B |     6GB     | 80GB |\n| 51B |   4*80GB    | 32*80GB | \n| 102B |   8*80GB    | 96*80GB | \n\n\n## 源2.0 + 源Chat部署\n\n使用 [源Chat（YuanChat）](https:\u002F\u002Fgithub.com\u002FIEIT-Yuan\u002FYuanChat) 可以快速构建基于源2.0大模型的对话应用，源Chat 提供了一种简单的交互方式，支持在linux部署和Windows 操作系统上的便捷部署。\n\n\n### linux部署\n\n\n**Step 1:** 根据 [源2.0 推理服务](.\u002Fdocs\u002Finference_server_cn.md)，获取推理服务的 request url：`http:\u002F\u002F127.0.0.1:8000` ，支持ckpt和HuggingFace两种模型方式部署\n\n**Step 2:** 根据 [源Chat部署文档](https:\u002F\u002Fgithub.com\u002FIEIT-Yuan\u002FYuanChat\u002Fblob\u002Fmain\u002FREADME.md) 完成源Chat的部署\n\n**Step 3:** 在浏览器中访问链接：http:\u002F\u002Flocalhost:5050，验证是否部署正确\n\n\n### Windows部署\n#### 🔘 GPU部署\n**Step 1:** 根据 [源2.0 推理服务](.\u002Fdocs\u002Finference_server_cn.md)，获取推理服务的 request url：`http:\u002F\u002F127.0.0.1:8000` ，支持ckpt和HuggingFace两种模型方式部署\n\n**Step 2:** 根据 [源Chat部署文档](https:\u002F\u002Fgithub.com\u002FIEIT-Yuan\u002FYuanChat\u002Fblob\u002Fmain\u002FREADME.md) 完成源Chat的部署\n\n**Step 3:** 在浏览器中访问链接：http:\u002F\u002Flocalhost:5050，验证是否部署正确\n\n#### 🔘 CPU部署\n仅支持HuggingFace模型方式部署\n\n**Step 1:** 通过修改HuggingFace模型配置文件手动关闭flash_atten，具体如下：将[config_cpu.json](https:\u002F\u002Fhuggingface.co\u002FIEITYuan\u002FYuan2-2B-hf\u002Fblob\u002Fmain\u002Fconfig_cpu.json) 内容替代[config.json](https:\u002F\u002Fhuggingface.co\u002FIEITYuan\u002FYuan2-2B-hf\u002Fblob\u002Fmain\u002Fconfig.json), 将[yuan_hf_model_cpu.py](https:\u002F\u002Fhuggingface.co\u002FIEITYuan\u002FYuan2-2B-hf\u002Fblob\u002Fmain\u002Fyuan_hf_model_cpu.py) 内容替代[yuan_hf_model.py](https:\u002F\u002Fhuggingface.co\u002FIEITYuan\u002FYuan2-2B-hf\u002Fblob\u002Fmain\u002Fyuan_hf_model.py)\n\n**Step 2:** 根据 [Hugging Face 模型推理api部署](https:\u002F\u002Fgithub.com\u002FIEIT-Yuan\u002FYuan-2.0\u002Fblob\u002Fmain\u002Fdocs\u002Finference_server_cn.md#huggingface%E6%A8%A1%E5%9E%8B%E6%8E%A8%E7%90%86api%E9%83%A8%E7%BD%B2) ，获取推理服务的 request url：`http:\u002F\u002F127.0.0.1:8000` \n\n**Step 3:** 根据 [源Chat部署文档](https:\u002F\u002Fgithub.com\u002FIEIT-Yuan\u002FYuanChat\u002Fblob\u002Fmain\u002FREADME.md) 完成源Chat的部署\n\n**Step 4:** 在浏览器中访问链接：`http:\u002F\u002Flocalhost:5050`，验证是否部署正确\n\n详细部署方案可以参考 [源2.0](https:\u002F\u002Fgithub.com\u002FIEIT-Yuan\u002FYuan-2.0\u002Ftree\u002Fmain) 与 [源Chat](https:\u002F\u002Fgithub.com\u002FIEIT-Yuan\u002FYuanChat\u002F) \n\n## TensorRT-LLM推理服务部署\n性能测试\n\n我们比较了Yuan2.0-2B的trt_llm模型和原始的megatron模型进行的推理速度\n\nmax_output_len=300, prompt=\"写一篇春游作文\u003Csep>\"\n\n| Batch_size |  Megatron(推理速度:token\u002Fs)   |   trt-llm-engine_2B(推理速度:token\u002Fs)  |   性能提升(倍)          \n| :---------: |:----------------------------:|:--------------------------------------:|:------------:|\n| 1 | 29 | 124 | 4.35 |\n| 4 | 114| 477 | 4.17 |\n| 8 | 229 | 880 | 3.85 |\n| 16 | 432| 1888 | 4.37 |\n| 32 | 842 | 3326 | 3.95 |\n| 64 | 1684| 6724 | 3.99 |\n\n详细部署方案可以参考[TensorRT-LLM Yuan](.\u002F3rdparty\u002FTensorRT-LLM\u002FREADME_Yuan.md)\n\n## 联系我们\n1.给我们发邮件：air_service@ieisystem.com\n\n2.加入开发者微信群：\n扫码关注“源AI看世界”公众号，发送消息 **“入群”** 获取开发者技术交流群二维码。\n  ![Image text](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIEIT-Yuan_Yuan-2.0_readme_4bb859bd7278.png)\n\n## 招聘公告\n\n我们正在招聘大模型框架研发、推理性能优化、开源社区运营方向相关专家。\n\n请申请者将个人简历发送至邮箱(wushaohua@ieisystem.com)，并注明邮件主题”源项目团队应聘简历-个人名字”。","# Yuan-2.0 快速上手指南\n\n## 环境准备\n- **系统要求**  \n  - NVIDIA GPU（推荐RTX 3090+）  \n  - Docker 20.10+ 和 nvidia-container-toolkit  \n  - 至少32GB内存（根据模型大小调整）  \n\n- **前置依赖**  \n  ```bash\n  # 安装Docker和NVIDIA驱动\n  sudo apt-get update\n  sudo apt-get install -y docker.io nvidia-container-toolkit\n  sudo systemctl enable --now docker\n  ```\n\n## 安装步骤\n1. **拉取Docker镜像**  \n   ```bash\n   docker pull yuanmodel\u002Fyuan2.0:V1-base\n   ```\n\n2. **启动容器**（替换路径为本地路径）  \n   ```bash\n   docker run --gpus all --privileged --ulimit stack=68719476736 --shm-size=1000G -itd \\\n   -v \u002Fyour\u002Flocal\u002Fpath:\u002Fworkspace \\\n   -v \u002Fyour\u002Fdataset:\u002Fworkspace\u002Fdataset \\\n   -v \u002Fyour\u002Fcheckpoints:\u002Fworkspace\u002Fcheckpoints \\\n   --name yuan-container yuanmodel\u002Fyuan2.0:V1-base\n   ```\n\n3. **进入容器**  \n   ```bash\n   docker exec -it yuan-container bash\n   ```\n\n## 基本使用\n1. **安装依赖**  \n   ```bash\n   pip install modelscope transformers torch\n   ```\n\n2. **加载模型并生成文本**  \n   ```python\n   from modelscope import snapshot_download\n   from transformers import AutoTokenizer, AutoModelForCausalLM\n\n   # 从ModelScope加速下载模型（国内推荐）\n   model_dir = snapshot_download('IEITYuan\u002FYuan2-2B-hf')\n   \n   tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True)\n   model = AutoModelForCausalLM.from_pretrained(model_dir, device_map=\"auto\", trust_remote_code=True)\n   \n   input_text = \"写一个Python函数计算斐波那契数列\"\n   inputs = tokenizer(input_text, return_tensors=\"pt\").to(\"cuda\")\n   outputs = model.generate(**inputs, max_new_tokens=200)\n   print(tokenizer.decode(outputs[0]))\n   ```\n\n> 💡 提示：  \n> - 使用`model_dir`路径加载模型可避免网络问题  \n> - 8K序列长度模型（如2B版本）支持更长上下文  \n> - 通过`device_map=\"auto\"`自动分配GPU资源","某金融科技公司开发团队正在构建量化交易策略原型系统，需快速生成多语言代码、处理复杂数学计算并确保代码安全。\n\n### 没有 Yuan-2.0 时\n- 团队需手动切换Java、C++、Go等不同语言编写代码，成员不熟悉所有语言导致开发效率低下且频繁出现语法错误\n- 数学计算部分依赖外部库手动整合，时间序列预测公式调试耗时，计算结果常因错误导致策略失效\n- 人工审查代码安全漏洞效率低，曾因未检测到缓冲区溢出引发系统崩溃\n- 代码文档需额外编写，缺乏自动生成注释，新成员理解困难，维护成本高\n\n### 使用 Yuan-2.0 后\n- Yuan-2.0自动生成优化代码，例如C++高频交易模块和Go并发处理逻辑，开发效率提升40%\n- 内置数值计算API直接调用科学库，GSM8K精度达77.7%，数学计算准确率显著提升\n- 安全性增强功能自动修复SQL注入等漏洞，代码安全问题减少90%\n- 生成代码包含详细注释和示例，文档编写时间减少70%，团队协作效率大幅提升\n\nYuan-2.0通过多语言代码生成、精准数学计算和内置安全机制，将量化交易系统开发周期缩短60%，同时保障代码质量与安全性。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIEIT-Yuan_Yuan-2.0_8bbdae03.png","IEIT-Yuan","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FIEIT-Yuan_99e0bcd1.png","",null,"https:\u002F\u002Fgithub.com\u002FIEIT-Yuan",[81,85,89,93,97,101,104],{"name":82,"color":83,"percentage":84},"Python","#3572A5",94.5,{"name":86,"color":87,"percentage":88},"C++","#f34b7d",4,{"name":90,"color":91,"percentage":92},"Shell","#89e051",0.9,{"name":94,"color":95,"percentage":96},"Cuda","#3A4E3A",0.4,{"name":98,"color":99,"percentage":100},"C","#555555",0.1,{"name":102,"color":103,"percentage":100},"HTML","#e34c26",{"name":105,"color":106,"percentage":107},"Makefile","#427819",0,690,84,"2026-04-02T10:28:09","NOASSERTION","Linux, Windows","GPU 非必需，具体需求未说明","未说明",{"notes":116,"python":114,"dependencies":117},"建议使用 Docker 环境，首次运行需下载模型文件（2B 版本约 5GB），支持 CPU、NVIDIA GPU 和 Intel iGPU 部署",[],[26,13],"2026-03-27T02:49:30.150509","2026-04-06T05:44:24.375756",[122,127,132,137,142,147,152],{"id":123,"question_zh":124,"answer_zh":125,"source_url":126},8825,"微调时显存不足如何解决？","增加训练轮次或使用更多GPU卡。具体：使用8张A800卡训练3000轮后数据可学习。","https:\u002F\u002Fgithub.com\u002FIEIT-Yuan\u002FYuan-2.0\u002Fissues\u002F87",{"id":128,"question_zh":129,"answer_zh":130,"source_url":131},8826,"数据预处理时报错如何解决？","在虚拟机环境中，将\u002Fproc\u002Fsys\u002Fvm\u002Fovercommit_memory设置为1。","https:\u002F\u002Fgithub.com\u002FIEIT-Yuan\u002FYuan-2.0\u002Fissues\u002F63",{"id":133,"question_zh":134,"answer_zh":135,"source_url":136},8827,"51B模型推理部署时如何合并模型文件？","修改tools\u002Fmerge_pp_partitions.py脚本中的WORLD_SIZE参数为64或更大，以解决流水线并行问题。","https:\u002F\u002Fgithub.com\u002FIEIT-Yuan\u002FYuan-2.0\u002Fissues\u002F26",{"id":138,"question_zh":139,"answer_zh":140,"source_url":141},8828,"51B模型推理需要多少张A100 80G卡？","51B模型推理需要4张80G的A100卡。","https:\u002F\u002Fgithub.com\u002FIEIT-Yuan\u002FYuan-2.0\u002Fissues\u002F9",{"id":143,"question_zh":144,"answer_zh":145,"source_url":146},8829,"Invalid metadata file错误如何解决？","该URL不能通过浏览器直接访问，只能通过API或curl命令调用。请参考推理文档获取详细信息。","https:\u002F\u002Fgithub.com\u002FIEIT-Yuan\u002FYuan-2.0\u002Fissues\u002F40",{"id":148,"question_zh":149,"answer_zh":150,"source_url":151},8830,"论文公式1中的系数48如何解释？","公式中的48系数源于6次all_reduce操作，考虑双向带宽和bf16格式，具体计算为6*2*(2*(LABSH(T_s-1))\u002FP_s*T_s)\u002F(BW_link\u002F2)。","https:\u002F\u002Fgithub.com\u002FIEIT-Yuan\u002FYuan-2.0\u002Fissues\u002F17",{"id":153,"question_zh":154,"answer_zh":155,"source_url":156},8831,"自定义数据集训练时遇到问题如何解决？","使用--dataset custom, NWtest参数或尝试--dataset alpaca_en来规避问题。","https:\u002F\u002Fgithub.com\u002FIEIT-Yuan\u002FYuan-2.0\u002Fissues\u002F100",[]]