[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-AetherCortex--Llama-X":3,"tool-AetherCortex--Llama-X":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",148568,2,"2026-04-09T23:34:24",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108111,"2026-04-08T11:23:26",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":73,"owner_company":73,"owner_location":73,"owner_email":73,"owner_twitter":73,"owner_website":73,"owner_url":75,"languages":76,"stars":81,"forks":82,"last_commit_at":83,"license":84,"difficulty_score":85,"env_os":86,"env_gpu":87,"env_ram":88,"env_deps":89,"category_tags":100,"github_topics":73,"view_count":32,"oss_zip_url":73,"oss_zip_packed_at":73,"status":17,"created_at":102,"updated_at":103,"faqs":104,"releases":120},6025,"AetherCortex\u002FLlama-X","Llama-X","Open Academic Research on Improving LLaMA to SOTA LLM","Llama-X 是一个开放的学术研究项目，旨在通过社区协作，系统性地将 LLaMA 大语言模型逐步优化至行业最先进水平（SOTA）。该项目致力于解决开源社区在模型改进过程中存在的重复劳动问题，通过长期、严谨的迭代研发，加速技术突破。\n\nLlama-X 特别适合 AI 研究人员、开发者以及对大模型底层技术感兴趣的技术爱好者使用。其核心亮点在于极致的开放性：项目承诺公开所有代码、模型权重、训练数据及实验细节，并将每个主要版本的研究方法总结为学术论文。此外，新模型的发布必须经过严格的自动评估，确保性能有显著提升。\n\n目前，Llama-X 规划了十大核心研究方向，涵盖指令微调、人类反馈强化学习（RLHF）、长上下文处理、多模态能力、多语言支持以及模型可解释性等前沿领域。项目已发布首个版本 Llama-X 3.0.1（7B 参数），并制定了清晰的演进路线图，目标是从对标 GPT-3 起步，逐步缩小与 GPT-4 等顶尖模型的性能差距。加入 Llama-X，意味着参与到一场透明、高效且充满活力的开源大模型进化之旅中。","\r\n\u003Cp align=\"center\" width=\"100%\">\r\n\u003Ca >\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAetherCortex_Llama-X_readme_37acb72fb29d.png\" alt=\"Llama-X\" style=\"width: 60%; min-width: 300px; display: block; margin: auto;\">\u003C\u002Fa>\r\n\u003C\u002Fp>\r\n\r\n\r\n[![Code License](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FCode%20License-Apache_2.0-green.svg)](https:\u002F\u002Fgithub.com\u002Ftatsu-lab\u002Fstanford_alpaca\u002Fblob\u002Fmain\u002FLICENSE)\r\n[![Data License](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FData%20License-CC%20By%20NC%204.0-red.svg)](https:\u002F\u002Fgithub.com\u002Ftatsu-lab\u002Fstanford_alpaca\u002Fblob\u002Fmain\u002FDATA_LICENSE)\r\n\r\n## Llama-X: Open Academic Research on Improving LLaMA to SOTA LLM\r\n\r\n\r\nThis is the repo for the Llama-X, which aims to:\r\n\r\n- Progressively improve the performance of LLaMA to SOTA LLM with open-source community.\r\n- Conduct Llama-X as an open academic research which is long-term, systematic and rigorous.\r\n- Save the repetitive work of community and we work together to create more and faster increment.\r\n\r\nThe project will follow these principles:\r\n\r\n- We will publish all the `code`, `model`, `data`, and `experiments` details.\r\n- We will `continuously` improve the model version by version and open the `newest` method.\r\n- We will summary the method of each main version as `academic papers`.\r\n- We announce a complete [research plan](#research-areas). The contributors are wellcome to cooperate with \r\neach other to progressively improve Llama-X through \r\niteration of the [target versions](#model).\r\n- The check-in of the new model must achieve significant improvement with current version on [automatic evaluation](#evaluation).\r\n\r\n📣 Please join \u003Ca href=\"https:\u002F\u002Fdiscord.gg\u002F2etwhe6GvU\">\u003Cimg alt=\"Join us on Discord\" src=\"https:\u002F\u002Fimg.shields.io\u002Fdiscord\u002F823813159592001537?color=5865F2&logo=discord&logoColor=white\">\u003C\u002Fa> if you are interested in Llama-X.\r\n\r\n## Contents\r\n1. [News](#news)\r\n\r\n2. [Ten main research areas](#research-areas)\r\n\r\n3. [Llama-X Model Version](#model)\r\n\r\n4. [Llama-X Evaluation](#evaluation)\r\n\r\n5. [Llama-X Paper List](#paper)\r\n\r\n6. [Usage](#usage)\r\n\r\n7. [How to contribute](#contribute)\r\n\r\n\r\n\u003Ch2 id=\"news\">News\u003C\u002Fh2>\r\n\r\nWe have completed the training of our first version of model (Llama-X 3.0.1 7B). Please experience our model in the [demo page](https:\u002F\u002Fcedfabe00f0fcbde.gradio.app), and the data, code and model weights of different scales will be updated in this repo later.\r\n\r\n\u003Ch2 id=\"research-areas\">Ten main research areas\u003C\u002Fh2>\r\n\r\n[1]. Research on `Instruction Tuning`\r\n- [ ] instruction-following tuning\r\n\r\n[2]. Research on `RLHF & RLAIF`\r\n- [ ] fundamental RLHF \r\n- [ ] AI learning from AI\r\n\r\n[3]. Research on `Data Quality`\r\n- [ ] high quality data for pre-training, fine-tuning, user feedbacks, multi-modality, etc\r\n\r\n[4]. Research on `Long Context Transformer`\r\n- [ ] enable efficient transformers for long sequence (>30k)\r\n\r\n[5]. Research on `Multi-modal (text + image) Modeling`\r\n- [ ] text + image in; text out\r\n\r\n[6]. Research on `Multilingual`\r\n- [ ] comparable multilingual performance with English\r\n\r\n[7]. Research on `Efficient infrastructure and optimization`\r\n- [ ] improve training and inference speed\r\n- [ ] build deep learning stack which scales predictably\r\n\r\n[8]. Research on `Evaluation`\r\n- [ ] comprehensive evaluation of model capabilities\r\n\r\n[9]. Research on `Interpretability`\r\n- [ ] interpret the source of each capability of LLM\r\n\r\n[10]. Research on `LLM on Actions`\r\n- [ ] combine LLM with search, recommendation and other plugins\r\n\r\n\r\n\u003Ch2 id=\"model\">Llama-X Model Version\u003C\u002Fh2>\r\n\r\n\r\n\r\n| Llama-X       | Baseline         | Performance                        |\r\n|---------------|------------------|------------------------------------|\r\n| 3.0.0 (LLaMA) | GPT-3            | Outperform |\r\n| 3.1.0         | text-davinci-001 | Comparable                         |\r\n| 3.2.0         | text-davinci-002 | Comparable                         |\r\n| 3.3.0         | text-davinci-003 | Comparable                         |\r\n| 3.5.0         | gpt-35-turbo     | Comparable                         |\r\n| 3.6.0         | GPT-4            | 80% Avg.Gap                        |\r\n| 3.7.0         | GPT-4            | 60% Avg.Gap                        |\r\n| 3.8.0         | GPT-4            | 40% Avg.Gap                        |\r\n| 3.9.0         | GPT-4            | 20% Avg.Gap                        |\r\n| 4.0.0         | GPT-4            | Comparable                         |\r\n\r\n\r\nWe are focusing on the above research areas [1] & [3] now, and would public our first version of model (Llama-X 3.0.1) and paper.\r\n\r\n\r\n\r\n\u003Ch2 id=\"evaluation\">Llama-X Evaluation\u003C\u002Fh2>\r\n\r\nEach new version of Llama-X model should significantly outperform (+>1%) the current version model on the automatic evaluation \r\nof all the following Type-A benchmarks. And the additional evaluation for Type-B benchmarks should be added in the 3.6.0+ versions:\r\n\r\n| Type | Benchmarks          |                       \r\n|------|---------------------|\r\n| A    | MMLU                | \r\n| A    | HumanEval           |\r\n| A    | GSM-8K              | \r\n| A    | NaturalQuestions    |\r\n| A    | TruthfulQA          | \r\n| B    | Leetcode            | \r\n| B    | GRE                 | \r\n| B    | AP                  | \r\n| B    | MMLU-Multilingual   |\r\n| B    | Visual Inputs (TBD) |\r\n\r\n\r\nResults:\r\n\r\n| Model                        | MMLU   | TruthfulQA | GSM-8K | NaturalQuestions |\r\n|------------------------------|--------|------------|--------|------------------|\r\n|InstructGPT davinci v2 (175B)^ | 0.57   | 0.62       |  0.35  | 0.389            |\r\n|Llama-X 3.0.1 (7B)            | 0.4412 | 0.2032     |  0.1887| 0.2422           |\r\n|Llama-i (7B)                  | 0.5121 | 0.2142     |  0.2259| 0.3499           |\r\n\r\n^ The results of `InstructGPT davinci v2 (175B)` are copied from [Stanford CRFM Benchmark](https:\u002F\u002Fcrfm.stanford.edu\u002F).\r\n\r\n\u003Ch2 id=\"paper\">Llama-X Paper List\u003C\u002Fh2>\r\n\r\n1. [LLaMA: Open and Efficient Foundation Language Models.](https:\u002F\u002Farxiv.org\u002Fabs\u002F2302.13971v1)\r\n\r\n\r\n\u003Ch2 id=\"usage\">Usage\u003C\u002Fh2>\r\n\r\n- Setup. Install the conda environment:\r\n```bash\r\nconda create -n llamax python=3.10\r\nconda activate llamax\r\ngit clone https:\u002F\u002Fgithub.com\u002FAetherCortex\u002FLlama-X.git\r\ncd Llama-X\u002Fsrc\r\nconda install pytorch==1.12.0 torchvision==0.13.0 torchaudio==0.12.0 cudatoolkit=11.3 -c pytorch\r\npip install transformers==4.31.0\r\ncd ..\u002F..\r\npip install -r requirements.txt\r\n```\r\n\r\n- Training data example (e.g., [Stanford Alpaca](https:\u002F\u002Fgithub.com\u002Ftatsu-lab\u002Fstanford_alpaca\u002Fblob\u002Fmain\u002Falpaca_data.json)):\r\n```bash\r\nLlama-X\u002Fsrc\u002Fdata\u002Falpaca_data.json\r\n```\r\n\r\n- Convert LLaMA checkpoint to HuggingFace format:\r\n```bash\r\ncd Llama-X\u002Fsrc\r\npython transformers\u002Fsrc\u002Ftransformers\u002Fmodels\u002Fllama\u002Fconvert_llama_weights_to_hf.py \\\r\n    --input_dir \u002Fpath\u002Fto\u002Fllama-7B\u002F \\\r\n    --model_size 7B \\\r\n    --output_dir \u002Fpath\u002Fto\u002Fllama-7B\u002Fhf\r\n```\r\n\r\n- Train LLaMA-7B on DeepSpeed Zero-3:\r\n```bash\r\ndeepspeed train.py \\\r\n    --model_name_or_path \u002Fpath\u002Fto\u002Fllama-7B\u002Fhf \\\r\n    --data_path \u002Fpath\u002Fto\u002Fexample_data.json \\\r\n    --output_dir \u002Fpath\u002Fto\u002Fllama-7B\u002Fhf\u002Fft \\\r\n    --num_train_epochs 3 \\\r\n    --model_max_length 512 \\\r\n    --per_device_train_batch_size 64 \\\r\n    --per_device_eval_batch_size 1 \\\r\n    --gradient_accumulation_steps 1 \\\r\n    --evaluation_strategy \"no\" \\\r\n    --save_strategy \"steps\" \\\r\n    --save_steps 100 \\\r\n    --save_total_limit 2 \\\r\n    --learning_rate 2e-5 \\\r\n    --warmup_steps 2 \\\r\n    --logging_steps 2 \\\r\n    --lr_scheduler_type \"cosine\" \\\r\n    --report_to \"tensorboard\" \\\r\n    --gradient_checkpointing True \\\r\n    --deepspeed configs\u002Fdeepspeed_config.json \\\r\n    --fp16 True\r\n```\r\n- Train LLaMA-7B on DeepSpeed Zero-3 with Multi-nodes\r\n```bash\r\ndeepspeed --num_gpus num_of_gpus_in_each_node \\\r\n    --num_nodes num_of_nodes \\\r\n    --master_addr ip_address_of_main_node \\\r\n    --master_port 34545 \\\r\n    --hostfile configs\u002Fhostfile \\\r\n    train.py \\\r\n    --model_name_or_path \u002Fpath\u002Fto\u002Fllama-7B\u002Fhf \\\r\n    --data_path \u002Fpath\u002Fto\u002Fexample_data.json \\\r\n    --output_dir \u002Fpath\u002Fto\u002Fllama-7B\u002Fhf\u002Fft \\\r\n    --num_train_epochs 3 \\\r\n    --model_max_length 512 \\\r\n    --per_device_train_batch_size 64 \\\r\n    --per_device_eval_batch_size 4 \\\r\n    --gradient_accumulation_steps 1 \\\r\n    --evaluation_strategy \"no\" \\\r\n    --save_strategy \"steps\" \\\r\n    --save_steps 100 \\\r\n    --save_total_limit 2 \\\r\n    --learning_rate 2e-5 \\\r\n    --warmup_steps 2 \\\r\n    --logging_steps 2 \\\r\n    --lr_scheduler_type \"cosine\" \\\r\n    --report_to \"tensorboard\" \\\r\n    --gradient_checkpointing True \\\r\n    --deepspeed configs\u002Fdeepspeed_config.json \\\r\n    --fp16 True\r\n```\r\n\r\n- The current code of Llama-X support:\r\n    - Fully Finetune: Optimize full LLaMA checkpoint, instead of `Low-Rank Adaptation (LoRA)`.\r\n    - High Efficiency: Training 7B model with `50k examples\u002Fepoch` & `batch_size=64` within `1 hour` on `8 x V100 GPUs`.\r\n\r\n| LLaMA  | Batch Size | V100s  | Time (h)    |\r\n|--------|------------|--------|-------------|\r\n| 7 B    | 64         | 8      | 1.00        |\r\n| 13 B   | 32         | 8      | 2.00        |\r\n\r\n\r\n- Inference\r\n```bash\r\n# web demo inference\r\npython generate.py\r\n\r\n# batch inference\r\nTo Do\r\n```\r\n\r\n\r\n\u003Ch2 id=\"contribute\">How to contribute\u003C\u002Fh2>\r\n\r\nDevelopers can become Contributors by contributing helpful code, data, paper and computing resource, etc.\r\n\r\n1. Code: Including algorithm implementation, training optimization, inference optimization, and model deployment.\r\n\r\n2. Data: Every [research area](#research-areas) and [version iteration](#model) requires high-quality data, including instruction-answer, pre-training, multi-modal, multilingual, and user feedbacks data, etc.\r\n\r\n3. Paper: We will maintain a [Llama-X Paper List](#paper), and use Llama-X as the base model for optimized, fully tested, and significantly improved academic papers. You can check in to the Llama X Paper List.\r\n\r\n4. Computing resource: We hope to help accelerate model iteration speed by coordinating redundant computing power from some developers or non-profit sponsorship from universities\u002Fenterprises.\r\n\r\n\u003Ch2 id=\"communication\">How to communicate with us\u003C\u002Fh2>\r\n\r\n1. Github Issues\r\n\r\n2. Email: llama-x@mail.com\r\n\r\n3. Discord: \u003Ca href=\"https:\u002F\u002Fdiscord.gg\u002F2etwhe6GvU\">\u003Cimg alt=\"Join us on Discord\" src=\"https:\u002F\u002Fimg.shields.io\u002Fdiscord\u002F823813159592001537?color=5865F2&logo=discord&logoColor=white\">\u003C\u002Fa>\r\n\r\n\r\n## Thanks For\r\n\r\nThis project has been inspired by multiple open source projects:\r\n\r\n[Meta AI LLaMA](https:\u002F\u002Farxiv.org\u002Fabs\u002F2302.13971v1)\r\n\r\n[Huggingface Transformers Llama](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers\u002Ftree\u002Fmain\u002Fsrc\u002Ftransformers\u002Fmodels\u002Fllama)\r\n\r\n[Alpaca](https:\u002F\u002Fcrfm.stanford.edu\u002F2023\u002F03\u002F13\u002Falpaca.html) and [Alpaca-LoRA](https:\u002F\u002Fgithub.com\u002Ftloen\u002Falpaca-lora)\r\n\r\n\r\n## Disclaimer\r\n\r\nThe use of resources(e.g., code, data and model weights) related to this project is limited to academic research and is prohibited for commercial purposes. The content generated by any model of Llama-X is subject to factors such as randomness and uncontrollability, and this project cannot guarantee its accuracy. This project does not assume any legal responsibility for the content of the model output, nor does it assume any responsibility for any losses that may arise from the use of related resources and output results.\r\n\r\n\r\n\r\n\r\n","\u003Cp align=\"center\" width=\"100%\">\n\u003Ca >\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAetherCortex_Llama-X_readme_37acb72fb29d.png\" alt=\"Llama-X\" style=\"width: 60%; min-width: 300px; display: block; margin: auto;\">\u003C\u002Fa>\n\u003C\u002Fp>\n\n\n[![代码许可证](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FCode%20License-Apache_2.0-green.svg)](https:\u002F\u002Fgithub.com\u002Ftatsu-lab\u002Fstanford_alpaca\u002Fblob\u002Fmain\u002FLICENSE)\n[![数据许可证](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FData%20License-CC%20By%20NC%204.0-red.svg)](https:\u002F\u002Fgithub.com\u002Ftatsu-lab\u002Fstanford_alpaca\u002Fblob\u002Fmain\u002FDATA_LICENSE)\n\n## Llama-X：提升LLaMA至SOTA大模型的开放学术研究\n\n\n这是Llama-X项目的仓库，其目标是：\n\n- 与开源社区共同逐步提升LLaMA的性能，使其达到SOTA大模型水平。\n- 将Llama-X作为一项长期、系统化且严谨的开放学术研究开展。\n- 避免社区重复性工作，携手合作，更快、更多地实现模型迭代与进步。\n\n本项目将遵循以下原则：\n\n- 我们将公开所有`代码`、`模型`、`数据`以及`实验`的详细信息。\n- 我们将`持续`地逐版本改进模型，并发布最新的方法。\n- 每个主要版本的方法都将总结为`学术论文`。\n- 我们公布了完整的[研究计划](#research-areas)。欢迎各位贡献者相互协作，通过迭代[目标版本](#model)来逐步完善Llama-X。\n- 新模型的提交必须在[自动评估](#evaluation)中较当前版本取得显著提升。\n\n📣 如果您对Llama-X感兴趣，请加入\u003Ca href=\"https:\u002F\u002Fdiscord.gg\u002F2etwhe6GvU\">\u003Cimg alt=\"加入我们的Discord\" src=\"https:\u002F\u002Fimg.shields.io\u002Fdiscord\u002F823813159592001537?color=5865F2&logo=discord&logoColor=white\">\u003C\u002Fa>！\n\n## 目录\n1. [新闻](#news)\n\n2. [十大研究方向](#research-areas)\n\n3. [Llama-X 模型版本](#model)\n\n4. [Llama-X 评估](#evaluation)\n\n5. [Llama-X 论文列表](#paper)\n\n6. [使用方法](#usage)\n\n7. [如何贡献](#contribute)\n\n\n\u003Ch2 id=\"news\">新闻\u003C\u002Fh2>\n\n我们已完成首个模型版本（Llama-X 3.0.1 7B）的训练。请在[演示页面](https:\u002F\u002Fcedfabe00f0fcbde.gradio.app)体验我们的模型，后续将在此仓库中更新不同规模的数据、代码和模型权重。\n\n\u003Ch2 id=\"research-areas\">十大研究方向\u003C\u002Fh2>\n\n[1]. `指令微调` 研究\n- [ ] 指令遵循微调\n\n[2]. `RLHF & RLAIF` 研究\n- [ ] 基础 RLHF\n- [ ] AI 从 AI 学习\n\n[3]. `数据质量` 研究\n- [ ] 用于预训练、微调、用户反馈、多模态等的高质量数据\n\n[4]. `长上下文 Transformer` 研究\n- [ ] 实现高效处理长序列（>3万 token）的 Transformer\n\n[5]. `多模态（文本 + 图像）建模` 研究\n- [ ] 文本 + 图像输入，文本输出\n\n[6]. `多语言` 研究\n- [ ] 多语言性能与英语相当\n\n[7]. `高效基础设施与优化` 研究\n- [ ] 提升训练与推理速度\n- [ ] 构建可预测扩展的深度学习栈\n\n[8]. `评估` 研究\n- [ ] 对模型能力进行全面评估\n\n[9]. `可解释性` 研究\n- [ ] 解释 LLM 各项能力的来源\n\n[10]. `LLM 在行动` 研究\n- [ ] 将 LLM 与搜索、推荐及其他插件结合\n\n\n\u003Ch2 id=\"model\">Llama-X 模型版本\u003C\u002Fh2>\n\n\n\n| Llama-X       | 基线         | 性能                        |\n|---------------|------------------|------------------------------------|\n| 3.0.0 (LLaMA) | GPT-3            | 超越 |\n| 3.1.0         | text-davinci-001 | 相当                         |\n| 3.2.0         | text-davinci-002 | 相当                         |\n| 3.3.0         | text-davinci-003 | 相当                         |\n| 3.5.0         | gpt-35-turbo     | 相当                         |\n| 3.6.0         | GPT-4            | 平均差距 80%                        |\n| 3.7.0         | GPT-4            | 平均差距 60%                        |\n| 3.8.0         | GPT-4            | 平均差距 40%                        |\n| 3.9.0         | GPT-4            | 平均差距 20%                        |\n| 4.0.0         | GPT-4            | 相当                         |\n\n\n我们目前专注于上述研究方向 [1] 和 [3]，并将发布首个模型版本（Llama-X 3.0.1）及论文。\n\n\n\n\u003Ch2 id=\"evaluation\">Llama-X 评估\u003C\u002Fh2>\n\nLlama-X 的每个新版本在以下所有 A 类基准的自动评估中，都应显著优于当前版本（>+1%）。此外，B 类基准的额外评估将在 3.6.0 及更高版本中加入：\n\n| 类别 | 基准          |                       \n|------|---------------------|\n| A    | MMLU                | \n| A    | HumanEval           |\n| A    | GSM-8K              | \n| A    | NaturalQuestions    |\n| A    | TruthfulQA          | \n| B    | Leetcode            | \n| B    | GRE                 | \n| B    | AP                  | \n| B    | MMLU-多语言   |\n| B    | 视觉输入（待定） |\n\n\n结果如下：\n\n| 模型                        | MMLU   | TruthfulQA | GSM-8K | NaturalQuestions |\n|------------------------------|--------|------------|--------|------------------|\n|InstructGPT davinci v2 (175B)^ | 0.57   | 0.62       |  0.35  | 0.389            |\n|Llama-X 3.0.1 (7B)            | 0.4412 | 0.2032     |  0.1887| 0.2422           |\n|Llama-i (7B)                  | 0.5121 | 0.2142     |  0.2259| 0.3499           |\n\n^ `InstructGPT davinci v2 (175B)` 的结果摘自 [斯坦福 CRFM 基准测试](https:\u002F\u002Fcrfm.stanford.edu\u002F)。\n\n\u003Ch2 id=\"paper\">Llama-X 论文列表\u003C\u002Fh2>\n\n1. [LLaMA：开放且高效的基座语言模型。](https:\u002F\u002Farxiv.org\u002Fabs\u002F2302.13971v1)\n\n\n\u003Ch2 id=\"usage\">使用方法\u003C\u002Fh2>\n\n- 环境搭建。安装 Conda 环境：\n```bash\nconda create -n llamax python=3.10\nconda activate llamax\ngit clone https:\u002F\u002Fgithub.com\u002FAetherCortex\u002FLlama-X.git\ncd Llama-X\u002Fsrc\nconda install pytorch==1.12.0 torchvision==0.13.0 torchaudio==0.12.0 cudatoolkit=11.3 -c pytorch\npip install transformers==4.31.0\ncd ..\u002F..\npip install -r requirements.txt\n```\n\n- 训练数据示例（例如，[Stanford Alpaca](https:\u002F\u002Fgithub.com\u002Ftatsu-lab\u002Fstanford_alpaca\u002Fblob\u002Fmain\u002Falpaca_data.json))：\n```bash\nLlama-X\u002Fsrc\u002Fdata\u002Falpaca_data.json\n```\n\n- 将 LLaMA 检查点转换为 HuggingFace 格式：\n```bash\ncd Llama-X\u002Fsrc\npython transformers\u002Fsrc\u002Ftransformers\u002Fmodels\u002Fllama\u002Fconvert_llama_weights_to_hf.py \\\n    --input_dir \u002Fpath\u002Fto\u002Fllama-7B\u002F \\\n    --model_size 7B \\\n    --output_dir \u002Fpath\u002Fto\u002Fllama-7B\u002Fhf\n```\n\n- 使用 DeepSpeed Zero-3 训练 LLaMA-7B：\n```bash\ndeepspeed train.py \\\n    --model_name_or_path \u002Fpath\u002Fto\u002Fllama-7B\u002Fhf \\\n    --data_path \u002Fpath\u002Fto\u002Fexample_data.json \\\n    --output_dir \u002Fpath\u002Fto\u002Fllama-7B\u002Fhf\u002Fft \\\n    --num_train_epochs 3 \\\n    --model_max_length 512 \\\n    --per_device_train_batch_size 64 \\\n    --per_device_eval_batch_size 1 \\\n    --gradient_accumulation_steps 1 \\\n    --evaluation_strategy \"no\" \\\n    --save_strategy \"steps\" \\\n    --save_steps 100 \\\n    --save_total_limit 2 \\\n    --learning_rate 2e-5 \\\n    --warmup_steps 2 \\\n    --logging_steps 2 \\\n    --lr_scheduler_type \"cosine\" \\\n    --report_to \"tensorboard\" \\\n    --gradient_checkpointing True \\\n    --deepspeed configs\u002Fdeepspeed_config.json \\\n    --fp16 True\n```\n\n- 使用 DeepSpeed Zero-3 进行多节点训练：\n```bash\ndeepspeed --num_gpus num_of_gpus_in_each_node \\\n    --num_nodes num_of_nodes \\\n    --master_addr ip_address_of_main_node \\\n    --master_port 34545 \\\n    --hostfile configs\u002Fhostfile \\\n    train.py \\\n    --model_name_or_path \u002Fpath\u002Fto\u002Fllama-7B\u002Fhf \\\n    --data_path \u002Fpath\u002Fto\u002Fexample_data.json \\\n    --output_dir \u002Fpath\u002Fto\u002Fllama-7B\u002Fhf\u002Fft \\\n    --num_train_epochs 3 \\\n    --model_max_length 512 \\\n    --per_device_train_batch_size 64 \\\n    --per_device_eval_batch_size 4 \\\n    --gradient_accumulation_steps 1 \\\n    --evaluation_strategy \"no\" \\\n    --save_strategy \"steps\" \\\n    --save_steps 100 \\\n    --save_total_limit 2 \\\n    --learning_rate 2e-5 \\\n    --warmup_steps 2 \\\n    --logging_steps 2 \\\n    --lr_scheduler_type \"cosine\" \\\n    --report_to \"tensorboard\" \\\n    --gradient_checkpointing True \\\n    --deepspeed configs\u002Fdeepspeed_config.json \\\n    --fp16 True\n```\n\n- 当前 Llama-X 代码支持：\n    - 完全微调：优化完整的 LLaMA 检查点，而非采用“低秩适应（LoRA）”。\n    - 高效性：在 8 张 V100 GPU 上，以“5万条样本\u002Fepoch”和“batch size=64”的配置，可在 1 小时内完成 7B 模型的训练。\n\n| LLaMA  | Batch Size | V100s  | 时间（小时）    |\n|--------|------------|--------|-------------|\n| 7 B    | 64         | 8      | 1.00        |\n| 13 B   | 32         | 8      | 2.00        |\n\n\n- 推理\n```bash\n\n# 网页演示推理\npython generate.py\n\n# 批量推理\n待办事项\n```\n\n\n\u003Ch2 id=\"contribute\">如何贡献\u003C\u002Fh2>\n\n开发者可以通过贡献有用的代码、数据、论文和计算资源等方式成为贡献者。\n\n1. 代码：包括算法实现、训练优化、推理优化以及模型部署等。\n\n2. 数据：每个[研究领域](#research-areas)和[版本迭代](#model)都需要高质量的数据，包括指令-回答对、预训练数据、多模态数据、多语言数据以及用户反馈数据等。\n\n3. 论文：我们将维护一个[Llama-X论文列表](#paper)，并以Llama-X为基础模型，用于优化、全面测试并显著改进的学术论文。您可以查看Llama X论文列表。\n\n4. 计算资源：我们希望通过协调部分开发者的冗余算力或高校\u002F企业的非营利性赞助，来帮助加快模型迭代速度。\n\n\u003Ch2 id=\"communication\">如何与我们沟通\u003C\u002Fh2>\n\n1. Github Issues\n\n2. 邮箱：llama-x@mail.com\n\n3. Discord： \u003Ca href=\"https:\u002F\u002Fdiscord.gg\u002F2etwhe6GvU\">\u003Cimg alt=\"加入我们的Discord\" src=\"https:\u002F\u002Fimg.shields.io\u002Fdiscord\u002F823813159592001537?color=5865F2&logo=discord&logoColor=white\">\u003C\u002Fa>\n\n\n## 感谢\n\n本项目受到了多个开源项目的启发：\n\n[Meta AI LLaMA](https:\u002F\u002Farxiv.org\u002Fabs\u002F2302.13971v1)\n\n[Huggingface Transformers Llama](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers\u002Ftree\u002Fmain\u002Fsrc\u002Ftransformers\u002Fmodels\u002Fllama)\n\n[Alpaca](https:\u002F\u002Fcrfm.stanford.edu\u002F2023\u002F03\u002F13\u002Falpaca.html) 和 [Alpaca-LoRA](https:\u002F\u002Fgithub.com\u002Ftloen\u002Falpaca-lora)\n\n\n## 免责声明\n\n本项目相关的资源（例如代码、数据和模型权重）仅限于学术研究用途，禁止用于商业目的。Llama-X 的任何模型生成的内容都受到随机性和不可控因素的影响，本项目无法保证其准确性。本项目不对模型输出的内容承担任何法律责任，也不对因使用相关资源及输出结果而可能产生的任何损失承担责任。","# Llama-X 快速上手指南\n\nLlama-X 是一个旨在通过开源社区协作，系统性地将 LLaMA 模型性能提升至 SOTA（最先进）水平的学术研究项目。本项目公开代码、模型、数据及实验细节，支持全量微调（Full Finetune）。\n\n## 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**: Linux (推荐 Ubuntu)\n*   **Python 版本**: 3.10\n*   **GPU**: 支持 CUDA 的 NVIDIA GPU (官方示例基于 8x V100，单卡也可运行但需调整 batch size)\n*   **前置依赖**:\n    *   Conda (用于管理虚拟环境)\n    *   Git\n    *   CUDA Toolkit 11.3+\n\n> **注意**：本项目目前主要面向学术研究，商业使用受限。\n\n## 安装步骤\n\n请按照以下步骤配置环境并安装依赖。为了获得更稳定的下载体验，国内用户可配置 pip 和 conda 的国内镜像源。\n\n### 1. 创建并激活 Conda 环境\n\n```bash\nconda create -n llamax python=3.10\nconda activate llamax\n```\n\n### 2. 克隆项目代码\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FAetherCortex\u002FLlama-X.git\ncd Llama-X\u002Fsrc\n```\n\n### 3. 安装 PyTorch 及相关组件\n\n根据官方要求安装特定版本的 PyTorch (CUDA 11.3)。\n*国内用户建议使用清华或阿里镜像加速下载：*\n\n```bash\n# 使用默认源\nconda install pytorch==1.12.0 torchvision==0.13.0 torchaudio==0.12.0 cudatoolkit=11.3 -c pytorch\n\n# 若下载缓慢，推荐使用清华镜像源：\n# conda install pytorch==1.12.0 torchvision==0.13.0 torchaudio==0.12.0 cudatoolkit=11.3 -c https:\u002F\u002Fmirrors.tuna.tsinghua.edu.cn\u002Fanaconda\u002Fcloud\u002Fpytorch\u002F\n```\n\n### 4. 安装 Transformers 及其他依赖\n\n```bash\npip install transformers==4.31.0\ncd ..\u002F..\n# 建议配置 pip 国内镜像 (如阿里云)\npip install -r requirements.txt -i https:\u002F\u002Fmirrors.aliyun.com\u002Fpypi\u002Fsimple\u002F\n```\n\n## 基本使用\n\n### 1. 准备模型权重\n\nLlama-X 基于 LLaMA 架构，您需要先拥有原始的 LLaMA 权重文件，并将其转换为 HuggingFace 格式。\n\n假设您已将 LLaMA 原始权重下载至 `\u002Fpath\u002Fto\u002Fllama-7B\u002F`，执行以下转换命令：\n\n```bash\ncd Llama-X\u002Fsrc\npython transformers\u002Fsrc\u002Ftransformers\u002Fmodels\u002Fllama\u002Fconvert_llama_weights_to_hf.py \\\n    --input_dir \u002Fpath\u002Fto\u002Fllama-7B\u002F \\\n    --model_size 7B \\\n    --output_dir \u002Fpath\u002Fto\u002Fllama-7B\u002Fhf\n```\n\n### 2. 数据准备\n\n准备您的训练数据，格式需兼容 Alpaca 格式（JSON）。示例数据路径参考：\n`Llama-X\u002Fsrc\u002Fdata\u002Falpaca_data.json`\n\n### 3. 开始训练 (单节点)\n\n使用 DeepSpeed Zero-3 进行全量微调。以下是在 8 张 GPU 上训练 7B 模型的示例命令：\n\n```bash\ndeepspeed train.py \\\n    --model_name_or_path \u002Fpath\u002Fto\u002Fllama-7B\u002Fhf \\\n    --data_path \u002Fpath\u002Fto\u002Fexample_data.json \\\n    --output_dir \u002Fpath\u002Fto\u002Fllama-7B\u002Fhf\u002Fft \\\n    --num_train_epochs 3 \\\n    --model_max_length 512 \\\n    --per_device_train_batch_size 64 \\\n    --per_device_eval_batch_size 1 \\\n    --gradient_accumulation_steps 1 \\\n    --evaluation_strategy \"no\" \\\n    --save_strategy \"steps\" \\\n    --save_steps 100 \\\n    --save_total_limit 2 \\\n    --learning_rate 2e-5 \\\n    --warmup_steps 2 \\\n    --logging_steps 2 \\\n    --lr_scheduler_type \"cosine\" \\\n    --report_to \"tensorboard\" \\\n    --gradient_checkpointing True \\\n    --deepspeed configs\u002Fdeepspeed_config.json \\\n    --fp16 True\n```\n\n> **性能提示**：在 8x V100 GPU 环境下，使用 `batch_size=64` 处理 50k 条数据\u002Fepoch 约需 1 小时。若显存不足，请适当减小 `per_device_train_batch_size` 并调整 `gradient_accumulation_steps`。\n\n### 4. 模型推理\n\n训练完成后，可通过以下命令启动 Web Demo 进行交互式测试：\n\n```bash\npython generate.py\n```\n\n*注：批量推理（Batch Inference）功能目前正在开发中 (To Do)。*","某高校自然语言处理实验室正致力于研发一款支持长文档分析与多语言交互的开源大模型，以服务于跨学科科研项目。\n\n### 没有 Llama-X 时\n- 研究团队需从零复现基础训练流程，大量时间耗费在重复搭建基础设施和调试代码上，难以聚焦核心算法创新。\n- 缺乏系统性的长上下文（>30k）优化方案，模型在处理长篇学术论文或法律文档时经常出现信息丢失或逻辑断裂。\n- 多语言能力薄弱，非英语语料的微调效果远不如英文，限制了模型在国际合作课题中的实际应用范围。\n- 版本迭代缺乏统一标准，社区贡献分散且难以验证，导致实验结果不可复现，阻碍了学术成果的严谨发表。\n\n### 使用 Llama-X 后\n- 直接复用 Llama-X 公开的高效训练栈与完整代码库，团队将研发周期缩短 60%，迅速将精力投入到指令微调与可解释性研究中。\n- 基于 Llama-X 在长上下文 Transformer 领域的最新成果，模型成功实现了对百页级技术文档的精准摘要与问答，关键信息召回率显著提升。\n- 利用 Llama-X 预置的多语言优化策略，模型在中文、西班牙语等语料上的表现逼近英文水平，顺利支撑起跨国联合研究项目。\n- 遵循 Llama-X 严格的版本演进与自动评估机制，团队每次迭代均有量化指标支撑，研究成果得以快速整理为高质量学术论文并开源共享。\n\nLlama-X 通过提供系统化、可复现的开源研究基座，让学术团队从重复造轮子中解放出来，加速了从基础模型到领域专用 SOTA 模型的演进过程。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAetherCortex_Llama-X_efdc9c8c.png","AetherCortex",null,"https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FAetherCortex_b9abbcb4.jpg","https:\u002F\u002Fgithub.com\u002FAetherCortex",[77],{"name":78,"color":79,"percentage":80},"Python","#3572A5",100,1610,103,"2026-03-05T07:29:12","Apache-2.0",4,"Linux","必需 NVIDIA GPU。示例显示使用 8x V100 (32GB 显存) 进行训练；支持 CUDA 11.3 (通过 cudatoolkit=11.3 指定)。","未说明 (建议根据模型规模配置，7B 模型多卡训练通常需要大量系统内存)",{"notes":90,"python":91,"dependencies":92},"1. 项目明确基于 LLaMA 架构，需先拥有 LLaMA 官方权重并转换为 HuggingFace 格式方可运行。\n2. 训练示例使用了 DeepSpeed Zero-3 优化技术。\n3. 代码支持全量微调 (Fully Finetune)，而非仅 LoRA。\n4. 声明仅限学术研究使用，禁止商业用途。\n5. README 中的安装命令主要针对 Linux 环境 (conda\u002Fcudatoolkit)。","3.10",[93,94,95,96,97,98,99],"pytorch==1.12.0","torchvision==0.13.0","torchaudio==0.12.0","cudatoolkit==11.3","transformers==4.31.0","deepspeed","tensorboard",[35,14,101],"其他","2026-03-27T02:49:30.150509","2026-04-10T07:44:34.665484",[105,110,115],{"id":106,"question_zh":107,"answer_zh":108,"source_url":109},27284,"为什么在相同翻译数据上微调，LLaMA-7B 效果好而 LLaMA-13B 效果差？","该问题已被标记为已解决（solve），但具体的解决方案细节未在评论中详细展开。建议检查两个模型在微调时的超参数设置（如学习率、batch size）是否一致，或者尝试调整针对更大模型的正则化策略。","https:\u002F\u002Fgithub.com\u002FAetherCortex\u002FLlama-X\u002Fissues\u002F22",{"id":111,"question_zh":112,"answer_zh":113,"source_url":114},27285,"如何让 LLaMA 具备像 GPT-4 那样的视觉理解能力？","可以通过结合优秀的视觉编码器（如 CLIP vision encoder）和经过良好训练的大语言模型（如 LLaMA），并使用连接网络（如 MLP 或 Transformer）来实现多模态聊天。社区已有相关项目 Visual-LLaMA 提供了微调脚本、超参数设置、细粒度对齐数据集以及交互式 Gradio 视觉聊天机器人，支持图像描述生成、VQA 等任务。","https:\u002F\u002Fgithub.com\u002FAetherCortex\u002FLlama-X\u002Fissues\u002F13",{"id":116,"question_zh":117,"answer_zh":118,"source_url":119},27286,"为什么在显存足以加载模型参数的情况下，配置中仍然使用 CPU 进行参数卸载（offload_param）？","即使显存可以容纳模型参数（例如 6.7B 参数），使用 CPU 进行参数卸载的主要目的是为了能够使用更大的批量大小（larger batchsize）进行训练，从而优化训练效率或收敛效果。配置示例如下：\n{\n  \"offload_param\": {\n    \"device\": \"cpu\",\n    \"pin_memory\": true\n  }\n}","https:\u002F\u002Fgithub.com\u002FAetherCortex\u002FLlama-X\u002Fissues\u002F9",[]]