[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-huggingface--gpt-oss-recipes":3,"tool-huggingface--gpt-oss-recipes":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",148568,2,"2026-04-09T23:34:24",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108111,"2026-04-08T11:23:26",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":74,"owner_avatar_url":75,"owner_bio":76,"owner_company":77,"owner_location":77,"owner_email":77,"owner_twitter":73,"owner_website":78,"owner_url":79,"languages":80,"stars":89,"forks":90,"last_commit_at":91,"license":92,"difficulty_score":93,"env_os":94,"env_gpu":95,"env_ram":96,"env_deps":97,"category_tags":108,"github_topics":77,"view_count":32,"oss_zip_url":77,"oss_zip_packed_at":77,"status":17,"created_at":109,"updated_at":110,"faqs":111,"releases":112},6052,"huggingface\u002Fgpt-oss-recipes","gpt-oss-recipes","Collection of scripts and notebooks for OpenAI's latest GPT OSS models","gpt-oss-recipes 是专为 OpenAI 最新开源的 GPT-OSS 模型家族（包含 200 亿和 1200 亿参数版本）打造的一套实用代码库。它收录了丰富的脚本与 Notebook，旨在帮助开发者高效地对这些大模型进行推理优化与微调训练。\n\n面对大模型部署中常见的显存占用高、推理速度慢以及定制化训练门槛高等痛点，gpt-oss-recipes 提供了一站式的解决方案。它不仅支持基础的文本生成，更集成了多项前沿加速技术，包括张量并行（Tensor Parallelism）、专家并行（Expert Parallelism）、Flash Attention 以及连续批处理（Continuous Batching），显著提升了模型在多卡环境下的运行效率。此外，它还提供了完整的监督微调（SFT）流程，灵活支持全参数训练与轻量级的 LoRA 训练，让用户能轻松适配专属数据集。\n\n这套工具特别适合 AI 工程师、研究人员以及希望深入探索大模型应用的开发者使用。无论您是想在本地快速验证 120B 超大模型的推理性能，还是希望基于特定领域数据对模型进行精细化调整，gpt-oss-recip","gpt-oss-recipes 是专为 OpenAI 最新开源的 GPT-OSS 模型家族（包含 200 亿和 1200 亿参数版本）打造的一套实用代码库。它收录了丰富的脚本与 Notebook，旨在帮助开发者高效地对这些大模型进行推理优化与微调训练。\n\n面对大模型部署中常见的显存占用高、推理速度慢以及定制化训练门槛高等痛点，gpt-oss-recipes 提供了一站式的解决方案。它不仅支持基础的文本生成，更集成了多项前沿加速技术，包括张量并行（Tensor Parallelism）、专家并行（Expert Parallelism）、Flash Attention 以及连续批处理（Continuous Batching），显著提升了模型在多卡环境下的运行效率。此外，它还提供了完整的监督微调（SFT）流程，灵活支持全参数训练与轻量级的 LoRA 训练，让用户能轻松适配专属数据集。\n\n这套工具特别适合 AI 工程师、研究人员以及希望深入探索大模型应用的开发者使用。无论您是想在本地快速验证 120B 超大模型的推理性能，还是希望基于特定领域数据对模型进行精细化调整，gpt-oss-recipes 都能通过清晰的配置示例和模块化代码，助您降低技术门槛，快速实现从实验到落地的跨越。","# OpenAI GPT-OSS Recipes\n\n![OpenAI GPT-OSS](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fhuggingface_gpt-oss-recipes_readme_7f41a76e9cf2.png)\n\nCollection of scripts demonstrating different optimization and fine-tuning techniques for OpenAI's GPT-OSS models (20B and 120B parameters).\n\n**Resources**\n\n- [Blog - Welcome GPT-OSS: the new open-source model family from OpenAI](https:\u002F\u002Fhuggingface.co\u002Fblog\u002Fwelcome-openai-gpt-oss)\n- [Cookbook - Fine-tuning with GPT-OSS and Hugging Face](https:\u002F\u002Fcookbook.openai.com\u002Farticles\u002Fgpt-oss\u002Ffine-tune-transfomers)\n- [OpenAI GPT-OSS 20B model](https:\u002F\u002Fhuggingface.co\u002Fopenai\u002Fgpt-oss-20b)\n- [OpenAI GPT-OSS 120B model](https:\u002F\u002Fhuggingface.co\u002Fopenai\u002Fgpt-oss-120b)\n- [Release collection on Hugging Face](https:\u002F\u002Fhuggingface.co\u002Fcollections\u002Fopenai\u002Fgpt-oss-68911959590a1634ba11c7a4)\n\n## Scripts\n\n- `generate_tp.py` - Model with Tensor Parallelism.\n- `generate_flash_attention.py` - Model with Flash Attention + Tensor Parallelism.\n- `generate_tp_continuous_batching.py` - Model with Flash Attention + Tensor Parallelism and Continuous Batching.\n- `generate_all.py` - Model with all optimizations: Expert Parallelism, Tensor Parallelism, Flash Attention.\n- `sft.py` - Script for fine-tuning the model using supervised fine-tuning (SFT). Supports both full-parameter training and LoRA training.\n\n### Model Configuration\n\nAll generation scripts support both 20B and 120B models. To switch between model sizes, simply edit the `model_path` variable at the top of each script:\n\n```python\n# Model configuration - uncomment the model size you want to use\nmodel_path = \"openai\u002Fgpt-oss-120b\"  # 120B model (default)\n# model_path = \"openai\u002Fgpt-oss-20b\"  # 20B model - uncomment this line and comment the line above\n```\n\nThe scripts automatically configure the appropriate device mapping and settings based on the selected model size.\n\n## Installation\n\nFirst create a virtual environment using e.g. `uv`:\n\n```sh\nuv venv gpt-oss --python 3.11 && source gpt-oss\u002Fbin\u002Factivate && uv pip install --upgrade pip\n```\n\nNext install PyTorch and Triton kernels:\n\n```sh\nuv pip install torch==2.8.0 torchvision torchaudio --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Ftest\u002Fcu128\n```\n\nIf your hardware supports the MXFP4 quantization format, you can also install Triton kernels for optimized performance:\n\n```sh\nuv pip install git+https:\u002F\u002Fgithub.com\u002Ftriton-lang\u002Ftriton.git@main#subdirectory=python\u002Ftriton_kernels\n```\n\nFinall install the remaining dependencies:\n\n```sh\nuv pip install -r requirements.txt\n```\n\n## Usage\n\n### Inference\n\n> [!IMPORTANT]\n> Before running any script, edit the `model_path` variable to select your desired model size (20B or 120B).\n\nRun a generation script:\n\n```bash\npython generate_\u003Cscript_name>.py\n```\n\nor for distributed:\n\n```bash\ntorchrun --nproc_per_node=x generate_\u003Cscript_name>.py\n```\n\n### Training\n\nFor full-parameter training on one node of 8 GPUs, run:\n\n```bash\n# Eager attention\naccelerate launch --config_file configs\u002Fzero3.yaml sft.py --config configs\u002Fsft_full.yaml\n\n# FlashAttention3\naccelerate launch --config_file configs\u002Fzero3.yaml sft.py --config configs\u002Fsft_full.yaml --attn_implementation kernels-community\u002Fvllm-flash-attn3\n```\n\nFor LoRA training on one GPU, run:\n\n```bash\npython sft.py --config configs\u002Fsft_lora.yaml\n```\n\nTo change the dataset or training hyperparameters, either modify the `sft_lora.yaml` or `sft_full.yaml` files or pass them as command line arguments e.g.:\n\n```bash\naccelerate launch --config_file configs\u002Fzero3.yaml \\\n    sft.py --config configs\u002Fsft_full.yaml \\\n    --dataset_name DATASET_NAME\n```\n","# OpenAI GPT-OSS 食谱\n\n![OpenAI GPT-OSS](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fhuggingface_gpt-oss-recipes_readme_7f41a76e9cf2.png)\n\n本集合包含一系列脚本，展示了针对 OpenAI 的 GPT-OSS 模型（200 亿和 1200 亿参数）的不同优化与微调技术。\n\n**资源**\n\n- [博客 - 欢迎 GPT-OSS：来自 OpenAI 的全新开源模型家族](https:\u002F\u002Fhuggingface.co\u002Fblog\u002Fwelcome-openai-gpt-oss)\n- [Cookbook - 使用 GPT-OSS 和 Hugging Face 进行微调](https:\u002F\u002Fcookbook.openai.com\u002Farticles\u002Fgpt-oss\u002Ffine-tune-transfomers)\n- [OpenAI GPT-OSS 20B 模型](https:\u002F\u002Fhuggingface.co\u002Fopenai\u002Fgpt-oss-20b)\n- [OpenAI GPT-OSS 120B 模型](https:\u002F\u002Fhuggingface.co\u002Fopenai\u002Fgpt-oss-120b)\n- [Hugging Face 上的发布合集](https:\u002F\u002Fhuggingface.co\u002Fcollections\u002Fopenai\u002Fgpt-oss-68911959590a1634ba11c7a4)\n\n## 脚本\n\n- `generate_tp.py` - 带张量并行的模型。\n- `generate_flash_attention.py` - 带 Flash Attention + 张量并行的模型。\n- `generate_tp_continuous_batching.py` - 带 Flash Attention + 张量并行及连续批处理的模型。\n- `generate_all.py` - 带所有优化的模型：专家并行、张量并行、Flash Attention。\n- `sft.py` - 用于通过监督微调 (SFT) 微调模型的脚本。支持全参数训练和 LoRA 训练。\n\n### 模型配置\n\n所有生成脚本均支持 200 亿和 1200 亿参数的模型。要切换模型大小，只需编辑每个脚本顶部的 `model_path` 变量：\n\n```python\n# 模型配置 - 解注释您想要使用的模型大小\nmodel_path = \"openai\u002Fgpt-oss-120b\"  # 1200 亿参数模型（默认）\n# model_path = \"openai\u002Fgpt-oss-20b\"  # 200 亿参数模型 - 解注释此行并注释上方一行\n```\n\n脚本会根据所选模型大小自动配置相应的设备映射和设置。\n\n## 安装\n\n首先使用例如 `uv` 创建一个虚拟环境：\n\n```sh\nuv venv gpt-oss --python 3.11 && source gpt-oss\u002Fbin\u002Factivate && uv pip install --upgrade pip\n```\n\n接下来安装 PyTorch 和 Triton 内核：\n\n```sh\nuv pip install torch==2.8.0 torchvision torchaudio --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Ftest\u002Fcu128\n```\n\n如果您的硬件支持 MXFP4 量化格式，还可以安装 Triton 内核以获得更优性能：\n\n```sh\nuv pip install git+https:\u002F\u002Fgithub.com\u002Ftriton-lang\u002Ftriton.git@main#subdirectory=python\u002Ftriton_kernels\n```\n\n最后安装剩余依赖项：\n\n```sh\nuv pip install -r requirements.txt\n```\n\n## 使用\n\n### 推理\n\n> [!重要]\n> 在运行任何脚本之前，请编辑 `model_path` 变量以选择您所需的模型大小（200 亿或 1200 亿参数）。\n\n运行生成脚本：\n\n```bash\npython generate_\u003Cscript_name>.py\n```\n\n或者进行分布式运行：\n\n```bash\ntorchrun --nproc_per_node=x generate_\u003Cscript_name>.py\n```\n\n### 训练\n\n在单节点 8 张 GPU 上进行全参数训练时，运行：\n\n```bash\n# Eager attention\naccelerate launch --config_file configs\u002Fzero3.yaml sft.py --config configs\u002Fsft_full.yaml\n\n# FlashAttention3\naccelerate launch --config_file configs\u002Fzero3.yaml sft.py --config configs\u002Fsft_full.yaml --attn_implementation kernels-community\u002Fvllm-flash-attn3\n```\n\n在单张 GPU 上进行 LoRA 训练时，运行：\n\n```bash\npython sft.py --config configs\u002Fsft_lora.yaml\n```\n\n要更改数据集或训练超参数，可以修改 `sft_lora.yaml` 或 `sft_full.yaml` 文件，也可以通过命令行参数传递，例如：\n\n```bash\naccelerate launch --config_file configs\u002Fzero3.yaml \\\n    sft.py --config configs\u002Fsft_full.yaml \\\n    --dataset_name DATASET_NAME\n```","# gpt-oss-recipes 快速上手指南\n\n本指南帮助中国开发者快速部署和使用 OpenAI GPT-OSS 模型（20B\u002F120B）的优化推理与微调脚本。\n\n## 环境准备\n\n*   **操作系统**: Linux (推荐 Ubuntu)\n*   **Python 版本**: 3.11\n*   **硬件要求**:\n    *   NVIDIA GPU (支持 CUDA 12.8)\n    *   **20B 模型**: 建议单卡或多卡运行\n    *   **120B 模型**: 需要多卡分布式环境（支持张量并行\u002F专家并行）\n*   **前置工具**: 推荐使用 `uv` 进行虚拟环境和依赖管理（也可替换为 `venv` + `pip`）。\n\n## 安装步骤\n\n### 1. 创建虚拟环境\n使用 `uv` 创建 Python 3.11 环境并激活：\n\n```sh\nuv venv gpt-oss --python 3.11 && source gpt-oss\u002Fbin\u002Factivate && uv pip install --upgrade pip\n```\n\n> **国内加速提示**: 如果 `uv pip` 下载缓慢，可添加国内镜像源参数，例如：`--index-url https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple`。\n\n### 2. 安装 PyTorch 和 Triton\n安装指定版本的 PyTorch (CUDA 12.8)：\n\n```sh\nuv pip install torch==2.8.0 torchvision torchaudio --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Ftest\u002Fcu128\n```\n\n*(可选)* 如果您的硬件支持 **MXFP4** 量化格式，安装优化的 Triton 内核以提升性能：\n\n```sh\nuv pip install git+https:\u002F\u002Fgithub.com\u002Ftriton-lang\u002Ftriton.git@main#subdirectory=python\u002Ftriton_kernels\n```\n\n### 3. 安装项目依赖\n安装其余所需库：\n\n```sh\nuv pip install -r requirements.txt\n```\n\n## 基本使用\n\n### 1. 配置模型版本\n所有脚本默认使用 120B 模型。如需切换至 20B 模型，请编辑任意脚本顶部的 `model_path` 变量：\n\n```python\n# Model configuration - uncomment the model size you want to use\n# model_path = \"openai\u002Fgpt-oss-120b\"  # 120B model (default)\nmodel_path = \"openai\u002Fgpt-oss-20b\"  # 20B model - uncomment this line and comment the line above\n```\n\n### 2. 推理 (Inference)\n\n**单卡\u002F单机简单推理：**\n选择以下任一脚本运行（例如使用 Flash Attention 优化版）：\n\n```bash\npython generate_flash_attention.py\n```\n\n**多卡分布式推理：**\n使用 `torchrun` 启动（将 `x` 替换为 GPU 数量）：\n\n```bash\ntorchrun --nproc_per_node=x generate_tp_continuous_batching.py\n```\n\n### 3. 微调 (Training)\n\n**LoRA 微调 (单卡):**\n最轻量的微调方式，适合资源有限的场景：\n\n```bash\npython sft.py --config configs\u002Fsft_lora.yaml\n```\n\n**全参数微调 (8 卡节点):**\n使用 DeepSpeed Zero3 策略进行全参数训练：\n\n```bash\n# 使用标准 Attention\naccelerate launch --config_file configs\u002Fzero3.yaml sft.py --config configs\u002Fsft_full.yaml\n\n# 或使用 FlashAttention3 (性能更优)\naccelerate launch --config_file configs\u002Fzero3.yaml sft.py --config configs\u002Fsft_full.yaml --attn_implementation kernels-community\u002Fvllm-flash-attn3\n```\n\n**自定义数据集:**\n通过命令行参数直接指定数据集名称：\n\n```bash\naccelerate launch --config_file configs\u002Fzero3.yaml \\\n    sft.py --config configs\u002Fsft_full.yaml \\\n    --dataset_name DATASET_NAME\n```","某金融科技公司的大模型团队正试图将内部合规文档库适配到最新的开源大模型上，以构建专属的智能问答助手。\n\n### 没有 gpt-oss-recipes 时\n- **推理速度缓慢**：直接加载 120B 参数的 GPT-OSS 模型会导致显存爆炸或生成延迟极高，缺乏现成的张量并行（Tensor Parallelism）和 Flash Attention 配置脚本，工程师需花费数周手动调试底层分布式代码。\n- **微调门槛过高**：想要针对金融术语进行监督微调（SFT），必须从零编写训练循环和数据加载器，难以快速验证全参数训练与 LoRA 高效微调的效果差异。\n- **资源利用率低**：由于缺少连续批处理（Continuous Batching）等高级优化技术，高并发请求下 GPU 算力闲置严重，导致服务响应吞吐量无法达到生产标准。\n- **环境配置繁琐**：面对特定的 PyTorch 版本、Triton 内核及 MXFP4 量化依赖，团队容易陷入复杂的依赖冲突中，耗费大量时间在环境搭建而非算法优化上。\n\n### 使用 gpt-oss-recipes 后\n- **推理性能飞跃**：直接调用 `generate_flash_attention.py` 或 `generate_all.py` 脚本，一键启用专家并行与 Flash Attention，使 120B 模型在多卡环境下的推理延迟降低 60%，轻松支撑高并发。\n- **微调流程标准化**：利用内置的 `sft.py` 脚本，仅需修改 YAML 配置文件即可在单卡上启动 LoRA 微调或在 8 卡集群上进行全参数训练，将模型适配周期从数周缩短至两天。\n- **吞吐量显著提升**：通过集成连续批处理技术，系统在处理变长金融文档查询时，GPU 利用率最大化，单位时间内的请求处理量提升三倍。\n- **部署开箱即用**：遵循官方提供的 `uv` 环境安装指南，自动匹配正确的 Triton 内核与量化格式，消除了环境兼容性问题，让团队能立即专注于业务逻辑开发。\n\ngpt-oss-recipes 通过提供经过验证的优化脚本与标准化训练流程，将高性能大模型的落地难度从“专家级”降低为“工程级”，极大加速了企业私有化大模型的交付进程。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fhuggingface_gpt-oss-recipes_15db8326.png","huggingface","Hugging Face","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fhuggingface_90da21a4.png","The AI community building the future.",null,"https:\u002F\u002Fhuggingface.co\u002F","https:\u002F\u002Fgithub.com\u002Fhuggingface",[81,85],{"name":82,"color":83,"percentage":84},"Jupyter Notebook","#DA5B0B",94.8,{"name":86,"color":87,"percentage":88},"Python","#3572A5",5.2,502,52,"2026-04-08T01:35:41","Apache-2.0",4,"Linux","必需 NVIDIA GPU。推理支持张量并行（Tensor Parallelism）和多卡分布式运行；全参数训练推荐单节点 8 GPU；显存需求取决于模型大小（20B\u002F120B）及是否使用量化，安装指令指定 CUDA 12.8 (cu128)，可选 MXFP4 量化格式支持。","未说明",{"notes":98,"python":99,"dependencies":100},"建议使用 uv 工具创建虚拟环境。脚本自动根据选择的模型（20B 或 120B）配置设备映射。若硬件支持 MXFP4 量化格式，可安装额外的 Triton 内核以优化性能。全参数训练需配置 DeepSpeed Zero3，LoRA 训练可单卡运行。","3.11",[101,102,103,104,105,106,107],"torch==2.8.0","torchvision","torchaudio","triton","accelerate","transformers","vllm-flash-attn3",[35,14],"2026-03-27T02:49:30.150509","2026-04-10T09:06:05.130363",[],[]]