[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-Alpha-VLLM--LLaMA2-Accessory":3,"tool-Alpha-VLLM--LLaMA2-Accessory":64},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",138956,2,"2026-04-05T11:33:21",[13,15,26],"语言模型",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[13,14,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":23,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,26],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":23,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,51,52,53,15,54,26,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":10,"last_commit_at":62,"category_tags":63,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,26,54],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":75,"owner_avatar_url":76,"owner_bio":77,"owner_company":78,"owner_location":78,"owner_email":78,"owner_twitter":78,"owner_website":78,"owner_url":79,"languages":80,"stars":89,"forks":90,"last_commit_at":91,"license":92,"difficulty_score":93,"env_os":94,"env_gpu":95,"env_ram":96,"env_deps":97,"category_tags":110,"github_topics":78,"view_count":23,"oss_zip_url":78,"oss_zip_packed_at":78,"status":16,"created_at":111,"updated_at":112,"faqs":113,"releases":144},1318,"Alpha-VLLM\u002FLLaMA2-Accessory","LLaMA2-Accessory","An Open-source Toolkit for LLM Development","LLaMA2-Accessory 是一套开源“百宝箱”，帮你轻松完成大语言模型（LLM）和多模态大模型的预训练、微调与部署。它把复杂的分布式训练、量化压缩、推理加速等流程封装成简洁脚本，省去重复造轮子的时间，让你专注模型创新。  \n无论你是算法研究员、AI 开发者，还是想把视觉-语言模型快速落地的工程师，都能在这里找到趁手组件。特色亮点包括：  \n• 内置 SPHINX 系列多模态模型，图文对话、视觉问答一键即用；  \n• 支持 Mixtral-8×7B MoE、Falcon 180B 等主流架构，单机多卡、多机多卡都能跑；  \n• 提供 OmniQuant 量化、OpenCompass 自动评测等配套工具，训练-压缩-评估一条龙。  \n一句话：想玩转大模型，LLaMA2-Accessory 让门槛更低、效率更高。","# LLaMA2-Accessory: An Open-source Toolkit for LLM Development 🚀\n\n\u003Cp align=\"center\">\n \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAlpha-VLLM_LLaMA2-Accessory_readme_dd4a675af1cb.png\" width=\"90%\"\u002F> \n \u003Cbr>\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n   📖 \u003Ca href=\"https:\u002F\u002Fllama2-accessory.readthedocs.io\" target=\"_blank\">Document\u003C\u002Fa>\n\u003C\u002Fp>\n\u003Cp align=\"center\">\n   🤗 \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002FAlpha-VLLM\u002FSPHINX\" target=\"_blank\">HF Repo\u003C\u002Fa> • 👋 join our \u003Ca href=\"http:\u002F\u002Fimagebind-llm.opengvlab.com\u002Fqrcode\u002F\" target=\"_blank\">WeChat\u003C\u002Fa> • 🚀 \u003Ca href=\"http:\u002F\u002Fimagebind-llm.opengvlab.com\u002F\" target=\"_blank\">Demo\u003C\u002Fa>\n\u003C\u002Fp>\n\n🚀**LLaMA2-Accessory** is an open-source toolkit for pretraining, finetuning and deployment of **Large Language Models (LLMs)** and **multimodal LLMs**. This repo is mainly inherited from [LLaMA-Adapter](https:\u002F\u002Fgithub.com\u002FOpenGVLab\u002FLLaMA-Adapter) with more advanced features.🧠\n\n✨Within this toolkit, we present **SPHINX**, a versatile multimodal large language model (MLLM) that combines a diverse array of training tasks, data domains, and visual embeddings.\n\n## News\n* **[2024-3-7]** We release the demos and codebase of [Large-DiT-T2I](https:\u002F\u002Fgithub.com\u002FAlpha-VLLM\u002FLLaMA2-Accessory\u002Ftree\u002Fmain\u002FLarge-DiT-T2I) 🎉.\n* **[2024-2-17]** We release a 3 and 7 Billion [Large-DiT](https:\u002F\u002Fgithub.com\u002FAlpha-VLLM\u002FLLaMA2-Accessory\u002Ftree\u002Fmain\u002FLarge-DiT-ImageNet) trained on ImageNet. Pretrained checkpoints and full training codebase are released 🎉.\n- **[2024-1-27]** [SPHINX-MoE](https:\u002F\u002Fhuggingface.co\u002FAlpha-VLLM\u002FLLaMA2-Accessory\u002Ftree\u002Fmain\u002Ffinetune\u002Fmm\u002FSPHINX) achieves **29.57%** and **29.33%** accuracy results on [CMMMU-test](https:\u002F\u002Fgithub.com\u002FCMMMU-Benchmark\u002FCMMMU) and [CMMMU-val](https:\u002F\u002Fgithub.com\u002FCMMMU-Benchmark\u002FCMMMU) respectively.\n- **[2024-1-24]** [SPHINX-MoE](https:\u002F\u002Fhuggingface.co\u002FAlpha-VLLM\u002FLLaMA2-Accessory\u002Ftree\u002Fmain\u002Ffinetune\u002Fmm\u002FSPHINX) achieves new SOTA performance (**49.33%**) on [MMVP](https:\u002F\u002Fgithub.com\u002Ftsb0601\u002FMMVP), higher than GPT-4V! 🔥🔥🔥\n- **[2024-1-20]** [SPHINX-MoE](https:\u002F\u002Fhuggingface.co\u002FAlpha-VLLM\u002FLLaMA2-Accessory\u002Ftree\u002Fmain\u002Ffinetune\u002Fmm\u002FSPHINX) achieves SOTA performance on [AesBench](https:\u002F\u002Fgithub.com\u002Fyipoh\u002FAesBench\u002Ftree\u002Fmain)! 🔥🔥🔥\n- **[2024-1-18]** [LLaMA-Adapter](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2303.16199.pdf) is accepted by **ICLR 2024**!🎉\n- **[2024-1-12]** We release SPHINX-Tiny built on the compact 1.1B [TinyLlama](https:\u002F\u002Fhuggingface.co\u002FTinyLlama\u002FTinyLlama-1.1B-intermediate-step-1195k-token-2.5T) that everyone can play with! 🔥🔥🔥\n- **[2024-1-5]** [OpenCompass](https:\u002F\u002Fgithub.com\u002Fopen-compass\u002Fopencompass) now supports seamless evaluation of all LLaMA2-Accessory models. 🔥🔥🔗[Doc](https:\u002F\u002Fllama2-accessory.readthedocs.io\u002Fen\u002Flatest\u002Fevaluation.html)\n- **[2024-1-2]** We release the [SPHINX-MoE](https:\u002F\u002Fhuggingface.co\u002FAlpha-VLLM\u002FLLaMA2-Accessory\u002Ftree\u002Fmain\u002Ffinetune\u002Fmm\u002FSPHINX), a MLLM based on Mixtral-8x7B-MoE. 🔥🔥🔥\n- **[2023-12-12]** [SPHINX-V2](https:\u002F\u002Fgithub.com\u002FAlpha-VLLM\u002FLLaMA2-Accessory\u002Ftree\u002Fmain\u002FSPHINX) achieve outstanding results in [InfiMM-Eval](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Fvisual-question-answering-vqa-on-core-mm), ranking just below GPT4-V! 🔥🔥🔥\n- **[2023-12-11]** We now support [mixtral-8x7b](https:\u002F\u002Fllama2-accessory.readthedocs.io\u002Fen\u002Flatest\u002Fprojects\u002Fmixtral-8x7b.html) inference and finetuning! 🔥🔥🔥\n- **[2023-12-08]** We release [OneLLM](https:\u002F\u002Fgithub.com\u002Fcsuhan\u002FOneLLM) which aligns **eight** modalities to language using a unified framework!🔥🔥🔥\n- **[2023-11-17]** We release [SPHINX-V2](https:\u002F\u002Fgithub.com\u002FAlpha-VLLM\u002FLLaMA2-Accessory\u002Ftree\u002Fmain\u002FSPHINX), the same architecture but enhanced capabilities! 🔥🔥🔥\n- **[2023.10.17]** We release the demo, code, and model of [SPHINX](https:\u002F\u002Fgithub.com\u002FAlpha-VLLM\u002FLLaMA2-Accessory\u002Ftree\u002Fmain\u002FSPHINX)!🔥🔥\n- **[2023.09.15]** We now support Falcon 180B!🔥🔥\n- **[2023.09.14]** [WeMix-LLaMA2-70B](https:\u002F\u002Fgithub.com\u002FAlpha-VLLM\u002FWeMix-LLM) shows excellent performance on the [OpenCompass](https:\u002F\u002Fopencompass.org.cn\u002Fleaderboard-llm) benchmark!🔥🔥\n- **[2023.09.02]** We now support InternLM🔥\n- **[2023.08.28]** We release quantized LLM with [OmniQuant](https:\u002F\u002Fgithub.com\u002FOpenGVLab\u002FOmniQuant), which is an efficient, accurate, and omnibearing (even extremely low bit) quantization algorithm. Multimodal version is coming soon\n- **[2023.08.27]** We now support CodeLLaMA and instruction finetuning on [evol-code-alpaca](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Ftheblackcat102\u002Fevol-codealpaca-v1)\n- **[2023.08.27]** We release our documentation in a webbook format 🔗[Check it out here](https:\u002F\u002Fllama2-accessory.readthedocs.io\u002F)\n- **[2023.08.21]** We release the Quantization codes and Evaluation result\n- **[2023.08.05]** We release the multimodel finetuning codes and checkpoints\n- **[2023.07.23]** Initial release 📌\n\n## Features\n* **💡Support More Datasets and Tasks**\n  - 🎯 Pretraining with [RefinedWeb](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Ftiiuae\u002Ffalcon-refinedweb) and [StarCoder](https:\u002F\u002Fgithub.com\u002Fbigcode-project\u002Fstarcoder).\n  - 📚 Single-modal finetuning with [Alpaca](https:\u002F\u002Fgithub.com\u002Ftatsu-lab\u002Fstanford_alpaca), [ShareGPT](https:\u002F\u002Fgithub.com\u002Fdomeccleston\u002Fsharegpt), [LIMA](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.11206.pdf), [WizardLM](https:\u002F\u002Fgithub.com\u002Fnlpxucan\u002FWizardLM), [Flacuna](https:\u002F\u002Fgithub.com\u002Fdeclare-lab\u002Fflacuna), [Platypus](https:\u002F\u002Fgithub.com\u002Farielnlee\u002FPlatypus), [UltraChat](https:\u002F\u002Fgithub.com\u002Fthunlp\u002FUltraChat) and [MOSS](https:\u002F\u002Fgithub.com\u002FOpenLMLab\u002FMOSS).\n  - 🌈 Multi-modal finetuning with image-text pairs ([LAION](https:\u002F\u002Flaion.ai\u002Fblog\u002Flaion-5b\u002F), [COYO](https:\u002F\u002Fgithub.com\u002Fkakaobrain\u002Fcoyo-dataset) and more), interleaved image-text data ([MMC4](https:\u002F\u002Fgithub.com\u002Fallenai\u002Fmmc4) and [OBELISC](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002FOBELISC)) and visual instruction data ([LLaVA](https:\u002F\u002Fgithub.com\u002Fhaotian-liu\u002FLLaVA), [Shrika](https:\u002F\u002Fgithub.com\u002Fshikras\u002Fshikra), [Bard](https:\u002F\u002Fbard.google.com\u002F))\n  - 🔧 LLM for API Control ([GPT4Tools](https:\u002F\u002Fgithub.com\u002FStevenGrove\u002FGPT4Tools) and [Gorilla](https:\u002F\u002Fgithub.com\u002FShishirPatil\u002Fgorilla)).\n* **⚡Efficient Optimization and Deployment**\n  - 🚝 Parameter-efficient finetuning with [Zero-init Attenion](https:\u002F\u002Fgithub.com\u002FOpenGVLab\u002FLLaMA-Adapter) and [Bias-norm Tuning](https:\u002F\u002Fgithub.com\u002FOpenGVLab\u002FLLaMA-Adapter).\n  - 💻 Fully Sharded Data Parallel ([FSDP](https:\u002F\u002Fengineering.fb.com\u002F2021\u002F07\u002F15\u002Fopen-source\u002Ffsdp\u002F)), [Flash Attention 2](https:\u002F\u002Fgithub.com\u002FDao-AILab\u002Fflash-attention) and [QLoRA](https:\u002F\u002Fgithub.com\u002Fartidoro\u002Fqlora).\n* **🏋️‍♀️Support More Visual Encoders and LLMs**\n\n  - 👁‍🗨 Visual Encoders: [CLIP](https:\u002F\u002Fgithub.com\u002Fopenai\u002FCLIP), [Q-Former](https:\u002F\u002Fgithub.com\u002Fsalesforce\u002FLAVIS), [ImageBind](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FImageBind) and [DINOv2](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fdinov2).\n  - 🧩 LLMs: LLaMA, LLaMA2, CodeLlama, InternLM, Falcon and Mixtral-8x7B.\n\n## Setup\n\n:gear: For environment installation, please refer to [Environment Setup](https:\u002F\u002Fllama2-accessory.readthedocs.io\u002Fen\u002Flatest\u002Finstall.html).\n\n## Model Usage\n\n:robot: Instructions for model [pretraining](https:\u002F\u002Fllama2-accessory.readthedocs.io\u002Fen\u002Flatest\u002Fpretrain.html), [finetuning](https:\u002F\u002Fllama2-accessory.readthedocs.io\u002Fen\u002Flatest\u002Ffinetune\u002Findex.html), [inference](https:\u002F\u002Fllama2-accessory.readthedocs.io\u002Fen\u002Flatest\u002Finference.html), and other related topics are all available in the [document](https:\u002F\u002Fllama2-accessory.readthedocs.io).\n\n## Frequently Asked Questions (FAQ)\n\n:question: Encountering issues or have further questions? Find answers to common inquiries [here](https:\u002F\u002Fllama2-accessory.readthedocs.io\u002Fen\u002Flatest\u002Ffaq.html). We're here to assist you!\n\n## Demos\n* Instruction-tuned LLaMA2: [alpaca](https:\u002F\u002Falpha-vllm.github.io\u002Fdemo_presentation\u002Fexamples\u002Ffinetune\u002Fsg\u002Falpaca.html) & [gorilla](https:\u002F\u002Falpha-vllm.github.io\u002Fdemo_presentation\u002Fexamples\u002Ffinetune\u002Fsg\u002Fgorilla.html).\n* Chatbot LLaMA2: [dialog_sharegpt](https:\u002F\u002Falpha-vllm.github.io\u002Fdemo_presentation\u002Fexamples\u002Ffinetune\u002Fsg\u002Fdialog_sharegpt.html) & [dialog_lima](https:\u002F\u002Falpha-vllm.github.io\u002Fdemo_presentation\u002Fexamples\u002Ffinetune\u002Fsg\u002Fdialog_lima.html) & [llama2-chat](https:\u002F\u002Falpha-vllm.github.io\u002Fdemo_presentation\u002Fexamples\u002Ffinetune\u002Fsg\u002Fllama2-chat.html).\n* Multimodal LLaMA2: [in-context](https:\u002F\u002Falpha-vllm.github.io\u002Fdemo_presentation\u002Fexamples\u002Ffinetune\u002Fmm\u002Fin-context.html) & [alpacaLlava_llamaQformerv2_13b](https:\u002F\u002Falpha-vllm.github.io\u002Fdemo_presentation\u002Fexamples\u002Ffinetune\u002Fmm\u002FalpacaLlava_llamaQformerv2_13b.html)\n* SPHINX: [demo](https:\u002F\u002Fgithub.com\u002FAlpha-VLLM\u002FLLaMA2-Accessory\u002Fblob\u002Fmain\u002FSPHINX\u002FREADME.md#demo)\n\n💡 Now, our model SPHINX supports generating high-quality bounding boxes and then present masks created by [SAM](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fsegment-anything\u002Ftree\u002Fmain) for all objects within an image driven by input prompts. Give it a try [here](http:\u002F\u002Fimagebind-llm.opengvlab.com\u002F)! 🚀\n\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAlpha-VLLM_LLaMA2-Accessory_readme_6d54c2673987.png\" width=\"90%\" \u002F>\n\n## Core Contributors\n\n[Chris Liu](https:\u002F\u002Fgithub.com\u002FChrisLiu6), [Ziyi Lin](https:\u002F\u002Fgithub.com\u002Flinziyi96), [Guian Fang](https:\u002F\u002Fgithub.com\u002FEnderfga), [Jiaming Han](https:\u002F\u002Fgithub.com\u002Fcsuhan), [Yijiang Liu](https:\u002F\u002Fgithub.com\u002Fkriskrisliu), [Renrui Zhang](https:\u002F\u002Fgithub.com\u002FZrrSkywalker), [Longtian Qiu](https:\u002F\u002Fgithub.com\u002FArtanic30), [Yichi Zhang](https:\u002F\u002Fgithub.com\u002Fvoid721), [Siyuan Huang](https:\u002F\u002Fgithub.com\u002FSiyuanHuang95)\n\n## Project Leader\n\n[Peng Gao](https:\u002F\u002Fgithub.com\u002Fgaopengpjlab), [Wenqi Shao](https:\u002F\u002Fgithub.com\u002Fwqshao126), [Shanghang Zhang](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=voqw10cAAAAJ&hl=en)\n\n## Hiring Announcement\n\n🔥 **We are hiring** interns, postdocs, and full-time researchers at the **General Vision Group, Shanghai AI Lab**, with a focus on multi-modality and vision foundation models. If you are interested, please contact [gaopengcuhk@gmail.com](mailto:gaopengcuhk@gmail.com).\n\n## Citation\nIf you find our code and paper useful, please kindly cite:\n```bash\n@article{zhang2023llamaadapter,\n  title = {LLaMA-Adapter: Efficient Finetuning of Language Models with Zero-init Attention},\n  author={Zhang, Renrui and Han, Jiaming and Liu, Chris and Gao, Peng and Zhou, Aojun and Hu, Xiangfei and Yan, Shilin and Lu, Pan and Li, Hongsheng and Qiao, Yu},\n  journal={arXiv preprint arXiv:2303.16199},\n  year={2023}\n}\n```\n```bash\n@article{gao2023llamaadapterv2,\n  title = {LLaMA-Adapter V2: Parameter-Efficient Visual Instruction Model},\n  author={Gao, Peng and Han, Jiaming and Zhang, Renrui and Lin, Ziyi and Geng, Shijie and Zhou, Aojun and Zhang, Wei and Lu, Pan and He, Conghui and Yue, Xiangyu and Li, Hongsheng and Qiao, Yu},\n  journal={arXiv preprint arXiv:2304.15010},\n  year={2023}\n}\n```\n\n## Acknowledgement\n+ [@facebookresearch](https:\u002F\u002Fgithub.com\u002Ffacebookresearch) for [llama](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fllama)\n+ [@OpenGVLab](https:\u002F\u002Fgithub.com\u002FOpenGVLab) for [LLaMA-Adapter](https:\u002F\u002Fgithub.com\u002FOpenGVLab\u002FLLaMA-Adapter)\n\u003Cdetails>\u003Csummary>Show More\u003C\u002Fsummary>\n\n+ [@facebookresearch](https:\u002F\u002Fgithub.com\u002Ffacebookresearch) for [ImageBind](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FImageBind) & [LIMA](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002F64bits\u002Flima_vicuna_format) & [CodeLlama](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fcodellama)\n+ [@Instruction-Tuning-with-GPT-4](https:\u002F\u002Fgithub.com\u002FInstruction-Tuning-with-GPT-4) for [GPT-4-LLM](https:\u002F\u002Fgithub.com\u002FInstruction-Tuning-with-GPT-4\u002FGPT-4-LLM)\n+ [@tatsu-lab](https:\u002F\u002Fgithub.com\u002Ftatsu-lab) for [stanford_alpaca](https:\u002F\u002Fgithub.com\u002Ftatsu-lab\u002Fstanford_alpaca)\n+ [@tloen](https:\u002F\u002Fgithub.com\u002Ftloen) for [alpaca-lora](https:\u002F\u002Fgithub.com\u002Ftloen\u002Falpaca-lora)\n+ [@lm-sys](https:\u002F\u002Fgithub.com\u002Flm-sys) for [FastChat](https:\u002F\u002Fgithub.com\u002Flm-sys\u002FFastChat)\n+ [@domeccleston](https:\u002F\u002Fgithub.com\u002Fdomeccleston) for [sharegpt](https:\u002F\u002Fgithub.com\u002Fdomeccleston\u002Fsharegpt)\n+ [@karpathy](https:\u002F\u002Fgithub.com\u002Fkarpathy) for [nanoGPT](https:\u002F\u002Fgithub.com\u002Fkarpathy\u002FnanoGPT)\n+ [@Dao-AILab](https:\u002F\u002Fgithub.com\u002FDao-AILab) for [flash-attention](https:\u002F\u002Fgithub.com\u002FDao-AILab\u002Fflash-attention)\n+ [@NVIDIA](https:\u002F\u002Fgithub.com\u002FNVIDIA) for [apex](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fapex) & [Megatron-LM](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FMegatron-LM)\n+ [@Vision-CAIR](https:\u002F\u002Fgithub.com\u002FVision-CAIR) for [MiniGPT-4](https:\u002F\u002Fgithub.com\u002FVision-CAIR\u002FMiniGPT-4)\n+ [@haotian-liu](https:\u002F\u002Fgithub.com\u002Fhaotian-liu) for [LLaVA](https:\u002F\u002Fgithub.com\u002Fhaotian-liu\u002FLLaVA)\n+ [@huggingface](https:\u002F\u002Fgithub.com\u002Fhuggingface) for [peft](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fpeft) & [OBELISC](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002FOBELISC)\n+ [@Lightning-AI](https:\u002F\u002Fgithub.com\u002FLightning-AI) for [lit-gpt](https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flit-gpt) & [lit-llama](https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flit-llama)\n+ [@allenai](https:\u002F\u002Fgithub.com\u002Fallenai) for [mmc4](https:\u002F\u002Fgithub.com\u002Fallenai\u002Fmmc4)\n+ [@StevenGrove](https:\u002F\u002Fgithub.com\u002FStevenGrove) for [GPT4Tools](https:\u002F\u002Fgithub.com\u002FStevenGrove\u002FGPT4Tools)\n+ [@ShishirPatil](https:\u002F\u002Fgithub.com\u002FShishirPatil) for [gorilla](https:\u002F\u002Fgithub.com\u002FShishirPatil\u002Fgorilla)\n+ [@OpenLMLab](https:\u002F\u002Fgithub.com\u002FOpenLMLab) for [MOSS](https:\u002F\u002Fgithub.com\u002FOpenLMLab\u002FMOSS)\n+ [@thunlp](https:\u002F\u002Fgithub.com\u002Fthunlp) for [UltraChat](https:\u002F\u002Fgithub.com\u002Fthunlp\u002FUltraChat)\n+ [@LAION-AI](https:\u002F\u002Fgithub.com\u002FLAION-AI) for [LAION-5B](https:\u002F\u002Flaion.ai\u002Fblog\u002Flaion-5b\u002F)\n+ [@shikras](https:\u002F\u002Fgithub.com\u002Fshikras) for [shikra](https:\u002F\u002Fgithub.com\u002Fshikras\u002Fshikra)\n+ [@kakaobrain](https:\u002F\u002Fgithub.com\u002Fkakaobrain) for [coyo-dataset](https:\u002F\u002Fgithub.com\u002Fkakaobrain\u002Fcoyo-dataset)\n+ [@salesforce](https:\u002F\u002Fgithub.com\u002Fsalesforce) for [LAVIS](https:\u002F\u002Fgithub.com\u002Fsalesforce\u002FLAVIS)\n+ [@openai](https:\u002F\u002Fgithub.com\u002Fopenai) for [CLIP](https:\u002F\u002Fgithub.com\u002Fopenai\u002FCLIP)\n+ [@bigcode-project](https:\u002F\u002Fgithub.com\u002Fbigcode-project) for [starcoder](https:\u002F\u002Fgithub.com\u002Fbigcode-project\u002Fstarcoder)\n+ [@tiiuae](https:\u002F\u002Fhuggingface.co\u002Ftiiuae) for [falcon-refinedweb](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Ftiiuae\u002Ffalcon-refinedweb)\n+ [@microsoft](https:\u002F\u002Fgithub.com\u002Fmicrosoft) for [DeepSpeed](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FDeepSpeed)\n+ [@declare-lab](https:\u002F\u002Fgithub.com\u002Fdeclare-lab) for [flacuna](https:\u002F\u002Fgithub.com\u002Fdeclare-lab\u002Fflacuna)\n+ [@nlpxucan](https:\u002F\u002Fgithub.com\u002Fnlpxucan) for [WizardLM](https:\u002F\u002Fgithub.com\u002Fnlpxucan\u002FWizardLM)\n+ [@arielnlee](https:\u002F\u002Fgithub.com\u002Farielnlee) for [Platypus](https:\u002F\u002Fgithub.com\u002Farielnlee\u002FPlatypus)\n+ [@InternLM](https:\u002F\u002Fgithub.com\u002FInternLM) for [InternLM](https:\u002F\u002Fgithub.com\u002FInternLM\u002FInternLM)\n+ [@Google](https:\u002F\u002Fgithub.com\u002Fgoogle) for [Bard](https:\u002F\u002Fbard.google.com\u002F)\n\u003C\u002Fdetails>\n\n## License\n\nLlama 2 is licensed under the [LLAMA 2 Community License](LICENSE_llama2), Copyright (c) Meta Platforms, Inc. All Rights Reserved.\n","# LLaMA2-Accessory：面向大语言模型开发的开源工具包 🚀\n\n\u003Cp align=\"center\">\n \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAlpha-VLLM_LLaMA2-Accessory_readme_dd4a675af1cb.png\" width=\"90%\"\u002F> \n \u003Cbr>\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n   📖 \u003Ca href=\"https:\u002F\u002Fllama2-accessory.readthedocs.io\" target=\"_blank\">文档\u003C\u002Fa>\n\u003C\u002Fp>\n\u003Cp align=\"center\">\n   🤗 \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002FAlpha-VLLM\u002FSPHINX\" target=\"_blank\">HF 仓库\u003C\u002Fa> • 👋 加入我们的 \u003Ca href=\"http:\u002F\u002Fimagebind-llm.opengvlab.com\u002Fqrcode\u002F\" target=\"_blank\">微信\u003C\u002Fa> • 🚀 \u003Ca href=\"http:\u002F\u002Fimagebind-llm.opengvlab.com\u002F\" target=\"_blank\">演示\u003C\u002Fa>\n\u003C\u002Fp>\n\n🚀**LLaMA2-Accessory** 是一个用于 **大型语言模型（LLMs）** 和 **多模态大型语言模型** 的预训练、微调及部署的开源工具包。该仓库主要继承自 [LLaMA-Adapter](https:\u002F\u002Fgithub.com\u002FOpenGVLab\u002FLLaMA-Adapter)，并在此基础上增加了更多高级功能。🧠\n\n✨在该工具包中，我们推出了 **SPHINX**，这是一个多功能的多模态大型语言模型（MLLM），它融合了多样化的训练任务、数据领域以及视觉嵌入。\n\n## 新闻\n* **[2024-3-7]** 我们发布了 [Large-DiT-T2I](https:\u002F\u002Fgithub.com\u002FAlpha-VLLM\u002FLLaMA2-Accessory\u002Ftree\u002Fmain\u002FLarge-DiT-T2I) 的演示和代码库 🎉。\n* **[2024-2-17]** 我们发布了在 ImageNet 上训练的 30 亿和 70 亿参数的 [Large-DiT](https:\u002F\u002Fgithub.com\u002FAlpha-VLLM\u002FLLaMA2-Accessory\u002Ftree\u002Fmain\u002FLarge-DiT-ImageNet) 模型。预训练检查点和完整的训练代码库均已发布 🎉。\n- **[2024-1-27]** [SPHINX-MoE](https:\u002F\u002Fhuggingface.co\u002FAlpha-VLLM\u002FLLaMA2-Accessory\u002Ftree\u002Fmain\u002Ffinetune\u002Fmm\u002FSPHINX) 在 [CMMMU-test](https:\u002F\u002Fgithub.com\u002FCMMMU-Benchmark\u002FCMMMU) 和 [CMMMU-val](https:\u002F\u002Fgithub.com\u002FCMMMU-Benchmark\u002FCMMMU) 上分别取得了 **29.57%** 和 **29.33%** 的准确率。\n- **[2024-1-24]** [SPHINX-MoE](https:\u002F\u002Fhuggingface.co\u002FAlpha-VLLM\u002FLLaMA2-Accessory\u002Ftree\u002Fmain\u002Ffinetune\u002Fmm\u002FSPHINX) 在 [MMVP](https:\u002F\u002Fgithub.com\u002Ftsb0601\u002FMMVP) 上达到了新的 SOTA 性能（**49.33%**），高于 GPT-4V！🔥🔥🔥\n- **[2024-1-20]** [SPHINX-MoE](https:\u002F\u002Fhuggingface.co\u002FAlpha-VLLM\u002FLLaMA2-Accessory\u002Ftree\u002Fmain\u002Ffinetune\u002Fmm\u002FSPHINX) 在 [AesBench](https:\u002F\u002Fgithub.com\u002Fyipoh\u002FAesBench\u002Ftree\u002Fmain) 上也取得了 SOTA 性能！🔥🔥🔥\n- **[2024-1-18]** [LLaMA-Adapter](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2303.16199.pdf) 被 **ICLR 2024** 接收！🎉\n- **[2024-1-12]** 我们发布了基于紧凑的 11 亿参数版 [TinyLlama](https:\u002F\u002Fhuggingface.co\u002FTinyLlama\u002FTinyLlama-1.1B-intermediate-step-1195k-token-2.5T) 构建的 SPHINX-Tiny，人人都可以玩！🔥🔥🔥\n- **[2024-1-5]** [OpenCompass](https:\u002F\u002Fgithub.com\u002Fopen-compass\u002Fopencompass) 现已支持对所有 LLaMA2-Accessory 模型的无缝评估。🔥🔥🔗[文档](https:\u002F\u002Fllama2-accessory.readthedocs.io\u002Fen\u002Flatest\u002Fevaluation.html)\n- **[2024-1-2]** 我们发布了 [SPHINX-MoE](https:\u002F\u002Fhuggingface.co\u002FAlpha-VLLM\u002FLLaMA2-Accessory\u002Ftree\u002Fmain\u002Ffinetune\u002Fmm\u002FSPHINX)，一款基于 Mixtral-8x7B-MoE 的 MLLM。🔥🔥🔥\n- **[2023-12-12]** [SPHINX-V2](https:\u002F\u002Fgithub.com\u002FAlpha-VLLM\u002FLLaMA2-Accessory\u002Ftree\u002Fmain\u002FSPHINX) 在 [InfiMM-Eval](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Fvisual-question-answering-vqa-on-core-mm) 中取得了卓越成绩，排名仅次于 GPT4-V！🔥🔥🔥\n- **[2023-12-11]** 我们现在支持 [mixtral-8x7b](https:\u002F\u002Fllama2-accessory.readthedocs.io\u002Fen\u002Flatest\u002Fprojects\u002Fmixtral-8x7b.html) 的推理与微调！🔥🔥🔥\n- **[2023-12-08]** 我们发布了 [OneLLM](https:\u002F\u002Fgithub.com\u002Fcsuhan\u002FOneLLM)，它使用统一框架将 **八种** 模态对齐到语言！🔥🔥🔥\n- **[2023-11-17]** 我们发布了 [SPHINX-V2](https:\u002F\u002Fgithub.com\u002FAlpha-VLLM\u002FLLaMA2-Accessory\u002Ftree\u002Fmain\u002FSPHINX)，同样是同一架构但能力更强！🔥🔥🔥\n- **[2023.10.17]** 我们发布了 [SPHINX](https:\u002F\u002Fgithub.com\u002FAlpha-VLLM\u002FLLaMA2-Accessory\u002Ftree\u002Fmain\u002FSPHINX) 的演示、代码和模型！🔥🔥\n- **[2023.09.15]** 我们现在支持 Falcon 180B！🔥🔥\n- **[2023.09.14]** [WeMix-LLaMA2-70B](https:\u002F\u002Fgithub.com\u002FAlpha-VLLM\u002FWeMix-LLM) 在 [OpenCompass](https:\u002F\u002Fopencompass.org.cn\u002Fleaderboard-llm) 基准测试中表现出色！🔥🔥\n- **[2023.09.02]** 我们现在支持 InternLM🔥\n- **[2023.08.28]** 我们发布了带有 [OmniQuant](https:\u002F\u002Fgithub.com\u002FOpenGVLab\u002FOmniQuant) 的量化 LLM，这是一种高效、精准且适用于各种场景（甚至极低比特）的量化算法。多模态版本即将推出。\n- **[2023.08.27]** 我们现在支持 CodeLLaMA，并在 [evol-code-alpaca](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Ftheblackcat102\u002Fevol-codealpaca-v1) 上进行指令微调。\n- **[2023.08.27]** 我们以网络书籍的形式发布了文档 🔗[点击此处查看](https:\u002F\u002Fllama2-accessory.readthedocs.io\u002F)\n- **[2023.08.21]** 我们发布了量化代码和评估结果。\n- **[2023.08.05]** 我们发布了多模型微调代码和检查点。\n- **[2023.07.23]** 初次发布 📌\n\n## 特性\n* **💡支持更多数据集和任务**\n  - 🎯 使用 [RefinedWeb](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Ftiiuae\u002Ffalcon-refinedweb) 和 [StarCoder](https:\u002F\u002Fgithub.com\u002Fbigcode-project\u002Fstarcoder) 进行预训练。\n  - 📚 单模态微调：使用 [Alpaca](https:\u002F\u002Fgithub.com\u002Ftatsu-lab\u002Fstanford_alpaca)、[ShareGPT](https:\u002F\u002Fgithub.com\u002Fdomeccleston\u002Fsharegpt)、[LIMA](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.11206.pdf)、[WizardLM](https:\u002F\u002Fgithub.com\u002Fnlpxucan\u002FWizardLM)、[Flacuna](https:\u002F\u002Fgithub.com\u002Fdeclare-lab\u002Fflacuna)、[Platypus](https:\u002F\u002Fgithub.com\u002Farielnlee\u002FPlatypus)、[UltraChat](https:\u002F\u002Fgithub.com\u002Fthunlp\u002FUltraChat) 和 [MOSS](https:\u002F\u002Fgithub.com\u002FOpenLMLab\u002FMOSS)。\n  - 🌈 多模态微调：使用图文对（[LAION](https:\u002F\u002Flaion.ai\u002Fblog\u002Flaion-5b\u002F)、[COYO](https:\u002F\u002Fgithub.com\u002Fkakaobrain\u002Fcoyo-dataset) 等）、交错的图文数据（[MMC4](https:\u002F\u002Fgithub.com\u002Fallenai\u002Fmmc4) 和 [OBELISC](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002FOBELISC)）以及视觉指令数据（[LLaVA](https:\u002F\u002Fgithub.com\u002Fhaotian-liu\u002FLLaVA)、[Shrika](https:\u002F\u002Fgithub.com\u002Fshikras\u002Fshikra)、[Bard](https:\u002F\u002Fbard.google.com\u002F)）。\n  - 🔧 用于 API 控制的 LLM（[GPT4Tools](https:\u002F\u002Fgithub.com\u002FStevenGrove\u002FGPT4Tools) 和 [Gorilla](https:\u002F\u002Fgithub.com\u002FShishirPatil\u002Fgorilla)）。\n* **⚡高效的优化与部署**\n  - 🚝 使用 [Zero-init Attenion](https:\u002F\u002Fgithub.com\u002FOpenGVLab\u002FLLaMA-Adapter) 和 [Bias-norm Tuning](https:\u002F\u002Fgithub.com\u002FOpenGVLab\u002FLLaMA-Adapter) 实现参数高效的微调。\n  - 💻 完全分片的数据并行（[FSDP](https:\u002F\u002Fengineering.fb.com\u002F2021\u002F07\u002F15\u002Fopen-source\u002Ffsdp\u002F)）、[Flash Attention 2](https:\u002F\u002Fgithub.com\u002FDao-AILab\u002Fflash-attention) 和 [QLoRA](https:\u002F\u002Fgithub.com\u002Fartidoro\u002Fqlora)。\n* **🏋️‍♀️支持更多视觉编码器和 LLM**\n\n  - 👁‍🗨 视觉编码器：[CLIP](https:\u002F\u002Fgithub.com\u002Fopenai\u002FCLIP)、[Q-Former](https:\u002F\u002Fgithub.com\u002Fsalesforce\u002FLAVIS)、[ImageBind](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FImageBind) 和 [DINOv2](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fdinov2)。\n  - 🧩 LLM：LLaMA、LLaMA2、CodeLlama、InternLM、Falcon 和 Mixtral-8x7B。\n\n## 设置\n\n:gear: 关于环境安装，请参阅 [环境设置](https:\u002F\u002Fllama2-accessory.readthedocs.io\u002Fen\u002Flatest\u002Finstall.html)。\n\n## 模型使用\n\n:robot: 关于模型的[预训练](https:\u002F\u002Fllama2-accessory.readthedocs.io\u002Fen\u002Flatest\u002Fpretrain.html)、[微调](https:\u002F\u002Fllama2-accessory.readthedocs.io\u002Fen\u002Flatest\u002Ffinetune\u002Findex.html)、[推理](https:\u002F\u002Fllama2-accessory.readthedocs.io\u002Fen\u002Flatest\u002Finference.html)及其他相关主题的说明，均已在[文档](https:\u002F\u002Fllama2-accessory.readthedocs.io)中提供。\n\n## 常见问题解答 (FAQ)\n\n:question: 遇到问题或有更多疑问？请在此处查找常见问题的答案[这里](https:\u002F\u002Fllama2-accessory.readthedocs.io\u002Fen\u002Flatest\u002Ffaq.html)。我们随时为您提供帮助！\n\n## 示例演示\n* 指令微调版 LLaMA2：[alpaca](https:\u002F\u002Falpha-vllm.github.io\u002Fdemo_presentation\u002Fexamples\u002Ffinetune\u002Fsg\u002Falpaca.html) & [gorilla](https:\u002F\u002Falpha-vllm.github.io\u002Fdemo_presentation\u002Fexamples\u002Ffinetune\u002Fsg\u002Fgorilla.html)。\n* 聊天机器人版 LLaMA2：[dialog_sharegpt](https:\u002F\u002Falpha-vllm.github.io\u002Fdemo_presentation\u002Fexamples\u002Ffinetune\u002Fsg\u002Fdialog_sharegpt.html) & [dialog_lima](https:\u002F\u002Falpha-vllm.github.io\u002Fdemo_presentation\u002Fexamples\u002Ffinetune\u002Fsg\u002Fdialog_lima.html) & [llama2-chat](https:\u002F\u002Falpha-vllm.github.io\u002Fdemo_presentation\u002Fexamples\u002Ffinetune\u002Fsg\u002Fllama2-chat.html)。\n* 多模态版 LLaMA2：[in-context](https:\u002F\u002Falpha-vllm.github.io\u002Fdemo_presentation\u002Fexamples\u002Ffinetune\u002Fmm\u002Fin-context.html) & [alpacaLlava_llamaQformerv2_13b](https:\u002F\u002Falpha-vllm.github.io\u002Fdemo_presentation\u002Fexamples\u002Ffinetune\u002Fmm\u002FalpacaLlava_llamaQformerv2_13b.html)\n* SPHINX：[演示](https:\u002F\u002Fgithub.com\u002FAlpha-VLLM\u002FLLaMA2-Accessory\u002Fblob\u002Fmain\u002FSPHINX\u002FREADME.md#demo)\n\n💡 现在，我们的 SPHINX 模型支持根据输入提示生成高质量的边界框，并为图像中的所有对象呈现由 [SAM](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fsegment-anything\u002Ftree\u002Fmain) 创建的掩码。快来试试吧[这里](http:\u002F\u002Fimagebind-llm.opengvlab.com)! 🚀\n\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAlpha-VLLM_LLaMA2-Accessory_readme_6d54c2673987.png\" width=\"90%\" \u002F>\n\n## 核心贡献者\n\n[Chris Liu](https:\u002F\u002Fgithub.com\u002FChrisLiu6)、[Ziyi Lin](https:\u002F\u002Fgithub.com\u002Flinziyi96)、[Guian Fang](https:\u002F\u002Fgithub.com\u002FEnderfga)、[Jiaming Han](https:\u002F\u002Fgithub.com\u002Fcsuhan)、[Yijiang Liu](https:\u002F\u002Fgithub.com\u002Fkriskrisliu)、[Renrui Zhang](https:\u002F\u002Fgithub.com\u002FZrrSkywalker)、[Longtian Qiu](https:\u002F\u002Fgithub.com\u002FArtanic30)、[Yichi Zhang](https:\u002F\u002Fgithub.com\u002Fvoid721)、[Siyuan Huang](https:\u002F\u002Fgithub.com\u002FSiyuanHuang95)\n\n## 项目负责人\n\n[Peng Gao](https:\u002F\u002Fgithub.com\u002Fgaopengpjlab)、[Wenqi Shao](https:\u002F\u002Fgithub.com\u002Fwqshao126)、[Shanghang Zhang](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=voqw10cAAAAJ&hl=en)\n\n## 招聘公告\n\n🔥 **我们正在招聘**实习生、博士后及全职研究员，加入**上海人工智能实验室通用视觉组**，专注于多模态与视觉基础模型研究。如有兴趣，请联系 [gaopengcuhk@gmail.com](mailto:gaopengcuhk@gmail.com)。\n\n## 引用\n如果您觉得我们的代码和论文有用，请引用：\n```bash\n@article{zhang2023llamaadapter,\n  title = {LLaMA-Adapter：零初始化注意力机制下语言模型的高效微调},\n  author={Zhang, Renrui and Han, Jiaming and Liu, Chris and Gao, Peng and Zhou, Aojun and Hu, Xiangfei and Yan, Shilin and Lu, Pan and Li, Hongsheng and Qiao, Yu},\n  journal={arXiv预印本 arXiv:2303.16199},\n  year={2023}\n}\n```\n```bash\n@article{gao2023llamaadapterv2,\n  title = {LLaMA-Adapter V2：参数高效的视觉指令模型},\n  author={Gao, Peng and Han, Jiaming and Zhang, Renrui and Lin, Ziyi and Geng, Shijie and Zhou, Aojun and Zhang, Wei and Lu, Pan and He, Conghui and Yue, Xiangyu and Li, Hongsheng and Qiao, Yu},\n  journal={arXiv预印本 arXiv:2304.15010},\n  year={2023}\n}\n```\n\n## 致谢\n+ 感谢 [@facebookresearch](https:\u002F\u002Fgithub.com\u002Ffacebookresearch) 提供的 [llama](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fllama)\n+ 感谢 [@OpenGVLab](https:\u002F\u002Fgithub.com\u002FOpenGVLab) 提供的 [LLaMA-Adapter](https:\u002F\u002Fgithub.com\u002FOpenGVLab\u002FLLaMA-Adapter)\n\u003Cdetails>\u003Csummary>显示更多\u003C\u002Fsummary>\n\n+ 感谢 [@facebookresearch](https:\u002F\u002Fgithub.com\u002Ffacebookresearch) 提供的 [ImageBind](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FImageBind)、[LIMA](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002F64bits\u002Flima_vicuna_format) 以及 [CodeLlama](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fcodellama)\n+ 感谢 [@Instruction-Tuning-with-GPT-4](https:\u002F\u002Fgithub.com\u002FInstruction-Tuning-with-GPT-4) 提供的 [GPT-4-LLM](https:\u002F\u002Fgithub.com\u002FInstruction-Tuning-with-GPT-4\u002FGPT-4-LLM)\n+ 感谢 [@tatsu-lab](https:\u002F\u002Fgithub.com\u002Ftatsu-lab) 提供的 [stanford_alpaca](https:\u002F\u002Fgithub.com\u002Ftatsu-lab\u002Fstanford_alpaca)\n+ 感谢 [@tloen](https:\u002F\u002Fgithub.com\u002Ftloen) 提供的 [alpaca-lora](https:\u002F\u002Fgithub.com\u002Ftloen\u002Falpaca-lora)\n+ 感谢 [@lm-sys](https:\u002F\u002Fgithub.com\u002Flm-sys) 提供的 [FastChat](https:\u002F\u002Fgithub.com\u002Flm-sys\u002FFastChat)\n+ 感谢 [@domeccleston](https:\u002F\u002Fgithub.com\u002Fdomeccleston) 提供的 [sharegpt](https:\u002F\u002Fgithub.com\u002Fdomeccleston\u002Fsharegpt)\n+ 感谢 [@karpathy](https:\u002F\u002Fgithub.com\u002Fkarpathy) 提供的 [nanoGPT](https:\u002F\u002Fgithub.com\u002Fkarpathy\u002FnanoGPT)\n+ 感谢 [@Dao-AILab](https:\u002F\u002Fgithub.com\u002FDao-AILab) 提供的 [flash-attention](https:\u002F\u002Fgithub.com\u002FDao-AILab\u002Fflash-attention)\n+ 感谢 [@NVIDIA](https:\u002F\u002Fgithub.com\u002FNVIDIA) 提供的 [apex](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fapex) 以及 [Megatron-LM](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FMegatron-LM)\n+ 感谢 [@Vision-CAIR](https:\u002F\u002Fgithub.com\u002FVision-CAIR) 提供的 [MiniGPT-4](https:\u002F\u002Fgithub.com\u002FVision-CAIR\u002FMiniGPT-4)\n+ 感谢 [@haotian-liu](https:\u002F\u002Fgithub.com\u002Fhaotian-liu) 提供的 [LLaVA](https:\u002F\u002Fgithub.com\u002Fhaotian-liu\u002FLLaVA)\n+ 感谢 [@huggingface](https:\u002F\u002Fgithub.com\u002Fhuggingface) 提供的 [peft](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fpeft) 以及 [OBELISC](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002FOBELISC)\n+ 感谢 [@Lightning-AI](https:\u002F\u002Fgithub.com\u002FLightning-AI) 提供的 [lit-gpt](https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flit-gpt) 以及 [lit-llama](https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flit-llama)\n+ 感谢 [@allenai](https:\u002F\u002Fgithub.com\u002Fallenai) 提供的 [mmc4](https:\u002F\u002Fgithub.com\u002Fallenai\u002Fmmc4)\n+ 感谢 [@StevenGrove](https:\u002F\u002Fgithub.com\u002FStevenGrove) 提供的 [GPT4Tools](https:\u002F\u002Fgithub.com\u002FStevenGrove\u002FGPT4Tools)\n+ 感谢 [@ShishirPatil](https:\u002F\u002Fgithub.com\u002FShishirPatil) 提供的 [gorilla](https:\u002F\u002Fgithub.com\u002FShishirPatil\u002Fgorilla)\n+ 感谢 [@OpenLMLab](https:\u002F\u002Fgithub.com\u002FOpenLMLab) 提供的 [MOSS](https:\u002F\u002Fgithub.com\u002FOpenLMLab\u002FMOSS)\n+ 感谢 [@thunlp](https:\u002F\u002Fgithub.com\u002Fthunlp) 提供的 [UltraChat](https:\u002F\u002Fgithub.com\u002Fthunlp\u002FUltraChat)\n+ 感谢 [@LAION-AI](https:\u002F\u002Fgithub.com\u002FLAION-AI) 提供的 [LAION-5B](https:\u002F\u002Flaion.ai\u002Fblog\u002Flaion-5b\u002F)\n+ 感谢 [@shikras](https:\u002F\u002Fgithub.com\u002Fshikras) 提供的 [shikra](https:\u002F\u002Fgithub.com\u002Fshikras\u002Fshikra)\n+ 感谢 [@kakaobrain](https:\u002F\u002Fgithub.com\u002Fkakaobrain) 提供的 [coyo-dataset](https:\u002F\u002Fgithub.com\u002Fkakaobrain\u002Fcoyo-dataset)\n+ 感谢 [@salesforce](https:\u002F\u002Fgithub.com\u002Fsalesforce) 提供的 [LAVIS](https:\u002F\u002Fgithub.com\u002Fsalesforce\u002FLAVIS)\n+ 感谢 [@openai](https:\u002F\u002Fgithub.com\u002Fopenai) 提供的 [CLIP](https:\u002F\u002Fgithub.com\u002Fopenai\u002FCLIP)\n+ 感谢 [@bigcode-project](https:\u002F\u002Fgithub.com\u002Fbigcode-project) 提供的 [starcoder](https:\u002F\u002Fgithub.com\u002Fbigcode-project\u002Fstarcoder)\n+ 感谢 [@tiiuae](https:\u002F\u002Fhuggingface.co\u002Ftiiuae) 提供的 [falcon-refinedweb](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Ftiiuae\u002Ffalcon-refinedweb)\n+ 感谢 [@microsoft](https:\u002F\u002Fgithub.com\u002Fmicrosoft) 提供的 [DeepSpeed](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FDeepSpeed)\n+ 感谢 [@declare-lab](https:\u002F\u002Fgithub.com\u002Fdeclare-lab) 提供的 [flacuna](https:\u002F\u002Fgithub.com\u002Fdeclare-lab\u002Fflacuna)\n+ 感谢 [@nlpxucan](https:\u002F\u002Fgithub.com\u002Fnlpxucan) 提供的 [WizardLM](https:\u002F\u002Fgithub.com\u002Fnlpxucan\u002FWizardLM)\n+ 感谢 [@arielnlee](https:\u002F\u002Fgithub.com\u002Farielnlee) 提供的 [Platypus](https:\u002F\u002Fgithub.com\u002Farielnlee\u002FPlatypus)\n+ 感谢 [@InternLM](https:\u002F\u002Fgithub.com\u002FInternLM) 提供的 [InternLM](https:\u002F\u002Fgithub.com\u002FInternLM\u002FInternLM)\n+ 感谢 [@Google](https:\u002F\u002Fgithub.com\u002Fgoogle) 提供的 [Bard](https:\u002F\u002Fbard.google.com\u002F)\n\u003C\u002Fdetails>\n\n## 许可协议\n\nLlama 2 根据 [LLAMA 2 社区许可证](LICENSE_llama2) 授权，版权归 Meta Platforms, Inc. 所有。一切权利均保留。","# LLaMA2-Accessory 快速上手指南\n\n## 环境准备\n- **系统**：Linux（Ubuntu 20.04+ 推荐）\n- **GPU**：NVIDIA，显存 ≥ 24 GB（A100\u002FV100 均可）\n- **CUDA**：11.7 及以上\n- **Python**：3.9+\n- **PyTorch**：2.0+（需与 CUDA 版本匹配）\n\n## 安装步骤\n1. 克隆仓库  \n   ```bash\n   git clone https:\u002F\u002Fgithub.com\u002FAlpha-VLLM\u002FLLaMA2-Accessory.git\n   cd LLaMA2-Accessory\n   ```\n\n2. 创建并激活虚拟环境  \n   ```bash\n   conda create -n llama2-acc python=3.9 -y\n   conda activate llama2-acc\n   ```\n\n3. 安装依赖（国内可换清华源加速）  \n   ```bash\n   pip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n   ```\n\n4. 安装 Flash-Attention（可选，加速推理）  \n   ```bash\n   pip install flash-attn --no-build-isolation\n   ```\n\n## 基本使用\n### 1. 下载模型权重\n```bash\n# 以 SPHINX-7B 为例\nhuggingface-cli download Alpha-VLLM\u002FSPHINX --local-dir .\u002Fpretrained\u002FSPHINX-7B\n```\n\n### 2. 单卡推理示例\n```bash\npython demos\u002Fsingle_turn_mm.py \\\n  --model_path .\u002Fpretrained\u002FSPHINX-7B \\\n  --image_path .\u002Fdocs\u002Fexamples\u002Fdemo.jpg \\\n  --prompt \"描述这张图片\"\n```\n\n### 3. 微调（LoRA 方式）\n```bash\npython finetune\u002Fmm\u002Falpaca_llava.py \\\n  --model_path .\u002Fpretrained\u002FSPHINX-7B \\\n  --data_path .\u002Fdata\u002Falpaca_llava.json \\\n  --output_dir .\u002Fcheckpoints\u002Fmy_sphinx_lora \\\n  --batch_size 4 \\\n  --num_epochs 3\n```\n\n### 4. 启动 Web Demo\n```bash\npython demos\u002Fweb_demo.py --model_path .\u002Fpretrained\u002FSPHINX-7B --port 7860\n```\n浏览器访问 `http:\u002F\u002Flocalhost:7860` 即可体验多轮对话。","一家 12 人的初创公司正在做“AI 导游”App，需要让大模型看懂用户拍的景点照片，并用中文语音讲解历史故事，同时能在 7 天内完成 Demo 上线。\n\n### 没有 LLaMA2-Accessory 时\n- 视觉-语言底座得自己训：从 CLIP 到 Vicuna 再到 LoRA，光配环境就花了 2 天，显存 80 GB 直接爆掉  \n- 中文知识匮乏：通用开源模型把“拙政园”讲成“动物园”，连夜爬 20 万条点评数据做继续预训练，GPU 排队 3 天  \n- 语音链路割裂：TTS 用一家、ASR 用另一家，接口调来调去，延迟 2.8 s，用户体验像对讲机  \n- 部署踩坑：量化脚本不兼容，A100 上跑得好好的，一到 T4 就 OOM，Demo 上线前夜还在修 bug  \n\n### 使用 LLaMA2-Accessory 后\n- 一条命令拉起 SPHINX-MoE：现成的多模态权重直接读图+中文，显存降到 48 GB，2 小时完成环境验证  \n- 自带中文继续预训练脚本：把 20 万条点评按 JSONL 格式扔进去，8 张 A100 一晚搞定，BLEU 提升 11 个点  \n- 统一 pipeline：内置语音 tokenizer，TTS\u002FASR 与 LLM 同进程，端到端延迟压到 600 ms，讲解自然连贯  \n- 一键 4-bit OmniQuant：模型从 26 GB 压到 7 GB，T4 也能 20 token\u002Fs 流畅跑，Demo 准时上线，投资人现场体验点赞  \n\nLLaMA2-Accessory 把原本需要 3 周的多模态中文落地流程压缩到 7 天，让 12 人小团队也能做出 GPT-4V 级体验。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAlpha-VLLM_LLaMA2-Accessory_6d54c267.png","Alpha-VLLM","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FAlpha-VLLM_c381d705.png","A branch of OpenGVLab at Shanghai AI Lab",null,"https:\u002F\u002Fgithub.com\u002FAlpha-VLLM",[81,85],{"name":82,"color":83,"percentage":84},"Python","#3572A5",95.9,{"name":86,"color":87,"percentage":88},"Shell","#89e051",4.1,2804,176,"2026-04-04T20:08:07","NOASSERTION",4,"Linux","需要 NVIDIA GPU，显存 ≥8 GB（推荐 24 GB），CUDA 11.7+，支持 Flash-Attention 2","最低 32 GB，推荐 64 GB+",{"notes":98,"python":99,"dependencies":100},"需安装 NVIDIA Apex 与 Flash-Attention；建议使用 conda 或 Docker；首次运行需下载数 GB 至数十 GB 不等的预训练权重","3.8+",[101,102,103,104,105,106,107,108,109],"torch>=2.0","transformers>=4.30","accelerate","flash-attn","datasets","tokenizers","numpy","Pillow","tqdm",[26,14,13,54],"2026-03-27T02:49:30.150509","2026-04-06T06:44:42.511805",[114,119,124,129,134,139],{"id":115,"question_zh":116,"answer_zh":117,"source_url":118},6024,"运行 Mixtral-8x7B 时出现 NCCL 超时\u002F集体通信超时怎么办？","该报错通常由网络或 NCCL 配置导致。可尝试：\n1. 增大 NCCL 超时时间：export NCCL_TIMEOUT=3600（秒）。\n2. 检查所有节点网络互通、IB\u002FRoCE 正常。\n3. 降级或升级 NCCL 版本，确保与 PyTorch 匹配。\n4. 若仅做推理，可减少并行度或改用单卡\u002F单节点测试。","https:\u002F\u002Fgithub.com\u002FAlpha-VLLM\u002FLLaMA2-Accessory\u002Fissues\u002F147",{"id":120,"question_zh":121,"answer_zh":122,"source_url":123},6025,"如何把权重转换成 consolidated（合并）格式以支持多 GPU？","官方脚本已支持转换：\n```bash\npython tools\u002Fconvert_weights.py --input \u002Fpath\u002Fto\u002Fmeta_ori --output \u002Fpath\u002Fto\u002Fconsolidated --target consolidated\n```\n转换后即可在 `load_pretrained` 中直接指定 `pretrained_type=consolidated` 并配合多卡推理。","https:\u002F\u002Fgithub.com\u002FAlpha-VLLM\u002FLLaMA2-Accessory\u002Fissues\u002F23",{"id":125,"question_zh":126,"answer_zh":127,"source_url":128},6026,"内存不足，能否提供 7B 多模态（LLaVA）Checkpoint？","已提供！请直接在 Hugging Face 或项目 release 页面下载：\n- alpacaLlava_llamaQformerv2_7b\n- alpacaLlava_llamaQformerv2Peft_7b\n下载后将 `pretrained_path` 指向对应目录即可。","https:\u002F\u002Fgithub.com\u002FAlpha-VLLM\u002FLLaMA2-Accessory\u002Fissues\u002F37",{"id":130,"question_zh":131,"answer_zh":132,"source_url":133},6027,"单卡微调保存模型时报错：NotImplementedError: offload_to_cpu=True and NO_SHARD is not supported yet","单 GPU 时 FSDP 不支持 `offload_to_cpu=True`。修改文件：\n`accessory\u002Futil\u002Fmisc.py` 第 348 行，将\n```python\nrank0_only=True, offload_to_cpu=True\n```\n改为\n```python\nrank0_only=False, offload_to_cpu=False\n```\n保存即可正常。","https:\u002F\u002Fgithub.com\u002FAlpha-VLLM\u002FLLaMA2-Accessory\u002Fissues\u002F76",{"id":135,"question_zh":136,"answer_zh":137,"source_url":138},6028,"显存不足，能否直接微调已量化（GPTQ\u002FQLoRA）的模型？","可以。步骤：\n1. 先在 CPU 上调用 `quantize()` 量化原始模型。\n2. 用 `model.cuda()` 或 `model.to(device)` 把量化后模型放到 GPU。\n3. 设置 `model_parallel=1` 即可单卡微调 70B 量化模型，显存占用约 30 GB（4-bit）。\n注意：不要尝试在 GPU 上直接量化大模型，否则显存会爆。","https:\u002F\u002Fgithub.com\u002FAlpha-VLLM\u002FLLaMA2-Accessory\u002Fissues\u002F67",{"id":140,"question_zh":141,"answer_zh":142,"source_url":143},6029,"用 2×A30(24 GB) 跑 Sphinx 推理仍显存不足怎么办？","A30 单卡 24 GB 不足以跑 13B 模型并行=2。可尝试：\n1. 降低 `max_seq_len` 或 `batch_size`。\n2. 使用 8-bit\u002F4-bit 量化：\n   ```bash\n   python inference.py --quantization 8bit --model_parallel_size 2\n   ```\n3. 换更小模型（7B）或更多 GPU。","https:\u002F\u002Fgithub.com\u002FAlpha-VLLM\u002FLLaMA2-Accessory\u002Fissues\u002F110",[]]