[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-Alpha-VLLM--Lumina-mGPT":3,"tool-Alpha-VLLM--Lumina-mGPT":61},[4,18,28,37,45,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":24,"last_commit_at":25,"category_tags":26,"status":17},9989,"n8n","n8n-io\u002Fn8n","n8n 是一款面向技术团队的公平代码（fair-code）工作流自动化平台，旨在让用户在享受低代码快速构建便利的同时，保留编写自定义代码的灵活性。它主要解决了传统自动化工具要么过于封闭难以扩展、要么完全依赖手写代码效率低下的痛点，帮助用户轻松连接 400 多种应用与服务，实现复杂业务流程的自动化。\n\nn8n 特别适合开发者、工程师以及具备一定技术背景的业务人员使用。其核心亮点在于“按需编码”：既可以通过直观的可视化界面拖拽节点搭建流程，也能随时插入 JavaScript 或 Python 代码、调用 npm 包来处理复杂逻辑。此外，n8n 原生集成了基于 LangChain 的 AI 能力，支持用户利用自有数据和模型构建智能体工作流。在部署方面，n8n 提供极高的自由度，支持完全自托管以保障数据隐私和控制权，也提供云端服务选项。凭借活跃的社区生态和数百个现成模板，n8n 让构建强大且可控的自动化系统变得简单高效。",184740,2,"2026-04-19T23:22:26",[16,14,13,15,27],"插件",{"id":29,"name":30,"github_repo":31,"description_zh":32,"stars":33,"difficulty_score":10,"last_commit_at":34,"category_tags":35,"status":17},10095,"AutoGPT","Significant-Gravitas\u002FAutoGPT","AutoGPT 是一个旨在让每个人都能轻松使用和构建 AI 的强大平台，核心功能是帮助用户创建、部署和管理能够自动执行复杂任务的连续型 AI 智能体。它解决了传统 AI 应用中需要频繁人工干预、难以自动化长流程工作的痛点，让用户只需设定目标，AI 即可自主规划步骤、调用工具并持续运行直至完成任务。\n\n无论是开发者、研究人员，还是希望提升工作效率的普通用户，都能从 AutoGPT 中受益。开发者可利用其低代码界面快速定制专属智能体；研究人员能基于开源架构探索多智能体协作机制；而非技术背景用户也可直接选用预置的智能体模板，立即投入实际工作场景。\n\nAutoGPT 的技术亮点在于其模块化“积木式”工作流设计——用户通过连接功能块即可构建复杂逻辑，每个块负责单一动作，灵活且易于调试。同时，平台支持本地自托管与云端部署两种模式，兼顾数据隐私与使用便捷性。配合完善的文档和一键安装脚本，即使是初次接触的用户也能在几分钟内启动自己的第一个 AI 智能体。AutoGPT 正致力于降低 AI 应用门槛，让人人都能成为 AI 的创造者与受益者。",183572,"2026-04-20T04:47:55",[13,36,27,14,15],"语言模型",{"id":38,"name":39,"github_repo":40,"description_zh":41,"stars":42,"difficulty_score":10,"last_commit_at":43,"category_tags":44,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":46,"name":47,"github_repo":48,"description_zh":49,"stars":50,"difficulty_score":24,"last_commit_at":51,"category_tags":52,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",109154,"2026-04-18T11:18:24",[14,15,13],{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":24,"last_commit_at":59,"category_tags":60,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[27,13,15,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":72,"owner_avatar_url":73,"owner_bio":74,"owner_company":75,"owner_location":75,"owner_email":75,"owner_twitter":75,"owner_website":75,"owner_url":76,"languages":77,"stars":86,"forks":87,"last_commit_at":88,"license":89,"difficulty_score":90,"env_os":91,"env_gpu":92,"env_ram":93,"env_deps":94,"category_tags":102,"github_topics":75,"view_count":24,"oss_zip_url":75,"oss_zip_packed_at":75,"status":17,"created_at":104,"updated_at":105,"faqs":106,"releases":137},10045,"Alpha-VLLM\u002FLumina-mGPT","Lumina-mGPT","Official Implementation of \"Lumina-mGPT: Illuminate Flexible Photorealistic Text-to-Image Generation with Multimodal Generative Pretraining\"","Lumina-mGPT 是一个强大的多模态自回归模型家族，专为将文字描述转化为灵活且逼真的图像而设计。它不仅能完成高质量的“文生图”任务，还能胜任多种视觉与语言交互工作，有效解决了传统模型在生成图像时灵活性不足或难以兼顾多模态理解的痛点。\n\n该工具基于多模态生成式预训练技术构建，核心亮点在于其能够处理自由形式的输入，支持从纯文本生成图像到复杂的图文混合交互。通过引入先进的 VQ-VAE 解码器与大型语言模型的深度融合，Lumina-mGPT 在保持 photorealistic（照片级真实感）的同时，实现了对生成内容的高度可控性。\n\nLumina-mGPT 非常适合 AI 研究人员探索多模态前沿架构，也适合开发者将其集成到各类应用中。此外，提供的一系列 Gradio 演示界面让设计师和普通技术爱好者无需编写代码，即可直观体验其强大的生成能力。无论是需要定制化训练的研究团队，还是希望快速验证创意的应用开发者，都能从中获得高效的支持。目前，项目已开源训练代码与详细文档，欢迎社区共同参与探索与改进。","\u003Cdiv align=\"center\">\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAlpha-VLLM_Lumina-mGPT_readme_45adc19351b4.png\" width=\"30%\"\u002F>\n\n# Lumina-mGPT\n\n\u003Cb> A family of multimodal autoregressive models capable of various vision and language tasks, particularly excelling in generating flexible photorealistic images from text descriptions. 👋 join our \u003Ca href=\"http:\u002F\u002Fimagebind-llm.opengvlab.com\u002Fqrcode\u002F\" target=\"_blank\">WeChat\u003C\u002Fa> \u003C\u002Fb>\n\n[![Lumina-mGPT](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPaper-Lumina--mGPT-2b9348.svg?logo=arXiv)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2408.02657) \n\n[![Static Badge](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FOfficial(node1)-6B88E3?logo=youtubegaming&label=Demo%20Lumina-mGPT)](http:\u002F\u002F106.14.2.150:10020\u002F) \n[![Static Badge](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FOfficial(node2)-6B88E3?logo=youtubegaming&label=Demo%20Lumina-mGPT)](http:\u002F\u002F106.14.2.150:10021\u002F) \n\n\u003C\u002Fdiv>\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAlpha-VLLM_Lumina-mGPT_readme_0e7376b9a844.png\">\n\n## 📰 News\n\n- **[2024-08-11] 🎉🎉🎉 [Training codes and documents](.\u002Flumina_mgpt\u002FTRAIN.md) are released! 🎉🎉🎉**\n\n- **[2024-07-08] 🎉🎉🎉 Lumina-mGPT is released! 🎉🎉🎉**\n\n## ⚙️ Installation\n\nSee [INSTALL.md](.\u002FINSTALL.md) for detailed instructions.\n\nNote that the Lumina-mGPT implementation heavily relies on\nthe [xllmx](.\u002Fxllmx) module, which is evolved from [LLaMA2-Accessory](https:\u002F\u002Fgithub.com\u002FAlpha-VLLM\u002FLLaMA2-Accessory) for supporting\nLLM-centered multimodal tasks. Make sure it is installed correctly as a python package before going on.\n\n## ⛽ Training\nSee [lumina_mgpt\u002FTRAIN.md](lumina_mgpt\u002FTRAIN.md)\n\n## 📽️ Inference\n\n> [!Note]\n>\n> Before using the Lumina-mGPT model, run\n>\n> ```bash\n> # bash\n> cd lumina_mgpt\n> ```\n>\n> to enter the directory of the Lumina-mGPT implementation.\n\n### Perpetration\n\nSince currently the Chameleon implementation in transformers does not contain the VQ-VAE decoder, please manually download the original VQ-VAE weights [provided by Meta](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fchameleon) and\nput them to the following directory:\n\n```\nLumina-mGPT\n- lumina_mgpt\u002F\n    - ckpts\u002F\n        - chameleon\u002F\n            - tokenizer\u002F\n                - text_tokenizer.json\n                - vqgan.yaml\n                - vqgan.ckpt\n- xllmx\u002F\n- ...\n```\n\n### Local Gradio Demos\n\nWe have prepared three different Gradio demos, each showcasing unique functionalities, to help you quickly become familiar with the capabilities of the Lumina-mGPT models.\n\n#### 1. [demos\u002Fdemo_image_generation.py](.\u002FLumina-mGPT\u002Fdemos\u002Fdemo_image_generation.py)\n\nThis demo is customized for Image Generation tasks, where you can input a text description and generate a corresponding image.\nTo host this demo, run:\n\n```bash\n# Note to set the `--target_size` argument consistent with the checkpoint\npython -u demos\u002Fdemo_image_generation.py \\\n--pretrained_path Alpha-VLLM\u002FLumina-mGPT-7B-768 \\\n--target_size 768\n```\n\n#### 2. [demos\u002Fdemo_image2image.py](.\u002FLumina-mGPT\u002Fdemos\u002Fdemo_image2image.py)\n\nThis demo is designed for models trained with Omni-SFT. you can conveniently switch between the multiple downstream tasks using this demo.\n\n```bash\n# Note to set the `--target_size` argument consistent with the checkpoint\npython -u demos\u002Fdemo_image2image.py \\\n--pretrained_path Alpha-VLLM\u002FLumina-mGPT-7B-768-Omni \\\n--target_size 768\n```\n\n#### 3. [demos\u002Fdemo_freeform.py](.\u002FLumina-mGPT\u002Fdemos\u002Fdemo_freeform.py)\n\nThis is a powerful demo with minimal constraint on the input format. It supports flexible interation and is suitable for in-deep exploration.\n\n```bash\n# Note to set the `--target_size` argument consistent with the checkpoint\npython -u demos\u002Fdemo_freeform.py \\\n--pretrained_path Alpha-VLLM\u002FLumina-mGPT-7B-768-Omni \\\n--target_size 768\n```\n\n### Simple Inference\n\nThe simplest code for Lumina-mGPT inference:\n\n```python\nfrom inference_solver import FlexARInferenceSolver\nfrom PIL import Image\n\n# ******************** Image Generation ********************\ninference_solver = FlexARInferenceSolver(\n    model_path=\"Alpha-VLLM\u002FLumina-mGPT-7B-768\",\n    precision=\"bf16\",\n    target_size=768,\n)\n\nq1 = f\"Generate an image of 768x768 according to the following prompt:\\n\"\n     f\"Image of a dog playing water, and a waterfall is in the background.\"\n\n# generated: tuple of (generated response, list of generated images)\ngenerated = inference_solver.generate(\n    images=[],\n    qas=[[q1, None]],\n    max_gen_len=8192,\n    temperature=1.0,\n    logits_processor=inference_solver.create_logits_processor(cfg=4.0, image_top_k=2000),\n)\n\na1, new_image = generated[0], generated[1][0]\n\n\n# ******************* Image Understanding ******************\ninference_solver = FlexARInferenceSolver(\n    model_path=\"Alpha-VLLM\u002FLumina-mGPT-7B-512\",\n    precision=\"bf16\",\n    target_size=512,\n)\n\n# \"\u003C|image|>\" symbol will be replaced with sequence of image tokens before fed to LLM\nq1 = \"Describe the image in detail. \u003C|image|>\"\n\nimages = [Image.open(\"image.png\")]\nqas = [[q1, None]]\n\n# `len(images)` should be equal to the number of appearance of \"\u003C|image|>\" in qas\ngenerated = inference_solver.generate(\n    images=images,\n    qas=qas,\n    max_gen_len=8192,\n    temperature=1.0,\n    logits_processor=inference_solver.create_logits_processor(cfg=4.0, image_top_k=2000),\n)\n\na1 = generated[0]\n# generated[1], namely the list of newly generated images, should typically be empty in this case.\n\n\n# ********************* Omni-Potent *********************\ninference_solver = FlexARInferenceSolver(\n    model_path=\"Alpha-VLLM\u002FLumina-mGPT-7B-768-Omni\",\n    precision=\"bf16\",\n    target_size=768,\n)\n\n# Example: Depth Estimation\n# For more instructions, see demos\u002Fdemo_image2image.py\nq1 = \"Depth estimation. \u003C|image|>\"\nimages = [Image.open(\"image.png\")]\nqas = [[q1, None]]\n\ngenerated = inference_solver.generate(\n    images=images,\n    qas=qas,\n    max_gen_len=8192,\n    temperature=1.0,\n    logits_processor=inference_solver.create_logits_processor(cfg=1.0, image_top_k=200),\n)\n\na1 = generated[0]\nnew_image = generated[1][0]\n\n```\n\n## 🤗 Checkpoints\n\n**Configurations**\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAlpha-VLLM_Lumina-mGPT_readme_9a2fbb4e1a64.jpg\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAlpha-VLLM_Lumina-mGPT_readme_0231ef736220.jpg\">\n\n**7B models**\n\n| Model        | Size | Huggingface                                                                              |\n| ------------ | ---- | ---------------------------------------------------------------------------------------- |\n| FP-SFT@512   | 7B   | [Alpha-VLLM\u002FLumina-mGPT-7B-512](https:\u002F\u002Fhuggingface.co\u002FAlpha-VLLM\u002FLumina-mGPT-7B-512)       |\n| FP-SFT@768   | 7B   | [Alpha-VLLM\u002FLumina-mGPT-7B-768](https:\u002F\u002Fhuggingface.co\u002FAlpha-VLLM\u002FLumina-mGPT-7B-768)       |\n| Omni-SFT@768 | 7B   | [Alpha-VLLM\u002FLumina-mGPT-7B-768-Omni](https:\u002F\u002Fhuggingface.co\u002FAlpha-VLLM\u002FLumina-mGPT-7B-768-Omni) |\n| FP-SFT@1024  | 7B   | [Alpha-VLLM\u002FLumina-mGPT-7B-1024](https:\u002F\u002Fhuggingface.co\u002FAlpha-VLLM\u002FLumina-mGPT-7B-1024)     |\n\n**34B models**\n\n| Model      | Size | Huggingface                                                                          |\n| ---------- | ---- | ------------------------------------------------------------------------------------ |\n| FP-SFT@512 | 34B  | [Alpha-VLLM\u002FLumina-mGPT-34B-512](https:\u002F\u002Fhuggingface.co\u002FAlpha-VLLM\u002FLumina-mGPT-34B-512) |\n\nMore checkpoints coming soon.\n\n## 📑 Open-source Plan\n\n- [X] Inference code\n- [X] Training code\n\n## 🔥 Open positions\nWe are hiring interns, postdocs, and full-time researchers at the General Vision Group, Shanghai AI Lab, with a focus on multi-modality and vision foundation models. If you are interested, please contact gaopengcuhk@gmail.com.\n\n## 📄 Citation\n\n```\n@misc{liu2024lumina-mgpt,\n      title={Lumina-mGPT: Illuminate Flexible Photorealistic Text-to-Image Generation with Multimodal Generative Pretraining},\n      author={Dongyang Liu and Shitian Zhao and Le Zhuo and Weifeng Lin and Yu Qiao and Hongsheng Li and Peng Gao},\n      year={2024},\n      eprint={2408.02657},\n      archivePrefix={arXiv},\n      primaryClass={cs.CV},\n      url={https:\u002F\u002Farxiv.org\u002Fabs\u002F2408.02657},\n}\n```\n","\u003Cdiv align=\"center\">\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAlpha-VLLM_Lumina-mGPT_readme_45adc19351b4.png\" width=\"30%\"\u002F>\n\n# Lumina-mGPT\n\n\u003Cb> 一系列多模态自回归模型，能够处理多种视觉与语言任务，尤其擅长根据文本描述生成灵活逼真的照片级图像。👋 欢迎加入我们的 \u003Ca href=\"http:\u002F\u002Fimagebind-llm.opengvlab.com\u002Fqrcode\u002F\" target=\"_blank\">微信\u003C\u002Fa> 群 \u003C\u002Fb>\n\n[![Lumina-mGPT](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPaper-Lumina--mGPT-2b9348.svg?logo=arXiv)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2408.02657) \n\n[![静态徽章](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FOfficial(node1)-6B88E3?logo=youtubegaming&label=Demo%20Lumina-mGPT)](http:\u002F\u002F106.14.2.150:10020\u002F) \n[![静态徽章](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FOfficial(node2)-6B88E3?logo=youtubegaming&label=Demo%20Lumina-mGPT)](http:\u002F\u002F106.14.2.150:10021\u002F) \n\n\u003C\u002Fdiv>\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAlpha-VLLM_Lumina-mGPT_readme_0e7376b9a844.png\">\n\n## 📰 最新消息\n\n- **[2024-08-11] 🎉🎉🎉 [训练代码和文档](.\u002Flumina_mgpt\u002FTRAIN.md) 已发布！🎉🎉🎉**\n\n- **[2024-07-08] 🎉🎉🎉 Lumina-mGPT 正式发布！🎉🎉🎉**\n\n## ⚙️ 安装\n\n详细安装说明请参阅 [INSTALL.md](.\u002FINSTALL.md)。\n\n请注意，Lumina-mGPT 的实现高度依赖于 [xllmx](.\u002Fxllmx) 模块，该模块由 [LLaMA2-Accessory](https:\u002F\u002Fgithub.com\u002FAlpha-VLLM\u002FLLaMA2-Accessory) 发展而来，用于支持以 LLM 为中心的多模态任务。在继续之前，请确保已正确将其作为 Python 包安装。\n\n## ⛽ 训练\n详情请参阅 [lumina_mgpt\u002FTRAIN.md](lumina_mgpt\u002FTRAIN.md)。\n\n## 📽️ 推理\n\n> [!注意]\n>\n> 在使用 Lumina-mGPT 模型之前，请先运行：\n>\n> ```bash\n> # bash\n> cd lumina_mgpt\n> ```\n>\n> 进入 Lumina-mGPT 的实现目录。\n\n### 准备工作\n\n由于当前 transformers 中的 Chameleon 实现不包含 VQ-VAE 解码器，因此请手动下载 Meta 提供的原始 VQ-VAE 权重，并将其放置到以下目录中：\n\n```\nLumina-mGPT\n- lumina_mgpt\u002F\n    - ckpts\u002F\n        - chameleon\u002F\n            - tokenizer\u002F\n                - text_tokenizer.json\n                - vqgan.yaml\n                - vqgan.ckpt\n- xllmx\u002F\n- ...\n```\n\n### 本地 Gradio 演示\n\n我们准备了三个不同的 Gradio 演示，每个演示都展示了独特的功能，帮助您快速熟悉 Lumina-mGPT 模型的能力。\n\n#### 1. [demos\u002Fdemo_image_generation.py](.\u002FLumina-mGPT\u002Fdemos\u002Fdemo_image_generation.py)\n\n此演示专为图像生成任务设计，您可以输入一段文本描述并生成相应的图像。要运行此演示，请执行以下命令：\n\n```bash\n# 注意将 `--target_size` 参数设置为与检查点一致的值\npython -u demos\u002Fdemo_image_generation.py \\\n--pretrained_path Alpha-VLLM\u002FLumina-mGPT-7B-768 \\\n--target_size 768\n```\n\n#### 2. [demos\u002Fdemo_image2image.py](.\u002FLumina-mGPT\u002Fdemos\u002Fdemo_image2image.py)\n\n此演示专为经过 Omni-SFT 训练的模型设计，您可以使用此演示方便地切换多个下游任务。\n\n```bash\n# 注意将 `--target_size` 参数设置为与检查点一致的值\npython -u demos\u002Fdemo_image2image.py \\\n--pretrained_path Alpha-VLLM\u002FLumina-mGPT-7B-768-Omni \\\n--target_size 768\n```\n\n#### 3. [demos\u002Fdemo_freeform.py](.\u002FLumina-mGPT\u002Fdemos\u002Fdemo_freeform.py)\n\n这是一个功能强大的演示，对输入格式几乎没有限制。它支持灵活的交互，非常适合深入探索。\n\n```bash\n# 注意将 `--target_size` 参数设置为与检查点一致的值\npython -u demos\u002Fdemo_freeform.py \\\n--pretrained_path Alpha-VLLM\u002FLumina-mGPT-7B-768-Omni \\\n--target_size 768\n```\n\n### 简单推理\n\nLumina-mGPT 推理的最简单代码如下：\n\n```python\nfrom inference_solver import FlexARInferenceSolver\nfrom PIL import Image\n\n# ******************** 图像生成 ********************\ninference_solver = FlexARInferenceSolver(\n    model_path=\"Alpha-VLLM\u002FLumina-mGPT-7B-768\",\n    precision=\"bf16\",\n    target_size=768,\n)\n\nq1 = f\"根据以下提示生成一张 768x768 的图像：\\n\"\n     f\"一只狗在水中玩耍，背景是一座瀑布。\"\n\n# generated: 元组，包含生成的响应和生成的图像列表\ngenerated = inference_solver.generate(\n    images=[],\n    qas=[[q1, None]],\n    max_gen_len=8192,\n    temperature=1.0,\n    logits_processor=inference_solver.create_logits_processor(cfg=4.0, image_top_k=2000),\n)\n\na1, new_image = generated[0], generated[1][0]\n\n\n# ******************* 图像理解 ******************\ninference_solver = FlexARInferenceSolver(\n    model_path=\"Alpha-VLLM\u002FLumina-mGPT-7B-512\",\n    precision=\"bf16\",\n    target_size=512,\n)\n\n# “\u003C|image|>” 符号将在输入 LLM 之前被图像标记序列替换\nq1 = \"请详细描述这张图片。\u003C|image|>\"\n\nimages = [Image.open(\"image.png\")]\nqas = [[q1, None]]\n\n# `len(images)` 应当等于 qas 中“\u003C|image|>”出现的次数\ngenerated = inference_solver.generate(\n    images=images,\n    qas=qas,\n    max_gen_len=8192,\n    temperature=1.0,\n    logits_processor=inference_solver.create_logits_processor(cfg=4.0, image_top_k=2000),\n)\n\na1 = generated[0]\n# generated[1]，即新生成的图像列表，在这种情况下通常为空。\n\n\n# ********************* 多功能 *********************\ninference_solver = FlexARInferenceSolver(\n    model_path=\"Alpha-VLLM\u002FLumina-mGPT-7B-768-Omni\",\n    precision=\"bf16\",\n    target_size=768,\n)\n\n# 示例：深度估计\n# 更多说明请参阅 demos\u002Fdemo_image2image.py\nq1 = \"深度估计。\u003C|image|>\"\nimages = [Image.open(\"image.png\")]\nqas = [[q1, None]]\n\ngenerated = inference_solver.generate(\n    images=images,\n    qas=qas,\n    max_gen_len=8192,\n    temperature=1.0,\n    logits_processor=inference_solver.create_logits_processor(cfg=1.0, image_top_k=200),\n)\n\na1 = generated[0]\nnew_image = generated[1][0]\n\n```\n\n## 🤗 检查点\n\n**配置**\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAlpha-VLLM_Lumina-mGPT_readme_9a2fbb4e1a64.jpg\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAlpha-VLLM_Lumina-mGPT_readme_0231ef736220.jpg\">\n\n**7B 模型**\n\n| 模型        | 参数量 | Hugging Face                                                                      |\n| ------------ | ---- | ---------------------------------------------------------------------------------- |\n| FP-SFT@512   | 7B   | [Alpha-VLLM\u002FLumina-mGPT-7B-512](https:\u002F\u002Fhuggingface.co\u002FAlpha-VLLM\u002FLumina-mGPT-7B-512) |\n| FP-SFT@768   | 7B   | [Alpha-VLLM\u002FLumina-mGPT-7B-768](https:\u002F\u002Fhuggingface.co\u002FAlpha-VLLM\u002FLumina-mGPT-7B-768) |\n| Omni-SFT@768 | 7B   | [Alpha-VLLM\u002FLumina-mGPT-7B-768-Omni](https:\u002F\u002Fhuggingface.co\u002FAlpha-VLLM\u002FLumina-mGPT-7B-768-Omni) |\n| FP-SFT@1024  | 7B   | [Alpha-VLLM\u002FLumina-mGPT-7B-1024](https:\u002F\u002Fhuggingface.co\u002FAlpha-VLLM\u002FLumina-mGPT-7B-1024) |\n\n**34B 模型**\n\n| 模型      | 参数量 | Hugging Face                                                                  |\n| ---------- | ---- | ------------------------------------------------------------------------------ |\n| FP-SFT@512 | 34B  | [Alpha-VLLM\u002FLumina-mGPT-34B-512](https:\u002F\u002Fhuggingface.co\u002FAlpha-VLLM\u002FLumina-mGPT-34B-512) |\n\n更多检查点即将发布。\n\n## 📑 开源计划\n\n- [X] 推理代码\n- [X] 训练代码\n\n## 🔥 招聘信息\n上海人工智能实验室通用视觉组现面向多模态及视觉基础模型方向招聘实习生、博士后及全职研究员。如有意向，请联系 gaopengcuhk@gmail.com。\n\n## 📄 引用\n\n```\n@misc{liu2024lumina-mgpt,\n      title={Lumina-mGPT：通过多模态生成式预训练点亮灵活的逼真文生图},\n      author={Dongyang Liu 和 Shitian Zhao 和 Le Zhuo 和 Weifeng Lin 和 Yu Qiao 和 Hongsheng Li 和 Peng Gao},\n      year={2024},\n      eprint={2408.02657},\n      archivePrefix={arXiv},\n      primaryClass={cs.CV},\n      url={https:\u002F\u002Farxiv.org\u002Fabs\u002F2408.02657},\n}\n```","# Lumina-mGPT 快速上手指南\n\nLumina-mGPT 是一个多模态自回归模型家族，擅长处理各种视觉和语言任务，尤其在根据文本描述生成灵活的照片级真实图像方面表现卓越。\n\n## 1. 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**: Linux (推荐)\n*   **Python**: 3.8 或更高版本\n*   **GPU**: 支持 CUDA 的 NVIDIA GPU (建议显存 24GB+ 以运行 7B 模型，34B 模型需要更多显存或多卡并行)\n*   **前置依赖**:\n    *   本项目重度依赖 `xllmx` 模块（源自 LLaMA2-Accessory），用于支持以 LLM 为中心的多模态任务。\n    *   由于 Hugging Face `transformers` 中的 Chameleon 实现目前不包含 VQ-VAE 解码器，需手动下载权重。\n\n## 2. 安装步骤\n\n### 2.1 克隆代码库\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FAlpha-VLLM\u002FLumina-mGPT.git\ncd Lumina-mGPT\n```\n\n### 2.2 安装核心依赖\n请参照项目根目录下的 `INSTALL.md` 进行详细安装。通常需要安装 `xllmx` 作为 Python 包：\n\n```bash\n# 进入 xllmx 目录并安装 (具体步骤请参考 INSTALL.md)\ncd xllmx\npip install -e .\ncd ..\n```\n\n### 2.3 准备预训练权重 (关键步骤)\n在使用模型前，必须手动下载 Meta 提供的原始 VQ-VAE 权重，并放置在指定目录结构中。\n\n1.  从 [Meta Chameleon GitHub](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fchameleon) 下载权重。\n2.  将文件整理至以下目录结构：\n\n```text\nLumina-mGPT\n├── lumina_mgpt\u002F\n│   └── ckpts\u002F\n│       └── chameleon\u002F\n│           └── tokenizer\u002F\n│               ├── text_tokenizer.json\n│               ├── vqgan.yaml\n│               └── vqgan.ckpt\n├── xllmx\u002F\n└── ...\n```\n\n## 3. 基本使用\n\n### 3.1 进入工作目录\n在执行任何推理脚本前，请先切换到实现代码目录：\n```bash\ncd lumina_mgpt\n```\n\n### 3.2 最简单的代码推理示例\n以下是最小化的 Python 推理代码，展示了如何加载模型并生成图像。\n\n**功能：文生图 (Text-to-Image)**\n\n```python\nfrom inference_solver import FlexARInferenceSolver\nfrom PIL import Image\n\n# 初始化推理求解器\n# 模型路径可根据需求更换为 Alpha-VLLM\u002FLumina-mGPT-7B-512 或其他版本\ninference_solver = FlexARInferenceSolver(\n    model_path=\"Alpha-VLLM\u002FLumina-mGPT-7B-768\",\n    precision=\"bf16\",\n    target_size=768,\n)\n\n# 构造提示词\nq1 = (\n    \"Generate an image of 768x768 according to the following prompt:\\n\"\n    \"Image of a dog playing water, and a waterfall is in the background.\"\n)\n\n# 执行生成\n# generated 返回元组：(生成的文本响应, 生成的图像列表)\ngenerated = inference_solver.generate(\n    images=[],\n    qas=[[q1, None]],\n    max_gen_len=8192,\n    temperature=1.0,\n    logits_processor=inference_solver.create_logits_processor(cfg=4.0, image_top_k=2000),\n)\n\n# 获取结果\na1, new_image = generated[0], generated[1][0]\n# new_image 即为生成的 PIL Image 对象\n```\n\n### 3.3 启动本地 Gradio 演示\n如果您希望快速体验交互界面，可以运行官方提供的 Demo 脚本。\n\n**文生图演示:**\n```bash\npython -u demos\u002Fdemo_image_generation.py \\\n--pretrained_path Alpha-VLLM\u002FLumina-mGPT-7B-768 \\\n--target_size 768\n```\n\n**全能型演示 (支持图文理解、深度估计等多任务):**\n```bash\npython -u demos\u002Fdemo_freeform.py \\\n--pretrained_path Alpha-VLLM\u002FLumina-mGPT-7B-768-Omni \\\n--target_size 768\n```\n\n> **注意**: 请确保 `--target_size` 参数与您下载的模型检查点分辨率一致（如 512, 768, 1024）。\n\n## 4. 模型检查点\n\n您可以从 Hugging Face 下载不同规格的模型：\n\n| 模型名称 | 参数量 | 分辨率 | Hugging Face 地址 |\n| :--- | :--- | :--- | :--- |\n| Lumina-mGPT-7B-512 | 7B | 512 | [Alpha-VLLM\u002FLumina-mGPT-7B-512](https:\u002F\u002Fhuggingface.co\u002FAlpha-VLLM\u002FLumina-mGPT-7B-512) |\n| Lumina-mGPT-7B-768 | 7B | 768 | [Alpha-VLLM\u002FLumina-mGPT-7B-768](https:\u002F\u002Fhuggingface.co\u002FAlpha-VLLM\u002FLumina-mGPT-7B-768) |\n| Lumina-mGPT-7B-768-Omni | 7B | 768 | [Alpha-VLLM\u002FLumina-mGPT-7B-768-Omni](https:\u002F\u002Fhuggingface.co\u002FAlpha-VLLM\u002FLumina-mGPT-7B-768-Omni) |\n| Lumina-mGPT-34B-512 | 34B | 512 | [Alpha-VLLM\u002FLumina-mGPT-34B-512](https:\u002F\u002Fhuggingface.co\u002FAlpha-VLLM\u002FLumina-mGPT-34B-512) |\n\n*国内开发者若访问 Hugging Face 受阻，建议使用镜像站（如 `hf-mirror.com`）或配置代理下载。*","某独立游戏开发者正在为一款奇幻冒险游戏快速生成大量风格统一且细节丰富的场景概念图，以加速美术资产的原型设计。\n\n### 没有 Lumina-mGPT 时\n- **多工具切换繁琐**：需要分别在文本理解模型、图像生成模型和后处理软件间手动流转数据，工作流断裂且耗时。\n- **复杂指令执行差**：当提示词包含“夕阳下的赛博朋克集市，带有中文招牌和全息投影”等长难句时，传统模型常遗漏关键细节或产生逻辑冲突。\n- **分辨率与灵活性受限**：难以直接生成高分辨率（如 768x768 以上）的可用素材，且无法在同一框架下灵活切换文生图或图生图任务，需重新训练或调整参数。\n- **真实感不足**：生成的图像往往带有明显的\"AI 味”，光影和材质缺乏照片级的真实质感，后期修图成本极高。\n\n### 使用 Lumina-mGPT 后\n- **端到端多模态协同**：利用其多模态自回归架构，直接在单一模型内完成从语义理解到像素生成的全流程，大幅缩短迭代周期。\n- **精准长文本还原**：凭借强大的多模态预训练能力，能精准捕捉“中文招牌”、“全息投影”等复杂修饰语，确保生成图像与描述高度一致。\n- **灵活的高清输出**：原生支持 768x768 及更高分辨率的灵活生成，并通过 Omni-SFT 技术在一个界面无缝切换文生图、图生图等多种任务模式。\n- **照片级真实质感**：生成的图像在光照、纹理和构图上达到照片级真实度，几乎无需后期修饰即可直接用于游戏原型展示或宣传物料。\n\nLumina-mGPT 通过统一的多模态生成范式，将原本割裂的创意实现过程转化为流畅的自动化流水线，显著提升了视觉内容生产的效率与质量。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAlpha-VLLM_Lumina-mGPT_0e7376b9.png","Alpha-VLLM","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FAlpha-VLLM_c381d705.png","A branch of OpenGVLab at Shanghai AI Lab",null,"https:\u002F\u002Fgithub.com\u002FAlpha-VLLM",[78,82],{"name":79,"color":80,"percentage":81},"Python","#3572A5",99.8,{"name":83,"color":84,"percentage":85},"Shell","#89e051",0.2,645,30,"2026-04-13T05:24:46","Apache-2.0",4,"未说明","必需 NVIDIA GPU（隐含），需支持 bf16 精度；显存需求取决于模型大小：7B 模型建议 24GB+，34B 模型需更高显存","未说明（建议 32GB+ 以运行大模型）",{"notes":95,"python":91,"dependencies":96},"1. 核心依赖 xllmx 模块，需确保其作为 Python 包正确安装。\n2. 推理前需手动下载 Meta 提供的原始 VQ-VAE 权重（包括 vqgan.ckpt 等）并放置于指定目录，因为 transformers 中的 Chameleon 实现不包含该解码器。\n3. 运行演示或推理时，--target_size 参数必须与所选检查点（Checkpoint）的分辨率一致（如 512, 768, 1024）。\n4. 模型精度默认为 bf16，需硬件支持。\n5. 提供多种演示模式：文生图、图生图\u002F多任务切换、自由格式交互。",[97,98,99,100,101],"torch (支持 bf16)","transformers","xllmx (基于 LLaMA2-Accessory)","gradio","Pillow",[15,103],"其他","2026-03-27T02:49:30.150509","2026-04-20T16:46:48.892117",[107,112,117,122,127,132],{"id":108,"question_zh":109,"answer_zh":110,"source_url":111},45120,"训练脚本报错：AttributeError: 'ChameleonRMSNorm' object has no attribute 'reset_parameters'，如何解决？","这是 FSDP 初始化参数函数的问题。请修改 `xllmx\u002Fsolvers\u002Ffinetune\u002Ffinetune.py` 中的 `setup_fsdp_sync` 方法，根据当前 rank 设置 `param_init_fn`。具体代码如下：\n```python\ndef setup_fsdp_sync(self, model: nn.Module, data_parallel: str, precision: str, grad_precision: Optional[str]) -> FSDP:\n    if self.dp_rank == 0:\n        param_init_fn = None\n    else:\n        param_init_fn = lambda x: x.to_empty(device=torch.cuda.current_device(), recurse=False)\n\n    model = FSDP(\n        model,\n        auto_wrap_policy=functools.partial(\n            lambda_auto_wrap_policy,\n            lambda_fn=lambda m: m in model.get_fsdp_wrap_module_list(),\n        ),\n        process_group=fs_init.get_data_parallel_group(),\n        sharding_strategy={\n            \"fsdp\": ShardingStrategy.FULL_SHARD,\n            \"sdp\": ShardingStrategy.SHARD_GRAD_OP,\n        }[data_parallel],\n        # ... 其他参数保持不变\n    )\n    return model\n```","https:\u002F\u002Fgithub.com\u002FAlpha-VLLM\u002FLumina-mGPT\u002Fissues\u002F14",{"id":113,"question_zh":114,"answer_zh":115,"source_url":116},45121,"显存不足（如只有 48G），是否支持 LoRA 微调或如何降低显存占用？","目前发布的代码尚未直接支持 LoRA，但您可以自行实现。建议修改模型类中的 `get_trainable_params` 方法，以仅训练部分模型参数来实现类似效果。\n关于全量微调的显存需求：官方未测试最低显存下限，但已知 8 张 80G 的 A100 显卡足够运行。3 张 48G 的 A6000 可能不足以进行全量微调。","https:\u002F\u002Fgithub.com\u002FAlpha-VLLM\u002FLumina-mGPT\u002Fissues\u002F30",{"id":118,"question_zh":119,"answer_zh":120,"source_url":121},45122,"如何使用不同分辨率解码图像潜变量（image latents）？需要分割图像吗？","不需要分割图像或进行特殊操作。虽然 VAE 通常在固定分辨率下训练，但经验表明它们能够高质量地处理不同分辨率的图像。\n注意：Meta 官方发布的 Chameleon 代码限制了灵活分辨率解码，本项目已稍微修改了 VAE 实现代码以移除该限制。\n相关代码位置参考：`lumina_mgpt\u002Finference_solver.py` 第 371 行附近。","https:\u002F\u002Fgithub.com\u002FAlpha-VLLM\u002FLumina-mGPT\u002Fissues\u002F24",{"id":123,"question_zh":124,"answer_zh":125,"source_url":126},45123,"Hugging Face 上的 34B 模型链接显示 404 错误，无法下载怎么办？","该问题通常是由于模型上传过程中因网络问题导致失败或延迟。维护者确认模型会重新上传，通常在 24 小时内可用。如果遇到 404，请稍后再试或关注仓库的最新动态。","https:\u002F\u002Fgithub.com\u002FAlpha-VLLM\u002FLumina-mGPT\u002Fissues\u002F4",{"id":128,"question_zh":129,"answer_zh":130,"source_url":131},45124,"微信交流群的链接失效了，如何获取最新的入群方式？","微信群链接会定期更新。如果链接失效，请在 GitHub Issue 中留言提醒维护者（如 @zhaoshitian），他们会尽快更新 README 或置顶评论中的最新二维码\u002F链接。","https:\u002F\u002Fgithub.com\u002FAlpha-VLLM\u002FLumina-mGPT\u002Fissues\u002F12",{"id":133,"question_zh":134,"answer_zh":135,"source_url":136},45125,"如何在 Hugging Face 上 claim 论文并完善模型卡片（Model Card）？","您可以在 Hugging Face 的论文页面认领论文，这将显示在您的公共个人资料中。对于模型元数据，建议添加 `pipeline_tag: any-to-any` 标签。维护者通常会合并社区提交的 PR 来完善模型卡片和元数据，您也可以直接提交 PR 协助改进。","https:\u002F\u002Fgithub.com\u002FAlpha-VLLM\u002FLumina-mGPT\u002Fissues\u002F33",[]]