[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-FoundationVision--Liquid":3,"tool-FoundationVision--Liquid":64},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",138956,2,"2026-04-05T11:33:21",[13,15,26],"语言模型",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[13,14,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":23,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,26],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":23,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,51,52,53,15,54,26,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":10,"last_commit_at":62,"category_tags":63,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,26,54],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":75,"owner_avatar_url":76,"owner_bio":77,"owner_company":78,"owner_location":78,"owner_email":78,"owner_twitter":78,"owner_website":78,"owner_url":79,"languages":80,"stars":89,"forks":90,"last_commit_at":91,"license":92,"difficulty_score":10,"env_os":93,"env_gpu":94,"env_ram":95,"env_deps":96,"category_tags":103,"github_topics":104,"view_count":10,"oss_zip_url":78,"oss_zip_packed_at":78,"status":16,"created_at":114,"updated_at":115,"faqs":116,"releases":157},242,"FoundationVision\u002FLiquid","Liquid","(Accepted by IJCV) Liquid: Language Models are Scalable and Unified Multi-modal Generators","Liquid 是一个基于大语言模型的多模态生成框架，它能够同时理解图像和生成图像。与传统的多模态模型不同，Liquid 仅使用一个统一的语言模型就实现了视觉理解和生成两大功能，无需额外的专用组件。\n\n这个工具解决了多模态AI系统中常见的“割裂”问题——过去需要分别训练图像理解模型和图像生成模型，而 Liquid 将二者整合在一起，开发者只需调用一个模型就能完成图像问答、图像描述、文本生成图像等多种任务。\n\nLiquid 提供了从 0.5B 到 32B 不同规模的预训练模型，并开源了 7B 指令微调版本（Liquid-7B-IT）。对于普通用户，可以通过在线 Demo 或本地部署体验文字生成图像、图像问答等功能；对于开发者，Liquid 的代码结构简洁，基于 HuggingFace 格式，熟悉的深度学习工程师可以快速上手进行推理或微调；对于研究人员，它的统一架构设计也为多模态学习提供了新的研究思路。\n\n该论文已被国际计算机视觉期刊（IJCV）接收，技术可靠性有一定保障。","\u003Cdiv align=\"center\">\r\n\u003Ch1>Liquid: Language Models are Scalable and Unified \u003Cbr> Multi-modal Generators\u003C\u002Fh1>\r\n\r\n[**Junfeng Wu**](https:\u002F\u002Fwjf5203.github.io\u002F)\u003Csup>1,2\u003C\u002Fsup> · [**Yi Jiang**](https:\u002F\u002Fenjoyyi.github.io\u002F)\u003Csup>2†\u003C\u002Fsup> · [**Chuofan Ma**](https:\u002F\u002Fmachuofan.github.io\u002F)\u003Csup>2,3\u003C\u002Fsup>\r\n\u003Cbr>\r\n[**Yuliang Liu**](https:\u002F\u002Fopenreview.net\u002Fprofile?id=~Yuliang_Liu2)\u003Csup>1\u003C\u002Fsup> · [**Hengshuang Zhao**](https:\u002F\u002Fhszhao.github.io\u002F)\u003Csup>3\u003C\u002Fsup>\r\n\u003Cbr>\r\n[**Zehuan Yuan**](https:\u002F\u002Fshallowyuan.github.io\u002F)\u003Csup>2\u003C\u002Fsup> · [**Song Bai**](https:\u002F\u002Fsongbai.site\u002F)\u003Csup>2*\u003C\u002Fsup> · [**Xiang Bai**](http:\u002F\u002Fvlrlab.aia.hust.edu.cn\u002F)\u003Csup>1*\u003C\u002Fsup>\r\n\r\n\u003Csup>1\u003C\u002Fsup>HUST   \u003Csup>2\u003C\u002Fsup>ByteDance   \u003Csup>3\u003C\u002Fsup>HKU\r\n\u003Cbr>\r\n†project lead   *corresponding author\r\n\r\n\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2412.04332\">\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-Liquid-red' alt='Paper PDF'>\u003C\u002Fa>\r\n\u003Ca href=\"https:\u002F\u002Ffoundationvision.github.io\u002FLiquid\u002F\">\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject_Page-Liquid-green' alt='Project Page'>\u003C\u002Fa>\r\n\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002FJunfeng5\u002FLiquid_V1_7B\">\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Model-blue'>\u003C\u002Fa>\r\n\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FJunfeng5\u002FLiquid_demo\">\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Demo-red'>\u003C\u002Fa>\r\n\r\n\r\n\u003C\u002Fdiv>\r\n\r\n\u003Cfont size=\"4\">This repo implements Liquid, a scalable and unified autoregressive generation paradigm that seamlessly integrates multimodal comprehension and generation.\u003C\u002Ffont>\r\n\r\n![teaser](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FFoundationVision_Liquid_readme_3014108841fa.png)\r\n\r\n## 📰 News\r\n\r\n**2025-03-25:** Data processing and model pretraining scripts have been updated in [Data.md](.\u002FData.md) and [TRAIN.md](.\u002FTRAIN.md).\r\n\r\n**2025-03-04:** Text-to-image and visual understanding evaluation scripts for Liquid are released in [EVAL.md](evaluation\u002FEVAL.md).\r\n\r\n**2025-02-28:** Paper, demo, model, and [project page](https:\u002F\u002Ffoundationvision.github.io\u002FLiquid\u002F) for Liquid are all released.\r\n\r\n## 📑 Open-Source Plan\r\n- Liquid-7B-IT (Instruction Tuned Multimodal Model with Instruction Following Ability)\r\n  - [✅] Web Demo\r\n  - [✅] Evaluation \r\n  - [✅] Checkpoints\r\n  - [✅] Training Codes\r\n- Liquid-0.5B~32B-Pretrain (Multimodal extension models of six different scales ranging from 0.5B to 32B across three model families. )\r\n  - [ ] Checkpoints\r\n\r\n# 📽️Inference\r\n\r\nUsing Liquid for inference or evaluation doesn't require complex environment dependencies. Since it's essentially a HuggingFace format language model, you only need the `transformers` library and some basic components to run it. Refer to [EVAL.md](evaluation\u002FEVAL.md) for recommended versions.\r\n\r\n### Run the Gradio Demo locally\r\n\r\nIf deploying on a GPU with less than 30GB VRAM, you may need to enable `load_in_8bit` in `AutoModelForCausalLM.from_pretrained` in `app.py` for image generation to avoid out-of-memory errors.\r\n\r\n```bash\r\npip install gradio==4.44.1\r\npip install gradio_client==1.3.0\r\n\r\ncd evaluation\r\npython app.py\r\n```\r\n\r\n### Single inference\r\n\r\n```bash\r\n# Engage in pure language dialogue.\r\n\r\npython inference_t2t.py  --model_path Junfeng5\u002FLiquid_V1_7B  --prompt  \"Write me a poem about Machine Learning.\"\r\n\r\n\r\n# image understanding\r\npython inference_i2t.py --model_path Junfeng5\u002FLiquid_V1_7B  --image_path samples\u002Fbaklava.png   --prompt 'How to make this pastry?'\r\n\r\n\r\n# image generation, add --load_8bit for GPU with less than 30GB VRAM\r\npython inference_t2i.py   --model_path Junfeng5\u002FLiquid_V1_7B --prompt \"young blue dragon with horn lightning in the style of dd fantasy full body\"  \r\n```\r\n\r\n\r\n\r\n## ⚙️ Installation and Training\r\n\r\nSee [Data.md](.\u002FData.md) and [TRAIN.md](.\u002FTRAIN.md).\r\n\r\n\r\n\r\n\r\n## 📖 Introduction\r\n* We present Liquid, an auto-regressive generation paradigm that **seamlessly integrates visual comprehension and generation.**\r\n\r\n* Unlike previous multimodal large language model (MLLM), Liquid achieves this integration using a single large language model (LLM), eliminating the need for external pretrained visual embeddings such as CLIP. \r\n\r\n* For the first time, Liquid uncovers a **scaling law** that performance drop unavoidably brought by the unified training of visual and language tasks diminishes as the model size increases.\r\n\r\n* Furthermore, the unified token space enables visual generation and comprehension tasks to **mutually enhance each other**\r\n\r\n\r\n## 🔥 Multimodal Generation\r\n* \u003Cfont size=\"4\">Liquid : Scalable and Versatile Unified Multimodal Generator which supports Visual Understanding, Visual Generation and Multi-modal Generation\u003C\u002Ffont>\r\n\r\n![teaser](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FFoundationVision_Liquid_readme_f87d96bf44b9.png)\r\n\r\n\r\n* \u003Cfont size=\"4\">Liquid can generate high-quality, photorealistic images of any aspect ratio by language in an autoregressive paradigm.\u003C\u002Ffont>\r\n\r\n![teaser](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FFoundationVision_Liquid_readme_cd013615d851.jpg)\r\n\r\n## 🔥 Scaling Law for multimodal generation\r\n* \u003Cfont size=\"4\">Liquid shows clear Scaling Law in multimodal generation across different sizes(0.5B to 32B).\u003C\u002Ffont>\r\n\r\n![teaser](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FFoundationVision_Liquid_readme_84b21df19b0a.png)\r\n\r\n\r\n## License\r\nThis project is licensed under the MIT License - see the [LICENSE](LICENSE) file for details.\r\n\r\n## Citation\r\n\r\nIf you find this project useful, please consider citing:\r\n\r\n```bibtex\r\n@article{liquid,\r\n  title={Liquid: Language models are scalable and unified multi-modal generators},\r\n  author={Wu, Junfeng and Jiang, Yi and Ma, Chuofan and Liu, Yuliang and Zhao, Hengshuang and Yuan, Zehuan and Bai, Song and Bai, Xiang},\r\n  journal={International Journal of Computer Vision},\r\n  year={2025}\r\n}\r\n\r\n```\r\n\r\n","\u003Cdiv align=\"center\">\n\u003Ch1>Liquid：可扩展且统一的多模态生成器\u003C\u002Fh1>\n\n[**Junfeng Wu**](https:\u002F\u002Fwjf5203.github.io\u002F)\u003Csup>1,2\u003C\u002Fsup> · [**Yi Jiang**](https:\u002F\u002Fenjoyyi.github.io\u002F)\u003Csup>2†\u003C\u002Fsup> · [**Chuofan Ma**](https:\u002F\u002Fmachuofan.github.io\u002F)\u003Csup>2,3\u003C\u002Fsup>\n\u003Cbr>\n[**Yuliang Liu**](https:\u002F\u002Fopenreview.net\u002Fprofile?id=~Yuliang_Liu2)\u003Csup>1\u003C\u002Fsup> · [**Hengshuang Zhao**](https:\u002F\u002Fhszhao.github.io\u002F)\u003Csup>3\u003C\u002Fsup>\n\u003Cbr>\n[**Zehuan Yuan**](https:\u002F\u002Fshallowyuan.github.io\u002F)\u003Csup>2\u003C\u002Fsup> · [**Song Bai**](https:\u002F\u002Fsongbai.site\u002F)\u003Csup>2*\u003C\u002Fsup> · [**Xiang Bai**](http:\u002F\u002Fvlrlab.aia.hust.edu.cn\u002F)\u003Csup>1*\u003C\u002Fsup>\n\n\u003Csup>1\u003C\u002Fsup>华中科技大学   \u003Csup>2\u003C\u002Fsup>字节跳动   \u003Csup>3\u003C\u002Fsup>香港大学\n\u003Cbr>\n†项目负责人   *通讯作者\n\n\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2412.04332\">\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-Liquid-red' alt='Paper PDF'>\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Ffoundationvision.github.io\u002FLiquid\u002F\">\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject_Page-Liquid-green' alt='Project Page'>\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002FJunfeng5\u002FLiquid_V1_7B\">\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Model-blue'>\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FJunfeng5\u002FLiquid_demo\">\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Demo-red'>\u003C\u002Fa>\n\n\u003C\u002Fdiv>\n\n\u003Cfont size=\"4\">本仓库实现了 Liquid，这是一种可扩展且统一的自回归生成范式，能够无缝集成多模态理解和生成能力。\u003C\u002Ffont>\n\n![teaser](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FFoundationVision_Liquid_readme_3014108841fa.png)\n\n## 📰 新闻\n\n**2025-03-25:** 数据处理和模型预训练脚本已在 [Data.md](.\u002FData.md) 和 [TRAIN.md](.\u002FTRAIN.md) 中更新。\n\n**2025-03-04:** Liquid 的文生图和视觉理解评估脚本已在 [EVAL.md](evaluation\u002FEVAL.md) 中发布。\n\n**2025-02-28:** Liquid 的论文、演示、模型和[项目页面](https:\u002F\u002Ffoundationvision.github.io\u002FLiquid\u002F)均已发布。\n\n## 📑 开源计划\n- Liquid-7B-IT（具备指令跟随能力的指令微调多模态模型）\n  - [✅] 网页演示\n  - [✅] 评估\n  - [✅] 模型权重\n  - [✅] 训练代码\n- Liquid-0.5B~32B-预训练（跨越三个模型系列、从 0.5B 到 32B 六种不同规模的多模态扩展模型）\n  - [ ] 模型权重\n\n# 📽️ 推理\n\n使用 Liquid 进行推理或评估不需要复杂的环境依赖。由于它本质上是一个 HuggingFace 格式的语言模型，只需安装 `transformers` 库和一些基本组件即可运行。请参阅 [EVAL.md](evaluation\u002FEVAL.md) 了解推荐的版本。\n\n### 在本地运行 Gradio 演示\n\n如果部署在显存小于 30GB 的 GPU 上，为了避免内存溢出错误，可能需要在 `app.py` 的 `AutoModelForCausalLM.from_pretrained` 中启用 `load_in_8bit` 选项来进行图像生成。\n\n```bash\npip install gradio==4.44.1\npip install gradio_client==1.3.0\n\ncd evaluation\npython app.py\n```\n\n### 单次推理\n\n```bash\n# 进行纯语言对话。\n\npython inference_t2t.py  --model_path Junfeng5\u002FLiquid_V1_7B  --prompt  \"Write me a poem about Machine Learning.\"\n\n\n# 图像理解\npython inference_i2t.py --model_path Junfeng5\u002FLiquid_V1_7B  --image_path samples\u002Fbaklava.png   --prompt 'How to make this pastry?'\n\n\n# 图像生成，如果 GPU 显存小于 30GB，请添加 --load_8bit 参数\npython inference_t2i.py   --model_path Junfeng5\u002FLiquid_V1_7B --prompt \"young blue dragon with horn lightning in the style of dd fantasy full body\"  \n```\n\n## ⚙️ 安装和训练\n\n请参阅 [Data.md](.\u002FData.md) 和 [TRAIN.md](.\u002FTRAIN.md)。\n\n## 📖 简介\n* 我们提出了 Liquid，这是一种自回归生成范式，能够**无缝集成视觉理解和生成能力**。\n\n* 与以往的多模态大语言模型（Multimodal Large Language Model，MLLM）不同，Liquid 使用单一大型语言模型（Large Language Model，LLM）实现这一集成，无需使用外部预训练的视觉嵌入（如 CLIP）。\n\n* 首次发现，Liquid 揭示了一个**缩放定律**：视觉和语言任务统一训练带来的性能下降会随着模型规模的增大而减小。\n\n* 此外，统一的 token 空间使视觉生成和理解任务能够**相互促进**\n\n## 🔥 多模态生成\n* \u003Cfont size=\"4\">Liquid：可扩展且通用的统一多模态生成器，支持视觉理解、视觉生成和多模态生成\u003C\u002Ffont>\n\n![teaser](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FFoundationVision_Liquid_readme_f87d96bf44b9.png)\n\n* \u003Cfont size=\"4\">Liquid 能够在自回归范式下通过语言生成任意宽高比的高质量、逼真图像。\u003C\u002Ffont>\n\n![teaser](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FFoundationVision_Liquid_readme_cd013615d851.jpg)\n\n## 🔥 多模态生成的缩放定律\n* \u003Cfont size=\"4\">Liquid 在不同规模（0.5B 到 32B）的多模态生成中展现出明显的缩放定律。\u003C\u002Ffont>\n\n![teaser](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FFoundationVision_Liquid_readme_84b21df19b0a.png)\n\n## 许可证\n本项目基于 MIT 许可证授权——请参阅 [LICENSE](LICENSE) 文件了解详情。\n\n## 引用\n\n如果您觉得本项目有用，请考虑引用：\n\n```bibtex\n@article{liquid,\n  title={Liquid: Language models are scalable and unified multi-modal generators},\n  author={Wu, Junfeng and Jiang, Yi and Ma, Chuofan and Liu, Yuliang and Zhao, Hengshuang and Yuan, Zehuan and Bai, Song and Bai, Xiang},\n  journal={International Journal of Computer Vision},\n  year={2025}\n}\n\n```","# Liquid 快速上手指南\n\nLiquid 是一个统一的多模态生成模型，支持视觉理解、视觉生成和多模态生成任务。\n\n## 环境准备\n\n- Python 3.8+\n- PyTorch 2.0+\n- CUDA 11.0+（如需 GPU 推理）\n- 推荐 GPU 显存：30GB 及以上（低于 30GB 需启用 8-bit 量化）\n\n## 安装步骤\n\n### 1. 克隆仓库\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Ffoundationvision\u002FLiquid.git\ncd Liquid\n```\n\n### 2. 安装依赖\n\n```bash\npip install torch transformers\npip install gradio==4.44.1\npip install gradio_client==1.3.0\n```\n\n> 国内开发者可使用清华镜像源加速：\n> ```bash\n> pip install torch transformers -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n> ```\n\n## 基本使用\n\n### 1. 文本对话\n\n```bash\npython inference_t2t.py --model_path Junfeng5\u002FLiquid_V1_7B --prompt \"Write me a poem about Machine Learning.\"\n```\n\n### 2. 图像理解（图文问答）\n\n```bash\npython inference_i2t.py --model_path Junfeng5\u002FLiquid_V1_7B --image_path samples\u002Fbaklava.png --prompt \"How to make this pastry?\"\n```\n\n### 3. 图像生成（文生图）\n\n```bash\npython inference_t2i.py --model_path Junfeng5\u002FLiquid_V1_7B --prompt \"young blue dragon with horn lightning in the style of dd fantasy full body\"\n```\n\n> GPU 显存不足 30GB 时，添加 `--load_8bit` 参数启用量化：\n> ```bash\n> python inference_t2i.py --model_path Junfeng5\u002FLiquid_V1_7B --prompt \"your prompt\" --load_8bit\n> ```\n\n### 4. 本地运行 Gradio Demo\n\n```bash\ncd evaluation\npython app.py\n```\n\n## 注意事项\n\n- 模型会自动从 HuggingFace 下载，首次运行需确保网络畅通\n- 图像生成任务对显存要求较高，建议使用 30GB 以上显存的 GPU","游戏开发者小李正在独立制作一款角色扮演游戏，需要频繁生成游戏素材图并根据参考图调整设计。\n\n### 没有 Liquid 时\n\n- 小李需要同时部署 Stable Diffusion 生成图像，再用 BLIP 或其他视觉语言模型理解参考图，两套系统独立运行，部署和维护都很麻烦\n- 生成图片后，如果想基于某张参考图调整风格，需要手动描述提示词，很难准确提取参考图的核心特征\n- 当需要分析玩家反馈的截图来改进角色设计时，必须切换到专门的图像理解工具，流程割裂\n- 本地部署多个大模型对显存要求高，小李的 24GB 显卡经常需要来回切换模型，效率很低\n- 每次切换任务都要重新加载不同的模型权重，等待时间很长，严重影响创作连贯性\n\n### 使用 Liquid 后\n\n- Liquid 用单一 LLM 同时支持图像理解和生成，小李只需部署一个模型就能完成所有视觉任务\n- 直接把参考图发给 Liquid，用自然语言描述“保持这个角色的服装风格，但换成机械风格”，模型能准确理解图像并融合生成\n- 玩家发来反馈截图时，直接拖入对话窗口询问“这个角色设计哪里需要改进”，Liquid 同时理解图像和文字，回复精准\n- 7B 参数版本支持量化部署，单卡 24GB 显存就能流畅运行图像生成和理解，无需频繁换模型\n- 对话式交互让创作流程更连贯：小李可以边生成边调整，“再锐利一点”“眼睛改成红色”，像和设计师实时沟通一样\n\nLiquid 真正实现了“用一个模型处理所有视觉任务”，让独立创作者能以极低的门槛完成专业级的多模态内容创作。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FFoundationVision_Liquid_f87d96bf.png","FoundationVision","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FFoundationVision_08beeedc.jpg","Bytedance's opensource FoundationVision models",null,"https:\u002F\u002Fgithub.com\u002FFoundationVision",[81,85],{"name":82,"color":83,"percentage":84},"Python","#3572A5",97.6,{"name":86,"color":87,"percentage":88},"Shell","#89e051",2.4,644,35,"2026-03-28T06:55:40","MIT","Linux, macOS, Windows","需要 NVIDIA GPU，显存建议 30GB+，如小于 30GB 需启用 load_in_8bit 量化","未说明",{"notes":97,"python":95,"dependencies":98},"基于 HuggingFace 格式的因果语言模型，推理仅需 transformers 库和基础组件。模型需从 HuggingFace 下载（Liquid_V1_7B 等）。如显存不足 30GB，图像生成需启用 8bit 量化以避免 OOM。训练相关环境配置请参考 Data.md 和 TRAIN.md",[99,100,101,102],"transformers","gradio==4.44.1","gradio_client==1.3.0","torch",[26,54,14],[105,106,107,108,109,110,111,112,113],"generative","generative-ai","image-gen","llms","text-to-image","text-to-image-generation","autoregressive-models","large-language-models","multimodal-large-language-models","2026-03-27T02:49:30.150509","2026-04-06T05:15:56.953560",[117,122,127,132,137,142,147,152],{"id":118,"question_zh":119,"answer_zh":120,"source_url":121},740,"模型只生成 \u003Cboi> 特殊标记而不完成语言任务怎么办？","由于发布的 Junfeng5\u002FLiquid_V1_7B 是一个 SFT 模型（监督微调模型），在指令调优过程中使用了对话模板。因此，执行语言任务时需要添加对话模板。可以参考 Gradio demo 中的 app.py 或最近更新的单推理模板 inference_t2t.py。也可以直接使用 Hugging Face 上的 Gradio demo 进行语言对话。","https:\u002F\u002Fgithub.com\u002FFoundationVision\u002FLiquid\u002Fissues\u002F9",{"id":123,"question_zh":124,"answer_zh":125,"source_url":126},741,"VQVAE\u002FVQGAN 模型在哪里可以找到？","项目使用的是与 Chameleon 相同的 VQVAE，可以从 https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fchameleon 获取。","https:\u002F\u002Fgithub.com\u002FFoundationVision\u002FLiquid\u002Fissues\u002F13",{"id":128,"question_zh":129,"answer_zh":130,"source_url":131},742,"如何在数据处理中加载 VQGAN？","可以在 evaluation 文件中找到加载 VQGAN 和图像预处理的具体示例。","https:\u002F\u002Fgithub.com\u002FFoundationVision\u002FLiquid\u002Fissues\u002F18",{"id":133,"question_zh":134,"answer_zh":135,"source_url":136},743,"VQVAE 是否在训练过程中一起训练？","项目在训练过程中没有训练 VQVAE。实际上，在训练前就已经将图像通过 VQVAE 转换为离散码，因此 VQVAE 不参与训练过程。这使得可以方便地替换为最新的 VQVAE 并集成到框架中。","https:\u002F\u002Fgithub.com\u002FFoundationVision\u002FLiquid\u002Fissues\u002F7",{"id":138,"question_zh":139,"answer_zh":140,"source_url":141},744,"训练 Liquid 模型需要多少 GPU？","对于发布的 7B 模型（基于 Gemma），预训练阶段在 64 张 A100 GPU 上训练约 10 天，然后微调阶段在 16 张 A100 GPU 上训练 1 天。","https:\u002F\u002Fgithub.com\u002FFoundationVision\u002FLiquid\u002Fissues\u002F16",{"id":143,"question_zh":144,"answer_zh":145,"source_url":146},745,"如何将 Liquid 模型发布到 Hugging Face？","项目已经将模型发布到 https:\u002F\u002Fhuggingface.co\u002FJunfeng5\u002FLiquid_V1_7B，并提供了在线 demo：https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FJunfeng5\u002FLiquid_demo。如果模型与 Transformers 库兼容，可以在模型卡中添加 library_name 元数据，pipeline_tag 可以设置为 image-text-to-text 或 any-to-any。","https:\u002F\u002Fgithub.com\u002FFoundationVision\u002FLiquid\u002Fissues\u002F5",{"id":148,"question_zh":149,"answer_zh":150,"source_url":151},746,"如何解决 LLM 生成的图像 token 数量不准确的问题？","LLM 很难准确生成指定长度（如 1024）的 token，因此在视觉生成采样过程中需要强制指定步数（如 1024 步）。此外，研究发现添加特殊的 \u003Cend_of_line> 标记告诉模型在哪里换行，可以大大缓解这个问题（这将在多分辨率生成模型中实现）。","https:\u002F\u002Fgithub.com\u002FFoundationVision\u002FLiquid\u002Fissues\u002F10",{"id":153,"question_zh":154,"answer_zh":155,"source_url":156},747,"如何在多模态训练中保持原始 LLM 的语言能力？","语言能力下降是一个不可避免的问题。研究发现，在多模态混合训练中保持三分之一的高质量语言数据，可以最大程度地保留模型的语言能力。当模型规模超过 7B 时，语言能力可以得到更好的保持。","https:\u002F\u002Fgithub.com\u002FFoundationVision\u002FLiquid\u002Fissues\u002F2",[]]