[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-JAMESYJL--ShapeLLM-Omni":3,"tool-JAMESYJL--ShapeLLM-Omni":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",159636,2,"2026-04-17T23:33:34",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":74,"owner_avatar_url":75,"owner_bio":76,"owner_company":77,"owner_location":78,"owner_email":79,"owner_twitter":79,"owner_website":80,"owner_url":81,"languages":82,"stars":102,"forks":103,"last_commit_at":104,"license":105,"difficulty_score":10,"env_os":106,"env_gpu":107,"env_ram":106,"env_deps":108,"category_tags":116,"github_topics":118,"view_count":32,"oss_zip_url":79,"oss_zip_packed_at":79,"status":17,"created_at":124,"updated_at":125,"faqs":126,"releases":137},8856,"JAMESYJL\u002FShapeLLM-Omni","ShapeLLM-Omni","[NeurIPS 2025 Spotlight] A Native Multimodal LLM for 3D Generation and Understanding","ShapeLLM-Omni 是一款由清华大学等机构研发的原生多模态大语言模型，专为 3D 内容的生成与理解而设计。作为 NeurIPS 2025 的焦点论文成果，它打破了传统 AI 在处理三维数据时的局限，能够直接通过自然语言指令完成复杂的 3D 建模、编辑及语义分析任务。\n\n过去，3D 内容创作往往依赖专业软件且流程繁琐，而现有 AI 工具多局限于单一模态或需要复杂的中间转换。ShapeLLM-Omni 通过原生支持多模态输入输出，实现了从文本描述到高质量 3D 模型的端到端生成，并能深入理解 3D 场景的空间结构与语义信息，显著降低了 3D 创作的门槛。\n\n这款工具非常适合 3D 设计师、游戏开发者、科研人员以及对三维内容创作感兴趣的普通用户。设计师可利用它快速原型化创意，开发者能将其集成到自动化工作流中，研究人员则可基于其开源权重和数据集探索多模态学习的前沿方向。\n\n其技术亮点在于构建了高质量的\"3D-Alpaca\"指令数据集，并采用了先进的 3DVQVAE 量化技术，使其在保持高效推理的同时，具备出色的多轮对话交互与精细编辑能力。目前，项目已开放 7B 参数版本的预训练权重及在","ShapeLLM-Omni 是一款由清华大学等机构研发的原生多模态大语言模型，专为 3D 内容的生成与理解而设计。作为 NeurIPS 2025 的焦点论文成果，它打破了传统 AI 在处理三维数据时的局限，能够直接通过自然语言指令完成复杂的 3D 建模、编辑及语义分析任务。\n\n过去，3D 内容创作往往依赖专业软件且流程繁琐，而现有 AI 工具多局限于单一模态或需要复杂的中间转换。ShapeLLM-Omni 通过原生支持多模态输入输出，实现了从文本描述到高质量 3D 模型的端到端生成，并能深入理解 3D 场景的空间结构与语义信息，显著降低了 3D 创作的门槛。\n\n这款工具非常适合 3D 设计师、游戏开发者、科研人员以及对三维内容创作感兴趣的普通用户。设计师可利用它快速原型化创意，开发者能将其集成到自动化工作流中，研究人员则可基于其开源权重和数据集探索多模态学习的前沿方向。\n\n其技术亮点在于构建了高质量的\"3D-Alpaca\"指令数据集，并采用了先进的 3DVQVAE 量化技术，使其在保持高效推理的同时，具备出色的多轮对话交互与精细编辑能力。目前，项目已开放 7B 参数版本的预训练权重及在线演示，社区正逐步完善训练代码与更多功能模块，是通往通用 3D 智能的重要一步。","\u003Cp align=\"center\">\n  \u003Ch3 align=\"center\">\u003Cstrong>ShapeLLM-Omni: A Native Multimodal LLM for 3D Generation and Understanding\u003C\u002Fstrong>\u003C\u002Fh3>\n\n\n\u003Cp align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fjamesyjl.github.io\u002F\">Junliang Ye\u003C\u002Fa>\u003Csup>1,2*\u003C\u002Fsup>,\n    \u003Ca href=\"https:\u002F\u002Fthuwzy.github.io\u002F\">Zhengyi Wang\u003C\u002Fa>\u003Csup>1,2*\u003C\u002Fsup>,\n    \u003Ca href=\"https:\u002F\u002Fzhaorw02.github.io\u002F\">Ruowen Zhao\u003C\u002Fa>\u003Csup>1*\u003C\u002Fsup>,\n    \u003Ca href=\"https:\u002F\u002Fshxie2020.github.io\u002F\">Shenghao Xie\u003C\u002Fa>\u003Csup>3\u003C\u002Fsup>,\n    \u003Ca href=\"https:\u002F\u002Fml.cs.tsinghua.edu.cn\u002F~jun\u002Findex.shtml\">Jun Zhu\u003C\u002Fa>\u003Csup>1,2†\u003C\u002Fsup>\n    \u003Cbr>\n    \u003Csup>*\u003C\u002Fsup>Equal Contribution.\n    \u003Cbr>\n    \u003Csup>†\u003C\u002Fsup>Corresponding authors.\n    \u003Cbr>\n    \u003Csup>1\u003C\u002Fsup>Tsinghua University,\n    \u003Csup>2\u003C\u002Fsup>ShengShu,\n    \u003Csup>3\u003C\u002Fsup>Peking University,\n\u003C\u002Fp>\n\u003Ch3 align=\"center\">NeurIPS 2025 Spotlight 🔥\u003C\u002Fh3>\n\u003Cdiv align=\"center\">\n\n\u003Ca href='https:\u002F\u002Farxiv.org\u002Fabs\u002F2506.01853'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2506.01853-b31b1b.svg'>\u003C\u002Fa>     \n \u003Ca href='https:\u002F\u002Fjamesyjl.github.io\u002FShapeLLM\u002F'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject-Page-Green'>\u003C\u002Fa>     \n \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fyejunliang23\u002FShapLLM-Omni\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Gradio%20Demo-HF-orange\">\u003C\u002Fa>\n     \n\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fyejunliang23\u002FShapeLLM-7B-omni\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Weights-HF-orange\">\u003C\u002Fa>     \n\u003Ca href='https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fyejunliang23\u002F3D-Alpaca'>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Dataset-HF-orange\">\n\n\u003C\u002Fdiv>\n\nhttps:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002Ff77bb981-15ef-4546-ae1a-9baf05dc8002\n\n\u003Cp align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FJAMESYJL_ShapeLLM-Omni_readme_18add0f59eec.jpg\">\n\u003C\u002Fp>\n\n## Release\n- [6\u002F03] 🔥🔥We released the pretrained weights for both **ShapeLLM-Omni** (7B) and **3DVQVAE**.\n- [6\u002F03] 🔥🔥We released 50k high-quality 3D edited data pairs.\n- [6\u002F07] 🔥🔥We built a [demo](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fyejunliang23\u002FShapLLM-Omni) for everyone to try out.\n\n## Installation\nPlease set up the Python environment following [TRELLIS](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FTRELLIS\u002Ftree\u002Fmain) and [QWEN2.5-vl](https:\u002F\u002Fgithub.com\u002FQwenLM\u002FQwen2.5-VL), or you can create by:\n```\npip install -r requirements.txt\n```\n\n## Inference\nWe suggest using Gradio UI for visualizing inference.\n```\npython app.py\n```\n\nhttps:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002Fedb2b828-b65c-40f6-88da-9f5094c40b2e\n\nFor templates used for different tasks, please refer to the [templates.txt](https:\u002F\u002Fgithub.com\u002FJAMESYJL\u002FShapeLLM-Omni\u002Fblob\u002Fmain\u002Ftemplates.txt)\n\n## Qualitative result\n\nhttps:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002F79a33188-3ef0-4702-9892-15b864710f2d\n\nhttps:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002F43b7bc78-1bef-4b79-bbdb-edfc4ad2b8e1\n  \n## Important Notes\n- Please refer to our [project_page](https:\u002F\u002Fjamesyjl.github.io\u002FShapeLLM\u002F) for more examples.\n## Todo\n- [ ] Release of the entire 3D-Alpaca dataset.\n- [ ] Release of training code.\n- [ ] Release of model weights featuring multi-turn dialogue and 3D editing capabilities.\n\n## Acknowledgement\nOur code is based on these wonderful repos:\n* **[LLaMA-Factory](https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FLLaMA-Factory)**\n* **[TRELLIS](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FTRELLIS)**\n* **[PointLLM](https:\u002F\u002Fgithub.com\u002FOpenRobotLab\u002FPointLLM)**\n* **[Qwen2.5-VL](https:\u002F\u002Fgithub.com\u002FQwenLM\u002FQwen2.5-VL)**\n* **[LLaMA-Mesh](https:\u002F\u002Fgithub.com\u002Fnv-tlabs\u002FLLaMA-Mesh)**\n* **[DeepMesh](https:\u002F\u002Fgithub.com\u002Fzhaorw02\u002FDeepMesh)**\n\nAlso, we invite you to explore our latest work — [Nano3D](https:\u002F\u002Fjamesyjl.github.io\u002FNano3D\u002F), a training-free 3D editing algorithm without mask constraints. Based on this algorithm, we will soon release a higher-quality 3D editing dataset — 3D-Alpaca-Editing-v2 (Nano3D-Edit-100k) — as open source.\n## ✍️ Citation\n\n```bibtex\n@article{ye2025shapellm,\n  title={ShapeLLM-Omni: A Native Multimodal LLM for 3D Generation and Understanding},\n  author={Ye, Junliang and Wang, Zhengyi and Zhao, Ruowen and Xie, Shenghao and Zhu, Jun},\n  journal={arXiv preprint arXiv:2506.01853},\n  year={2025}\n}\n```\n\n","\u003Cp align=\"center\">\n  \u003Ch3 align=\"center\">\u003Cstrong>ShapeLLM-Omni：用于3D生成与理解的原生多模态大模型\u003C\u002Fstrong>\u003C\u002Fh3>\n\n\n\u003Cp align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fjamesyjl.github.io\u002F\">叶俊亮\u003C\u002Fa>\u003Csup>1,2*\u003C\u002Fsup>,\n    \u003Ca href=\"https:\u002F\u002Fthuwzy.github.io\u002F\">王正毅\u003C\u002Fa>\u003Csup>1,2*\u003C\u002Fsup>,\n    \u003Ca href=\"https:\u002F\u002Fzhaorw02.github.io\u002F\">赵若文\u003C\u002Fa>\u003Csup>1*\u003C\u002Fsup>,\n    \u003Ca href=\"https:\u002F\u002Fshxie2020.github.io\u002F\">谢圣豪\u003C\u002Fa>\u003Csup>3\u003C\u002Fsup>,\n    \u003Ca href=\"https:\u002F\u002Fml.cs.tsinghua.edu.cn\u002F~jun\u002Findex.shtml\">朱俊\u003C\u002Fa>\u003Csup>1,2†\u003C\u002Fsup>\n    \u003Cbr>\n    \u003Csup>*\u003C\u002Fsup>共同第一作者。\n    \u003Cbr>\n    \u003Csup>†\u003C\u002Fsup>通讯作者。\n    \u003Cbr>\n    \u003Csup>1\u003C\u002Fsup>清华大学,\n    \u003Csup>2\u003C\u002Fsup>升数科技,\n    \u003Csup>3\u003C\u002Fsup>北京大学,\n\u003C\u002Fp>\n\u003Ch3 align=\"center\">NeurIPS 2025 Spotlight 🔥\u003C\u002Fh3>\n\u003Cdiv align=\"center\">\n\n\u003Ca href='https:\u002F\u002Farxiv.org\u002Fabs\u002F2506.01853'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2506.01853-b31b1b.svg'>\u003C\u002Fa>     \n \u003Ca href='https:\u002F\u002Fjamesyjl.github.io\u002FShapeLLM\u002F'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject-Page-Green'>\u003C\u002Fa>     \n \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fyejunliang23\u002FShapLLM-Omni\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Gradio%20Demo-HF-orange\">\u003C\u002Fa>\n     \n\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fyejunliang23\u002FShapeLLM-7B-omni\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Weights-HF-orange\">\u003C\u002Fa>     \n\u003Ca href='https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fyejunliang23\u002F3D-Alpaca'>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Dataset-HF-orange\">\n\n\u003C\u002Fdiv>\n\nhttps:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002Ff77bb981-15ef-4546-ae1a-9baf05dc8002\n\n\u003Cp align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FJAMESYJL_ShapeLLM-Omni_readme_18add0f59eec.jpg\">\n\u003C\u002Fp>\n\n## 发布\n- [6月3日] 🔥🔥我们发布了**ShapeLLM-Omni**（7B）和**3DVQVAE**的预训练权重。\n- [6月3日] 🔥🔥我们发布了5万对高质量的3D编辑数据。\n- [6月7日] 🔥🔥我们搭建了一个[演示](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fyejunliang23\u002FShapLLM-Omni)，供大家试用。\n\n## 安装\n请按照[TRELLIS](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FTRELLIS\u002Ftree\u002Fmain)和[QWEN2.5-vl](https:\u002F\u002Fgithub.com\u002FQwenLM\u002FQwen2.5-VL)的说明设置Python环境，或者您也可以通过以下命令创建：\n```\npip install -r requirements.txt\n```\n\n## 推理\n我们建议使用Gradio界面进行推理可视化。\n```\npython app.py\n```\n\nhttps:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002Fedb2b828-b65c-40f6-88da-9f5094c40b2e\n\n关于不同任务使用的模板，请参阅[templates.txt](https:\u002F\u002Fgithub.com\u002FJAMESYJL\u002FShapeLLM-Omni\u002Fblob\u002Fmain\u002Ftemplates.txt)\n\n## 定性结果\n\nhttps:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002F79a33188-3ef0-4702-9892-15b864710f2d\n\nhttps:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002F43b7bc78-1bef-4b79-bbdb-edfc4ad2b8e1\n  \n## 重要提示\n- 更多示例请参考我们的[项目页面](https:\u002F\u002Fjamesyjl.github.io\u002FShapeLLM\u002F)。\n## 待办事项\n- [ ] 整个3D-Alpaca数据集的发布。\n- [ ] 训练代码的发布。\n- [ ] 具有多轮对话和3D编辑能力的模型权重发布。\n\n## 致谢\n我们的代码基于以下优秀的开源项目：\n* **[LLaMA-Factory](https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FLLaMA-Factory)**\n* **[TRELLIS](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FTRELLIS)**\n* **[PointLLM](https:\u002F\u002Fgithub.com\u002FOpenRobotLab\u002FPointLLM)**\n* **[Qwen2.5-VL](https:\u002F\u002Fgithub.com\u002FQwenLM\u002FQwen2.5-VL)**\n* **[LLaMA-Mesh](https:\u002F\u002Fgithub.com\u002Fnv-tlabs\u002FLLaMA-Mesh)**\n* **[DeepMesh](https:\u002F\u002Fgithub.com\u002Fzhaorw02\u002FDeepMesh)**\n\n此外，我们也诚邀您探索我们的最新工作——[Nano3D](https:\u002F\u002Fjamesyjl.github.io\u002FNano3D\u002F)，这是一种无需掩码约束、无需训练的3D编辑算法。基于该算法，我们将很快以开源形式发布更高质量的3D编辑数据集——3D-Alpaca-Editing-v2（Nano3D-Edit-100k）。\n## ✍️ 引用\n\n```bibtex\n@article{ye2025shapellm,\n  title={ShapeLLM-Omni: A Native Multimodal LLM for 3D Generation and Understanding},\n  author={Ye, Junliang and Wang, Zhengyi and Zhao, Ruowen and Xie, Shenghao and Zhu, Jun},\n  journal={arXiv preprint arXiv:2506.01853},\n  year={2025}\n}\n```","# ShapeLLM-Omni 快速上手指南\n\nShapeLLM-Omni 是一个原生的多模态大语言模型，专为 3D 生成与理解任务设计。本指南将帮助开发者快速完成环境配置并运行推理演示。\n\n## 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**: Linux (推荐 Ubuntu 20.04+)\n*   **Python 版本**: 建议 Python 3.10 或更高版本\n*   **硬件要求**: 需要配备 NVIDIA GPU（支持 CUDA），显存建议 16GB 以上以流畅运行 7B 模型。\n*   **前置依赖**: 本项目架构基于 **TRELLIS** 和 **QWEN2.5-VL**。请确保系统已安装基础的编译工具（如 `gcc`, `g++`）和 CUDA Toolkit。\n\n> **提示**：国内用户建议在安装 Python 依赖时使用清华源或阿里源加速下载。\n\n## 安装步骤\n\n### 1. 克隆项目代码\n首先从 GitHub 克隆仓库到本地：\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FJAMESYJL\u002FShapeLLM-Omni.git\ncd ShapeLLM-Omni\n```\n\n### 2. 创建虚拟环境（可选但推荐）\n使用 `conda` 或 `venv` 创建独立的 Python 环境：\n```bash\nconda create -n shapellm python=3.10 -y\nconda activate shapellm\n```\n\n### 3. 安装依赖库\n项目提供了 `requirements.txt` 文件，可直接一键安装所有必要依赖。\n**国内加速方案**：使用 `-i` 参数指定清华镜像源。\n\n```bash\npip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n> **注意**：如果安装过程中遇到与 `TRELLIS` 或 `QWEN2.5-VL` 相关的特定编译错误，请参考这两个项目的官方安装文档进行排查。\n\n## 基本使用\n\n安装完成后，您可以通过内置的 Gradio Web UI 进行可视化的 3D 生成与理解推理。这是最简单且直观的试用方式。\n\n### 启动推理服务\n在项目根目录下运行以下命令启动应用：\n\n```bash\npython app.py\n```\n\n### 访问界面\n命令执行成功后，终端会显示本地访问地址（通常为 `http:\u002F\u002F127.0.0.1:7860`）。请在浏览器中打开该地址即可进入交互界面。\n\n*   **功能说明**：您可以在界面中输入文本指令或上传图像\u002F3D 数据，模型将执行相应的 3D 生成、编辑或理解任务。\n*   **提示词模板**：针对不同任务的最佳输入格式，请参考项目中的 [templates.txt](https:\u002F\u002Fgithub.com\u002FJAMESYJL\u002FShapeLLM-Omni\u002Fblob\u002Fmain\u002Ftemplates.txt) 文件。\n\n### 模型权重\n推理时程序会自动从 Hugging Face 拉取预训练权重（**ShapeLLM-Omni-7B** 和 **3DVQVAE**）。如果网络受限，建议手动下载权重文件至本地缓存目录：\n*   模型权重：[yejunliang23\u002FShapeLLM-7B-omni](https:\u002F\u002Fhuggingface.co\u002Fyejunliang23\u002FShapeLLM-7B-omni)\n*   数据集示例：[3D-Alpaca](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fyejunliang23\u002F3D-Alpaca)","某独立游戏开发者需要在极短时间内为原型关卡批量创建风格统一且可交互的 3D 资产，同时希望直接通过自然语言调整模型细节。\n\n### 没有 ShapeLLM-Omni 时\n- **工作流割裂严重**：开发者需分别在文本生成器、2D 转 3D 工具和网格编辑软件间切换，无法在一个界面完成从“想法”到\"3D 模型”的闭环。\n- **理解与生成脱节**：传统工具只能根据提示词盲猜生成，无法先“看懂”参考图的结构再创作，导致生成的椅子腿数不对或纹理方向错误。\n- **修改成本极高**：若需将生成的“木桌”改为“石桌”或调整局部结构，必须重新运行整个生成流程或手动在 Blender 中拓扑重绘，耗时数小时。\n- **多轮交互缺失**：无法像与人对话一样连续指令（如“把腿变粗”、“再加个抽屉”），每次修改都需重新编写复杂的完整提示词。\n\n### 使用 ShapeLLM-Omni 后\n- **原生多模态闭环**：开发者直接在 ShapeLLM-Omni 中输入文字描述并上传参考草图，模型即刻理解意图并输出高质量 3D 网格，无需切换软件。\n- **深度语义理解**：ShapeLLM-Omni 能精准识别参考图中的几何特征与空间关系，确保生成的资产在结构逻辑上与设计要求完全一致。\n- **自然语言即时编辑**：只需对已生成的模型说“把材质换成粗糙岩石”或“删除左侧扶手”，ShapeLLM-Omni 即可在秒级内完成局部精细化修改。\n- **支持多轮对话创作**：开发者可像指导美术助理一样进行多轮对话，逐步细化模型细节，大幅降低 3D 内容创作的门槛与迭代时间。\n\nShapeLLM-Omni 通过将 3D 理解与生成能力原生融合到大语言模型中，彻底打破了传统 3D 创作流程的壁垒，让自然语言成为操控三维世界最直观的接口。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FJAMESYJL_ShapeLLM-Omni_4b850a55.png","JAMESYJL","Junliang Ye","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FJAMESYJL_599bad3c.jpg","a master's student in the Department of Computer Science at Tsinghua University","Tsinghua University","Beijing",null,"https:\u002F\u002Fjamesyjl.github.io\u002F","https:\u002F\u002Fgithub.com\u002FJAMESYJL",[83,87,91,95,99],{"name":84,"color":85,"percentage":86},"Python","#3572A5",97,{"name":88,"color":89,"percentage":90},"Shell","#89e051",1.6,{"name":92,"color":93,"percentage":94},"Cuda","#3A4E3A",1,{"name":96,"color":97,"percentage":98},"C++","#f34b7d",0.2,{"name":100,"color":101,"percentage":98},"C","#555555",557,29,"2026-04-15T09:50:53","MIT","未说明","需要 NVIDIA GPU（基于 TRELLIS 和 Qwen2.5-VL 依赖推断），具体显存和 CUDA 版本未说明",{"notes":109,"python":106,"dependencies":110},"安装需参考 TRELLIS 和 Qwen2.5-VL 的环境配置，或直接运行 pip install -r requirements.txt。建议使用 Gradio UI (python app.py) 进行推理可视化。目前仅发布了 7B 预训练权重和 3DVQVAE 权重，训练代码和多轮对话\u002F3D 编辑专用权重尚未发布。",[111,112,113,114,115],"TRELLIS","Qwen2.5-VL","torch","transformers","gradio",[35,117,14,15],"其他",[119,120,121,122,123],"3d-captioning","3d-editing","image-to-3d","llm","text-to-3d","2026-03-27T02:49:30.150509","2026-04-18T14:31:50.979267",[127,132],{"id":128,"question_zh":129,"answer_zh":130,"source_url":131},39742,"发布的 3D-Alpaca 编辑数据集中，3D 网格数据与图像数据之间存在不一致，如何建立正确的映射关系？","维护者已上传剩余的图像数据至 image_data2.tar.gz。图像数据索引与语料库数据索引之间的映射关系已保存在 mapping_from_image_index_to_corpus_index.pt 文件中，请使用该文件进行对应。","https:\u002F\u002Fgithub.com\u002FJAMESYJL\u002FShapeLLM-Omni\u002Fissues\u002F2",{"id":133,"question_zh":134,"answer_zh":135,"source_url":136},39743,"测试代码和用于 3D 生成评估的数据集何时发布？","剩余的代码和数据将在论文正式被接收后开源。","https:\u002F\u002Fgithub.com\u002FJAMESYJL\u002FShapeLLM-Omni\u002Fissues\u002F6",[]]