[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-3DTopia--LGM":3,"tool-3DTopia--LGM":62},[4,18,26,35,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,2,"2026-04-10T11:39:34",[14,15,13],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":32,"last_commit_at":41,"category_tags":42,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[43,13,15,14],"插件",{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":10,"last_commit_at":50,"category_tags":51,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[52,15,13,14],"语言模型",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4292,"Deep-Live-Cam","hacksider\u002FDeep-Live-Cam","Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。\n\n这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。\n\n其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。",88924,"2026-04-06T03:28:53",[14,15,13,61],"视频",{"id":63,"github_repo":64,"name":65,"description_en":66,"description_zh":67,"ai_summary_zh":68,"readme_en":69,"readme_zh":70,"quickstart_zh":71,"use_case_zh":72,"hero_image_url":73,"owner_login":74,"owner_name":75,"owner_avatar_url":76,"owner_bio":77,"owner_company":78,"owner_location":78,"owner_email":79,"owner_twitter":78,"owner_website":78,"owner_url":80,"languages":81,"stars":90,"forks":91,"last_commit_at":92,"license":93,"difficulty_score":94,"env_os":95,"env_gpu":96,"env_ram":97,"env_deps":98,"category_tags":111,"github_topics":113,"view_count":32,"oss_zip_url":78,"oss_zip_packed_at":78,"status":17,"created_at":117,"updated_at":118,"faqs":119,"releases":153},6656,"3DTopia\u002FLGM","LGM","[ECCV 2024 Oral] LGM: Large Multi-View Gaussian Model for High-Resolution 3D Content Creation.","LGM（Large Multi-View Gaussian Model）是一款专为高分辨率 3D 内容创作打造的开源模型，曾入选 ECCV 2024 口头报告。它核心解决了传统方法在从单张图片或文本生成 3D 资产时，往往面临细节模糊、几何结构不完整或渲染速度缓慢的难题。\n\n通过创新地结合“多视图高斯溅射”技术，LGM 能够直接从多个视角预测高质量的 3D 高斯表示，无需繁琐的迭代优化过程。这不仅大幅提升了生成效率，还能产出纹理清晰、几何细节丰富的 3D 模型，并支持快速转换为网格格式以供后续编辑。其独特的技术亮点在于利用大规模多视图数据训练，实现了对复杂物体形态的精准重建，且推理过程仅需约 10GB 显存，兼顾了性能与资源消耗。\n\n这款工具非常适合 3D 设计师、游戏开发者以及 AI 研究人员使用。设计师可利用它快速原型化创意，将概念图瞬间转化为可交互的 3D 资产；开发者能将其集成到工作流中，自动化生成大量 3D 素材；研究人员则可基于其开放的代码框架，探索生成式 3D 建模的前沿方向。虽然普通用户也可通过在线 Demo 体验文生 3D 的乐趣，但要充分发挥其潜力，仍需一定的技术背","LGM（Large Multi-View Gaussian Model）是一款专为高分辨率 3D 内容创作打造的开源模型，曾入选 ECCV 2024 口头报告。它核心解决了传统方法在从单张图片或文本生成 3D 资产时，往往面临细节模糊、几何结构不完整或渲染速度缓慢的难题。\n\n通过创新地结合“多视图高斯溅射”技术，LGM 能够直接从多个视角预测高质量的 3D 高斯表示，无需繁琐的迭代优化过程。这不仅大幅提升了生成效率，还能产出纹理清晰、几何细节丰富的 3D 模型，并支持快速转换为网格格式以供后续编辑。其独特的技术亮点在于利用大规模多视图数据训练，实现了对复杂物体形态的精准重建，且推理过程仅需约 10GB 显存，兼顾了性能与资源消耗。\n\n这款工具非常适合 3D 设计师、游戏开发者以及 AI 研究人员使用。设计师可利用它快速原型化创意，将概念图瞬间转化为可交互的 3D 资产；开发者能将其集成到工作流中，自动化生成大量 3D 素材；研究人员则可基于其开放的代码框架，探索生成式 3D 建模的前沿方向。虽然普通用户也可通过在线 Demo 体验文生 3D 的乐趣，但要充分发挥其潜力，仍需一定的技术背景进行本地部署或微调。","\n## Large Multi-View Gaussian Model\n\nThis is the official implementation of *LGM: Large Multi-View Gaussian Model for High-Resolution 3D Content Creation*.\n\n### [Project Page](https:\u002F\u002Fme.kiui.moe\u002Flgm\u002F) | [Arxiv](https:\u002F\u002Farxiv.org\u002Fabs\u002F2402.05054) | [Weights](https:\u002F\u002Fhuggingface.co\u002Fashawkey\u002FLGM) | \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fashawkey\u002FLGM\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Gradio%20Demo-Huggingface-orange\">\u003C\u002Fa>\n\nhttps:\u002F\u002Fgithub.com\u002F3DTopia\u002FLGM\u002Fassets\u002F25863658\u002Fcf64e489-29f3-4935-adba-e393a24c26e8\n\n### News\n[2024.4.3] Thanks to [@yxymessi](https:\u002F\u002Fgithub.com\u002Fyxymessi) and [@florinshen](https:\u002F\u002Fgithub.com\u002Fflorinshen), we have fixed a **severe bug in rotation normalization** [here](https:\u002F\u002Fgithub.com\u002F3DTopia\u002FLGM\u002Fcommit\u002F9a0797cdbacf8e6216d0108cb00cbe43b9cb3d81). We have finetuned the model with correct normalization for 30 more epochs and uploaded new checkpoints.\n\n### Replicate Demo:\n* gaussians: [demo](https:\u002F\u002Freplicate.com\u002Fcamenduru\u002Flgm) | [code](https:\u002F\u002Fgithub.com\u002Fcamenduru\u002FLGM-replicate)\n* mesh: [demo](https:\u002F\u002Freplicate.com\u002Fcamenduru\u002Flgm-ply-to-glb) | [code](https:\u002F\u002Fgithub.com\u002Fcamenduru\u002FLGM-ply-to-glb-replicate)\n\nThanks to [@camenduru](https:\u002F\u002Fgithub.com\u002Fcamenduru)!\n\n### Install\n\n```bash\n# xformers is required! please refer to https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fxformers for details.\n# for example, we use torch 2.1.0 + cuda 11.8\npip install torch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118\npip install -U xformers --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118\n\n# a modified gaussian splatting (+ depth, alpha rendering)\ngit clone --recursive https:\u002F\u002Fgithub.com\u002Fashawkey\u002Fdiff-gaussian-rasterization\npip install .\u002Fdiff-gaussian-rasterization\n\n# for mesh extraction\npip install git+https:\u002F\u002Fgithub.com\u002FNVlabs\u002Fnvdiffrast\n\n# other dependencies\npip install -r requirements.txt\n```\n\n### Pretrained Weights\n\nOur pretrained weight can be downloaded from [huggingface](https:\u002F\u002Fhuggingface.co\u002Fashawkey\u002FLGM).\n\nFor example, to download the fp16 model for inference:\n```bash\nmkdir pretrained && cd pretrained\nwget https:\u002F\u002Fhuggingface.co\u002Fashawkey\u002FLGM\u002Fresolve\u002Fmain\u002Fmodel_fp16_fixrot.safetensors\ncd ..\n```\n\nFor [MVDream](https:\u002F\u002Fgithub.com\u002Fbytedance\u002FMVDream) and [ImageDream](https:\u002F\u002Fgithub.com\u002Fbytedance\u002FImageDream), we use a [diffusers implementation](https:\u002F\u002Fgithub.com\u002Fashawkey\u002Fmvdream_diffusers).\nTheir weights will be downloaded automatically.\n\n### Inference\n\nInference takes about 10GB GPU memory (loading all imagedream, mvdream, and our LGM).\n\n```bash\n### gradio app for both text\u002Fimage to 3D\npython app.py big --resume pretrained\u002Fmodel_fp16.safetensors\n\n### test\n# --workspace: folder to save output (*.ply and *.mp4)\n# --test_path: path to a folder containing images, or a single image\npython infer.py big --resume pretrained\u002Fmodel_fp16.safetensors --workspace workspace_test --test_path data_test \n\n### local gui to visualize saved ply\npython gui.py big --output_size 800 --test_path workspace_test\u002Fsaved.ply\n\n### mesh conversion\npython convert.py big --test_path workspace_test\u002Fsaved.ply\n```\n\nFor more options, please check [options](.\u002Fcore\u002Foptions.py).\n\n### Training\n\n**NOTE**: \nSince the dataset used in our training is based on AWS, it cannot be directly used for training in a new environment.\nWe provide the necessary training code framework, please check and modify the [dataset](.\u002Fcore\u002Fprovider_objaverse.py) implementation!\n\nWe also provide the **~80K subset of [Objaverse](https:\u002F\u002Fobjaverse.allenai.org\u002Fobjaverse-1.0)** used to train LGM in [objaverse_filter](https:\u002F\u002Fgithub.com\u002Fashawkey\u002Fobjaverse_filter).\n\n```bash\n# debug training\naccelerate launch --config_file acc_configs\u002Fgpu1.yaml main.py big --workspace workspace_debug\n\n# training (use slurm for multi-nodes training)\naccelerate launch --config_file acc_configs\u002Fgpu8.yaml main.py big --workspace workspace\n```\n\n### Acknowledgement\n\nThis work is built on many amazing research works and open-source projects, thanks a lot to all the authors for sharing!\n\n- [gaussian-splatting](https:\u002F\u002Fgithub.com\u002Fgraphdeco-inria\u002Fgaussian-splatting) and [diff-gaussian-rasterization](https:\u002F\u002Fgithub.com\u002Fgraphdeco-inria\u002Fdiff-gaussian-rasterization)\n- [nvdiffrast](https:\u002F\u002Fgithub.com\u002FNVlabs\u002Fnvdiffrast)\n- [dearpygui](https:\u002F\u002Fgithub.com\u002Fhoffstadt\u002FDearPyGui)\n- [tyro](https:\u002F\u002Fgithub.com\u002Fbrentyi\u002Ftyro)\n\n### Citation\n\n```\n@article{tang2024lgm,\n  title={LGM: Large Multi-View Gaussian Model for High-Resolution 3D Content Creation},\n  author={Tang, Jiaxiang and Chen, Zhaoxi and Chen, Xiaokang and Wang, Tengfei and Zeng, Gang and Liu, Ziwei},\n  journal={arXiv preprint arXiv:2402.05054},\n  year={2024}\n}\n```\n","## 大型多视角高斯模型\n\n这是 *LGM：用于高分辨率3D内容创作的大型多视角高斯模型* 的官方实现。\n\n### [项目页面](https:\u002F\u002Fme.kiui.moe\u002Flgm\u002F) | [Arxiv](https:\u002F\u002Farxiv.org\u002Fabs\u002F2402.05054) | [权重](https:\u002F\u002Fhuggingface.co\u002Fashawkey\u002FLGM) | \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fashawkey\u002FLGM\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Gradio%20Demo-Huggingface-orange\">\u003C\u002Fa>\n\nhttps:\u002F\u002Fgithub.com\u002F3DTopia\u002FLGM\u002Fassets\u002F25863658\u002Fcf64e489-29f3-4935-adba-e393a24c26e8\n\n### 新闻\n[2024.4.3] 感谢 [@yxymessi](https:\u002F\u002Fgithub.com\u002Fyxymessi) 和 [@florinshen](https:\u002F\u002Fgithub.com\u002Fflorinshen)，我们修复了一个 **旋转归一化中的严重错误** [这里](https:\u002F\u002Fgithub.com\u002F3DTopia\u002FLGM\u002Fcommit\u002F9a0797cdbacf8e6216d0108cb00cbe43b9cb3d81)。我们使用正确的归一化对模型进行了额外的30轮微调，并上传了新的检查点。\n\n### 复现演示：\n* 高斯点云：[演示](https:\u002F\u002Freplicate.com\u002Fcamenduru\u002Flgm) | [代码](https:\u002F\u002Fgithub.com\u002Fcamenduru\u002FLGM-replicate)\n* 网格：[演示](https:\u002F\u002Freplicate.com\u002Fcamenduru\u002Flgm-ply-to-glb) | [代码](https:\u002F\u002Fgithub.com\u002Fcamenduru\u002FLGM-ply-to-glb-replicate)\n\n感谢 [@camenduru](https:\u002F\u002Fgithub.com\u002Fcamenduru)！\n\n### 安装\n\n```bash\n# 需要安装xformers！详情请参阅 https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fxformers。\n# 例如，我们使用 torch 2.1.0 + cuda 11.8\npip install torch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118\npip install -U xformers --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118\n\n# 修改后的高斯泼溅（+深度、alpha渲染）\ngit clone --recursive https:\u002F\u002Fgithub.com\u002Fashawkey\u002Fdiff-gaussian-rasterization\npip install .\u002Fdiff-gaussian-rasterization\n\n# 用于网格提取\npip install git+https:\u002F\u002Fgithub.com\u002FNVlabs\u002Fnvdiffrast\n\n# 其他依赖\npip install -r requirements.txt\n```\n\n### 预训练权重\n\n我们的预训练权重可以从 [huggingface](https:\u002F\u002Fhuggingface.co\u002Fashawkey\u002FLGM) 下载。\n\n例如，下载用于推理的fp16模型：\n```bash\nmkdir pretrained && cd pretrained\nwget https:\u002F\u002Fhuggingface.co\u002Fashawkey\u002FLGM\u002Fresolve\u002Fmain\u002Fmodel_fp16_fixrot.safetensors\ncd ..\n```\n\n对于 [MVDream](https:\u002F\u002Fgithub.com\u002Fbytedance\u002FMVDream) 和 [ImageDream](https:\u002F\u002Fgithub.com\u002Fbytedance\u002FImageDream)，我们使用一个 [diffusers 实现](https:\u002F\u002Fgithub.com\u002Fashawkey\u002Fmvdream_diffusers)。它们的权重将会自动下载。\n\n### 推理\n\n推理大约需要10GB显存（加载所有imagedream、mvdream以及我们的LGM）。\n\n```bash\n### 用于文本\u002F图像转3D的gradio应用\npython app.py big --resume pretrained\u002Fmodel_fp16.safetensors\n\n### 测试\n# --workspace：保存输出（*.ply 和 *.mp4）的文件夹\n# --test_path：包含图片的文件夹路径，或单张图片\npython infer.py big --resume pretrained\u002Fmodel_fp16.safetensors --workspace workspace_test --test_path data_test \n\n### 本地GUI可视化保存的ply文件\npython gui.py big --output_size 800 --test_path workspace_test\u002Fsaved.ply\n\n### 网格转换\npython convert.py big --test_path workspace_test\u002Fsaved.ply\n```\n\n更多选项，请查看 [options](.\u002Fcore\u002Foptions.py)。\n\n### 训练\n\n**注意**：\n由于我们在训练中使用的数据集基于AWS，因此无法直接在新环境中用于训练。我们提供了必要的训练代码框架，请检查并修改 [dataset](.\u002Fcore\u002Fprovider_objaverse.py) 的实现！\n\n我们还提供了用于训练LGM的 **~8万件 [Objaverse](https:\u002F\u002Fobjaverse.allenai.org\u002Fobjaverse-1.0)** 子集，位于 [objaverse_filter](https:\u002F\u002Fgithub.com\u002Fashawkey\u002Fobjaverse_filter) 中。\n\n```bash\n# 调试训练\naccelerate launch --config_file acc_configs\u002Fgpu1.yaml main.py big --workspace workspace_debug\n\n# 训练（多节点训练请使用slurm）\naccelerate launch --config_file acc_configs\u002Fgpu8.yaml main.py big --workspace workspace\n```\n\n### 致谢\n\n本工作建立在许多令人惊叹的研究成果和开源项目之上，非常感谢所有作者的分享！\n\n- [gaussian-splatting](https:\u002F\u002Fgithub.com\u002Fgraphdeco-inria\u002Fgaussian-splatting) 和 [diff-gaussian-rasterization](https:\u002F\u002Fgithub.com\u002Fgraphdeco-inria\u002Fdiff-gaussian-rasterization)\n- [nvdiffrast](https:\u002F\u002Fgithub.com\u002FNVlabs\u002Fnvdiffrast)\n- [dearpygui](https:\u002F\u002Fgithub.com\u002Fhoffstadt\u002FDearPyGui)\n- [tyro](https:\u002F\u002Fgithub.com\u002Fbrentyi\u002Ftyro)\n\n### 引用\n\n```\n@article{tang2024lgm,\n  title={LGM: Large Multi-View Gaussian Model for High-Resolution 3D Content Creation},\n  author={Tang, Jiaxiang and Chen, Zhaoxi and Chen, Xiaokang and Wang, Tengfei and Zeng, Gang and Liu, Ziwei},\n  journal={arXiv preprint arXiv:2402.05054},\n  year={2024}\n}\n```","# LGM 快速上手指南\n\nLGM (Large Multi-View Gaussian Model) 是一个用于高分辨率 3D 内容生成的开源模型，支持从文本或单张图像快速生成 3D 高斯溅射（Gaussian Splatting）表示。\n\n## 环境准备\n\n在开始之前，请确保您的系统满足以下要求：\n\n*   **操作系统**: Linux (推荐 Ubuntu)\n*   **GPU**: NVIDIA 显卡，显存建议 **10GB** 以上（推理时需同时加载 MVDream, ImageDream 和 LGM 模型）。\n*   **CUDA**: 推荐 CUDA 11.8 或更高版本。\n*   **Python**: 3.8+\n*   **前置依赖**:\n    *   `xformers`: 必须安装，用于加速注意力机制。\n    *   `git`: 用于克隆子模块。\n\n> **注意**：本项目强依赖 `xformers`，请务必根据您的 PyTorch 和 CUDA 版本选择对应的安装方式。\n\n## 安装步骤\n\n以下命令基于 **PyTorch 2.1.0 + CUDA 11.8** 环境。如果您使用其他版本，请参考 [PyTorch 官网](https:\u002F\u002Fpytorch.org\u002F) 调整安装命令。\n\n### 1. 安装 PyTorch 和 xformers\n```bash\n# 安装指定版本的 torch (示例为 cu118)\npip install torch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118\n\n# 安装 xformers (需与 torch 版本匹配)\npip install -U xformers --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118\n```\n*(国内用户若下载缓慢，可尝试使用清华源或阿里源替换 `--index-url`)*\n\n### 2. 安装自定义高斯溅射渲染器\n该项目需要一个支持深度和 Alpha 渲染的修改版 `diff-gaussian-rasterization`。\n```bash\ngit clone --recursive https:\u002F\u002Fgithub.com\u002Fashawkey\u002Fdiff-gaussian-rasterization\npip install .\u002Fdiff-gaussian-rasterization\n```\n\n### 3. 安装网格提取依赖\n如需将高斯模型转换为网格（Mesh），需安装 `nvdiffrast`。\n```bash\npip install git+https:\u002F\u002Fgithub.com\u002FNVlabs\u002Fnvdiffrast\n```\n\n### 4. 安装其他依赖\n```bash\npip install -r requirements.txt\n```\n\n### 5. 下载预训练权重\n从 Hugging Face 下载修复了旋转归一化问题的 FP16 模型：\n```bash\nmkdir pretrained && cd pretrained\nwget https:\u002F\u002Fhuggingface.co\u002Fashawkey\u002FLGM\u002Fresolve\u002Fmain\u002Fmodel_fp16_fixrot.safetensors\ncd ..\n```\n*(注：MVDream 和 ImageDream 的权重会在首次运行时自动下载)*\n\n## 基本使用\n\n### 启动 Web 界面 (推荐)\n最简单的方式是启动 Gradio 界面，支持文本生成 3D 或图片生成 3D。\n```bash\npython app.py big --resume pretrained\u002Fmodel_fp16_fixrot.safetensors\n```\n运行后在浏览器打开显示的本地地址即可操作。\n\n### 命令行推理\n如果您希望通过命令行直接生成，可以使用 `infer.py`。\n\n**示例：从文件夹中的图片生成 3D**\n```bash\n# --workspace: 输出目录\n# --test_path: 输入图片路径（单张图片或包含图片的文件夹）\npython infer.py big --resume pretrained\u002Fmodel_fp16_fixrot.safetensors --workspace workspace_test --test_path data_test\n```\n生成结果（`.ply` 文件和预览视频 `.mp4`）将保存在 `workspace_test` 目录中。\n\n### 查看结果\n使用内置 GUI 查看生成的 `.ply` 文件：\n```bash\npython gui.py big --output_size 800 --test_path workspace_test\u002Fsaved.ply\n```\n\n### 转换为网格 (可选)\n将高斯溅射文件转换为通用的 3D 网格格式：\n```bash\npython convert.py big --test_path workspace_test\u002Fsaved.ply\n```","某独立游戏开发者需要为即将上线的奇幻 RPG 快速生成大量高细节的 3D 道具资产，但团队中缺乏专业的 3D 建模师。\n\n### 没有 LGM 时\n- **制作周期漫长**：传统手工建模或基于单图的重建方法耗时数小时甚至数天，无法跟上敏捷开发的迭代速度。\n- **细节丢失严重**：从单一视角生成的模型往往背面模糊、几何结构错误，难以满足近景观察的高清需求。\n- **多视图不一致**：尝试手动拼接多个角度的生成结果时，常出现纹理断裂和形状扭曲，后期修复成本极高。\n- **硬件门槛高**：现有高分辨率重建方案通常需要多张高端显卡并行计算，个人开发者难以负担。\n\n### 使用 LGM 后\n- **秒级内容生成**：利用 LGM 的大规模多视图高斯模型，仅需一张概念图或一段文字描述，10 秒内即可输出完整 3D 资产。\n- **高清几何还原**：得益于高斯泼溅（Gaussian Splatting）技术，生成的模型在任意角度下均保持锐利纹理和准确的空间结构。\n- **天然多视图一致**：LGM 内部机制确保了 360 度视角的连贯性，直接导出可用的 `.ply` 文件或转换为网格，无需人工修补接缝。\n- **消费级显卡可用**：优化后的推理流程仅需约 10GB 显存，使得在单张主流游戏显卡上完成高质量创作成为可能。\n\nLGM 将 3D 内容创作从“工匠式”的手工打磨转变为“工业化”的即时生成，极大地降低了高保真 3D 资产的生产门槛与时间成本。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002F3DTopia_LGM_c0aaeb59.png","3DTopia","3D Topia","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002F3DTopia_ad366c6c.png","",null,"3d.topia.lab@gmail.com","https:\u002F\u002Fgithub.com\u002F3DTopia",[82,86],{"name":83,"color":84,"percentage":85},"Python","#3572A5",99.6,{"name":87,"color":88,"percentage":89},"Shell","#89e051",0.4,2060,136,"2026-04-10T23:15:26","MIT",4,"Linux","必需 NVIDIA GPU，推理需约 10GB 显存，官方示例使用 CUDA 11.8","未说明",{"notes":99,"python":97,"dependencies":100},"必须安装 xformers；推理时需加载 MVDream、ImageDream 及 LGM 模型，总显存占用约 10GB；训练数据基于 AWS 环境，直接运行需修改数据集加载代码；支持从文本或图像生成 3D 内容。",[101,102,103,104,105,106,107,108,109,110],"torch==2.1.0","torchvision==0.16.0","torchaudio==2.1.0","xformers","diff-gaussian-rasterization","nvdiffrast","accelerate","gradio","dearpygui","tyro",[112,15],"其他",[114,115,116],"gaussian-splatting","image-to-3d","text-to-3d","2026-03-27T02:49:30.150509","2026-04-11T23:23:57.107307",[120,125,130,134,139,144,149],{"id":121,"question_zh":122,"answer_zh":123,"source_url":124},30069,"遇到 'AttributeError: module 'pymeshlab' has no attribute 'PercentageValue'' 错误如何解决？","这是由于 pymeshlab 版本兼容性问题导致的。如果无法安装最新版 pymeshlab，可以在本地安装 kiui 库并修改 `kiui\u002Fmesh_utils.py` 文件，添加以下猴子补丁（monkey fix）：\n\nif PML_VER == '2022.2.post3':\n    pml.PercentageValue = pml.Percentage\n    pml.PureValue = pml.AbsoluteValue\n\n这可以解决旧版本 pymeshlab（如 2022.2.post3）缺少特定属性导致的报错。","https:\u002F\u002Fgithub.com\u002F3DTopia\u002FLGM\u002Fissues\u002F2",{"id":126,"question_zh":127,"answer_zh":128,"source_url":129},30070,"G-Objaverse 数据集加载速度过慢导致训练瓶颈怎么办？","在使用 G-Objaverse 数据集时，如果发现单批次采样（例如 batch size 8, view 12）耗时过长（5~8 秒），即使过滤了异常 tar 文件也无法解决，这通常是因为数据加载器效率问题。建议检查 `provider_objaverse.py` 的实现，参考维护者提供的加载代码逻辑。此外，确保没有过多的异常处理拖慢流程，并考虑在多 GPU 训练前优化单卡的数据读取效率。","https:\u002F\u002Fgithub.com\u002F3DTopia\u002FLGM\u002Fissues\u002F30",{"id":131,"question_zh":132,"answer_zh":133,"source_url":129},30071,"训练生成的图像出现空白区域或奇怪输出是什么原因？","如果使用 G-Objaverse 数据集训练时出现预测图像（pred）部分区域为空白的情况，可能是数据加载或相机参数设置不当。建议检查 `provider_objaverse.py` 中的数据集实现细节，确认 epoch、scheduler 中的 pct_start 等超参数设置是否正确。同时，参考 Issue #15 中关于相机坐标系转换的讨论，确保相机姿态矩阵（camera poses）和投影矩阵（proj_matrix）的计算与渲染器要求一致。",{"id":135,"question_zh":136,"answer_zh":137,"source_url":138},30072,"如何正确进行从 OpenGL 坐标系到 Gaussian Renderer 所需坐标系的变换？","在将相机姿态用于 Gaussian Splatting 渲染时，需要进行特定的坐标系转换。关键步骤包括：\n1. 反转向上（up）和向前（forward）方向：`cam_poses[:, :3, 1:3] *= -1`\n2. 计算视图矩阵：`cam_view = torch.inverse(cam_poses).transpose(1, 2)`\n3. 计算投影视图矩阵：`cam_view_proj = cam_view @ self.proj_matrix`\n4. 获取相机位置：`cam_pos = -cam_poses[:, :3, 3]`\n\n其中 `transpose(1, 2)` 是为了转置旋转部分以符合渲染器输入要求，负号操作对于正确渲染是必须的。可以直接对 `cam_view` 求逆得到 `cam_c2w`。","https:\u002F\u002Fgithub.com\u002F3DTopia\u002FLGM\u002Fissues\u002F15",{"id":140,"question_zh":141,"answer_zh":142,"source_url":143},30073,"为什么高斯泼溅（GS）渲染结果与输入图像的轮廓\u002F大小不匹配？","这通常是因为训练数据集使用的固定视场角（FOV）与推理时的输入 FOV 不一致。LGM 模型是在固定 FOV 为 49.1 度的数据上训练的，且训练过程中仅对相机的方位角和仰角进行了增强，未对内参（intrinsics）进行增强。如果输入图像的 FOV 差异较大（例如 20 度），模型可能无法泛化，导致渲染出的物体周长偏小。最佳实践是保持内参固定，或尝试调整输入图像的 FOV 接近训练值（如 40-49 度）以获得更好结果。","https:\u002F\u002Fgithub.com\u002F3DTopia\u002FLGM\u002Fissues\u002F19",{"id":145,"question_zh":146,"answer_zh":147,"source_url":148},30074,"运行 app.py 时遇到 'ModuleNotFoundError: No module named 'mv_unet'' 错误怎么办？","该错误表明缺少 `mv_unet` 模块。这通常是因为项目依赖的子模块或特定包未正确安装。请确保已按照项目 README 完整安装所有依赖，特别是涉及多视图 UNet 的相关组件。如果使用的是预训练模型（如 `model_fp16_fixrot.safetensors`），请检查代码中导入路径是否正确，或者是否需要单独克隆\u002F安装包含 `mv_unet` 的依赖库（如 MVDream 相关仓库）。","https:\u002F\u002Fgithub.com\u002F3DTopia\u002FLGM\u002Fissues\u002F48",{"id":150,"question_zh":151,"answer_zh":152,"source_url":129},30075,"G-Objaverse 数据集中的相机投影矩阵（proj_matrix）参数（如 znear, zfar）如何获取？","在 G-Objaverse 数据集中，JSON 文件通常只包含相机外参（位置 x, y, z 和原点 origin），而不直接提供投影矩阵的近裁剪面（znear）和远裁剪面（zfar）信息。根据社区经验，渲染时通常使用固定的视场角（FOV 约 40-49 度）。如果没有具体信息，可以参考原始渲染配置设定默认的 znear 和 zfar 值，或者通过实验调整这些参数直到数据加载器工作正常。重点在于确保相机变换部分（c2w）正确转换为 OpenGL 系统。",[]]