[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-junshutang--Make-It-3D":3,"tool-junshutang--Make-It-3D":64},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",138956,2,"2026-04-05T11:33:21",[13,15,26],"语言模型",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[13,14,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":23,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,26],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":23,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,51,52,53,15,54,26,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":10,"last_commit_at":62,"category_tags":63,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,26,54],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":80,"owner_email":81,"owner_twitter":78,"owner_website":82,"owner_url":83,"languages":84,"stars":101,"forks":102,"last_commit_at":103,"license":78,"difficulty_score":104,"env_os":105,"env_gpu":106,"env_ram":107,"env_deps":108,"category_tags":122,"github_topics":123,"view_count":23,"oss_zip_url":78,"oss_zip_packed_at":78,"status":16,"created_at":131,"updated_at":132,"faqs":133,"releases":134},3550,"junshutang\u002FMake-It-3D","Make-It-3D","[ICCV 2023] Make-It-3D: High-Fidelity 3D Creation from A Single Image with Diffusion Prior","Make-It-3D 是一款基于扩散模型先验的开源工具，旨在仅通过单张二维图片即可生成高保真的三维内容。传统方法在从单图重建 3D 时，往往难以准确推断被遮挡部分的几何结构并“脑补”出合理的纹理细节，导致结果失真或模糊。Make-It-3D 巧妙利用训练成熟的 2D 扩散模型作为\"3D 感知监督”，通过两阶段优化流程解决这一难题：首阶段结合参考图像约束与扩散先验优化神经辐射场（NeRF），构建粗略模型；次阶段将其转化为带纹理的点云，并再次利用扩散先验提升真实感，同时保留原图的高质量纹理。\n\n该工具特别适合计算机视觉研究人员、3D 内容开发者以及需要快速原型设计的设计师使用。它不仅显著提升了单图重建的几何忠实度与视觉质量，还拓展了文本生成 3D、纹理编辑等应用场景。技术亮点在于其创新地将 2D 扩散先验引入 3D 生成任务，实现了通用物体的高质量三维创建，且已开放完整训练代码与测试数据，支持社区复现与二次开发。对于希望探索单图 3D 重建前沿技术的用户而言，Make-It-3D 提供了一个强大而灵活的实验平台。","# Make-It-3D: High-Fidelity 3D Creation from A Single Image with Diffusion Prior (ICCV 2023)\n\u003C!-- ![Teaser](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_70d44da12e7a.png) -->\n\u003Cdiv class=\"half\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_47b9b1635cd0.png\" width=\"128\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_e0a752b75660.gif\" width=\"128\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_070d18f6b4fc.gif\" width=\"128\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_1be2b60d9d15.png\" width=\"128\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_e757682bd3e4.gif\" width=\"128\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_6cf1e3a250e3.gif\" width=\"128\">\n\u003C\u002Fdiv>\n\u003Cdiv class=\"half\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_ad7cba4d3c6d.png\" width=\"128\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_3024d23e4834.gif\" width=\"128\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_5da3118bedc6.gif\" width=\"128\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_d27f51d94265.png\" width=\"128\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_b680db081654.gif\" width=\"128\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_175bbfaafd40.gif\" width=\"128\">\n\u003C\u002Fdiv>\n\n### [Project page](https:\u002F\u002Fmake-it-3d.github.io\u002F) |   [Paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2303.14184) \n\u003C!-- \u003Cbr> -->\n[Junshu Tang](https:\u002F\u002Fjunshutang.github.io\u002F), [Tengfei Wang](https:\u002F\u002Ftengfei-wang.github.io\u002F), [Bo Zhang](https:\u002F\u002Fbo-zhang.me\u002F), [Ting Zhang](https:\u002F\u002Fwww.microsoft.com\u002Fen-us\u002Fresearch\u002Fpeople\u002Ftinzhan\u002F), [Ran Yi](https:\u002F\u002Fyiranran.github.io\u002F), [Lizhuang Ma](https:\u002F\u002Fdmcv.sjtu.edu.cn\u002F), and [Dong Chen](https:\u002F\u002Fwww.microsoft.com\u002Fen-us\u002Fresearch\u002Fpeople\u002Fdoch\u002F).\n\u003C!-- \u003Cbr> -->\n\n## Abstract\n>In this work, we investigate the problem of creating high-fidelity 3D content from only a single image. This is inherently challenging: it essentially involves estimating the underlying 3D geometry while simultaneously hallucinating unseen textures. To address this challenge, we leverage prior knowledge from a well-trained 2D diffusion model to act as 3D-aware supervision for 3D creation. Our approach, Make-It-3D, employs a two-stage optimization pipeline: the first stage optimizes a neural radiance field by incorporating constraints from the reference image at the frontal view and diffusion prior at novel views; the second stage transforms the coarse model into textured point clouds and further elevates the realism with diffusion prior while leveraging the high-quality textures from the reference image. Extensive experiments demonstrate that our method outperforms prior works by a large margin, resulting in faithful reconstructions and impressive visual quality. Our method presents the first attempt to achieve high-quality 3D creation from a single image for general objects and enables various applications such as text-to-3D creation and texture editing.\n\n\n## NEWS!\n-  :loudspeaker: \u003Cfont color='magenta'>\u003Cb> An Jittor work of Make-It-3D is available at [Make-it-3D-Jittor](https:\u002F\u002Fgithub.com\u002FDMCV-SJTU\u002FMake-it-3D-Jittor). Welcome to have a try!!\u003C\u002Fb>\u003C\u002Ffont>\n\n\n## Todo \n- [x] **Release coarse stage training code**\n- [x] **Release all training code (coarse + [refine stage](#refine-stage))**\n- [x] **Release the [test alpha data](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F12qDvy7dBUix_QHOVYN9GpZxC6In07GCg?usp=share_link) for all results in the paper**\n\n## Demo of 360° geometry\n\u003Cdiv class=\"half\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_f66d7bd2c25a.png\" width=\"128\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_d1e5420acb8b.gif\" width=\"128\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_67c8c2d09b61.gif\" width=\"128\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_a05431c2f8a6.png\" width=\"128\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_23697715c239.gif\" width=\"128\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_3bc2bbefc081.gif\" width=\"128\">\n\u003C\u002Fdiv>\n\n## SAM + Make-It-3D\n\u003Cdiv class=\"half\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_6b305ccf7b94.png\" height=\"170\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_e8930851d724.png\" width=\"170\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_a647fe289e20.gif\" width=\"170\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_d1c7854f13b5.gif\" width=\"170\">\n\u003C\u002Fdiv>\n\n\n## Installation\nInstall with pip:\n```\n    pip install torch==1.10.0+cu113 torchvision==0.11.1+cu113 torchaudio===0.10.0+cu113 -f https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu113\u002Ftorch_stable.html\n    pip install git+https:\u002F\u002Fgithub.com\u002FNVlabs\u002Ftiny-cuda-nn\u002F#subdirectory=bindings\u002Ftorch\n    pip install git+https:\u002F\u002Fgithub.com\u002Fopenai\u002FCLIP.git\n    pip install git+https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fdiffusers.git\n    pip install git+https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fhuggingface_hub.git\n    pip install git+https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fpytorch3d.git\n    pip install git+https:\u002F\u002Fgithub.com\u002FS-aiueo32\u002Fcontextual_loss_pytorch.git\n```\nOther dependencies:\n```\n    pip install -r requirements.txt \n    pip install .\u002Fraymarching\n```\nTraining requirements\n- [DPT](https:\u002F\u002Fgithub.com\u002Fisl-org\u002FDPT). We use an off-the-shelf single-view depth estimator DPT to predict the depth for the reference image.\n  ```\n  git clone https:\u002F\u002Fgithub.com\u002Fisl-org\u002FDPT.git\n  mkdir dpt_weights\n  ```\n  Download the pretrained model [dpt_hybrid](https:\u002F\u002Fgithub.com\u002Fintel-isl\u002FDPT\u002Freleases\u002Fdownload\u002F1_0\u002Fdpt_hybrid-midas-501f0c75.pt), and put it in `dpt_weights`.\n- [SAM](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fsegment-anything). We use Segment-anything-model to obtain the foreground object mask.\n- [BLIP2](https:\u002F\u002Farxiv.org\u002Fabs\u002F2301.12597). We use BLIP2 to generate a caption. You can also modify the conditioned text using `--text \"{TEXT}\"` which will greatly reduce time.\n- [Stable Diffusion](https:\u002F\u002Fhuggingface.co\u002Fmodels?other=stable-diffusion). We use diffusion prior from a pretrained 2D Stable Diffusion 2.0 model. To start with, you may need a huggingface [token](https:\u002F\u002Fhuggingface.co\u002Fsettings\u002Ftokens) to access the model, or use `huggingface-cli login` command.\n## Training \n### Coarse stage\nWe use progressive training strategy to generate a full 360° 3D geometry. Run the command and modify the workspace name `NAME` and the path of the reference image `IMGPATH`. We first optimize the scene under frontal camera views. \n```\n    python main.py --workspace ${NAME} --ref_path \"${IMGPATH}\" --phi_range 135 225 --iters 2000 \n```\nThen we spread the camera view samples to full 360°. If you need a prompt condition \"back view\", you can use the command `--need_back`.\n```\n    python main.py --workspace ${NAME} --ref_path \"${IMGPATH}\" --phi_range 0 360 --albedo_iters 3500 --iters 5000 --final\n```\nIf you encounter `long geometry` issue, you can try to increase the reference fov and adjust relative setting. For example:\n```\n    python main.py --workspace ${NAME} --ref_path \"${IMGPATH}\" --phi_range 135 225 --iters 2000 --fov 60 --fovy_range 50 70 --blob_radius 0.2\n```\n### Refine stage\n\nAfter the coarse stage training, now you can easily use the command `--refine` for refine stage training. We optimize the scene under frontal camera views. \n```\n    python main.py --workspace ${NAME} --ref_path \"${IMGPATH}\" --phi_range 135 225 --refine\n```\nYou can modify the value of training iterations using the command `--refine_iters`.\n```\n    python main.py --workspace ${NAME} --ref_path \"${IMGPATH}\" --phi_range 135 225 --refine_iters 3000 --refine\n```\n**Note:** We additionally use `contextual loss` on the refine stage, we find it helps to sharpen the texture. You may need to install [contextual_loss_pytorch](https:\u002F\u002Fgithub.com\u002FS-aiueo32\u002Fcontextual_loss_pytorch) before training.\n```\n    pip install git+https:\u002F\u002Fgithub.com\u002FS-aiueo32\u002Fcontextual_loss_pytorch.git\n```\n\n## Important Note\nHallucinating 3D geometry and generating novel views from a single image of general genre is a challenging task. While our method demonstrates strong capability on creating 3D from most images with a centered single object, it may still encounter difficulties in reconstructing solid geometry on complex cases. **If you encounter any bugs, please feel free to contact us.**\n\n\n\n## Citation\nIf you find this code helpful for your research, please cite:\n```\n@InProceedings{Tang_2023_ICCV,\n    author    = {Tang, Junshu and Wang, Tengfei and Zhang, Bo and Zhang, Ting and Yi, Ran and Ma, Lizhuang and Chen, Dong},\n    title     = {Make-It-3D: High-fidelity 3D Creation from A Single Image with Diffusion Prior},\n    booktitle = {Proceedings of the IEEE\u002FCVF International Conference on Computer Vision (ICCV)},\n    month     = {October},\n    year      = {2023},\n    pages     = {22819-22829}\n}\n```\n\n## Acknowledgments\nThis code borrows heavily from [Stable-Dreamfusion](https:\u002F\u002Fgithub.com\u002Fashawkey\u002Fstable-dreamfusion). \n","# Make-It-3D：基于扩散先验的单张图像高保真 3D 重建（ICCV 2023）\n\u003C!-- ![Teaser](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_70d44da12e7a.png) -->\n\u003Cdiv class=\"half\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_47b9b1635cd0.png\" width=\"128\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_e0a752b75660.gif\" width=\"128\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_070d18f6b4fc.gif\" width=\"128\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_1be2b60d9d15.png\" width=\"128\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_e757682bd3e4.gif\" width=\"128\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_6cf1e3a250e3.gif\" width=\"128\">\n\u003C\u002Fdiv>\n\u003Cdiv class=\"half\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_ad7cba4d3c6d.png\" width=\"128\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_3024d23e4834.gif\" width=\"128\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_5da3118bedc6.gif\" width=\"128\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_d27f51d94265.png\" width=\"128\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_b680db081654.gif\" width=\"128\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_175bbfaafd40.gif\" width=\"128\">\n\u003C\u002Fdiv>\n\n### [项目页面](https:\u002F\u002Fmake-it-3d.github.io\u002F) |   [论文](https:\u002F\u002Farxiv.org\u002Fabs\u002F2303.14184) \n\u003C!-- \u003Cbr> -->\n[唐俊澍](https:\u002F\u002Fjunshutang.github.io\u002F), [王腾飞](https:\u002F\u002Ftengfei-wang.github.io\u002F), [张博](https:\u002F\u002Fbo-zhang.me\u002F), [张婷](https:\u002F\u002Fwww.microsoft.com\u002Fen-us\u002Fresearch\u002Fpeople\u002Ftinzhan\u002F), [易然](https:\u002F\u002Fyiranran.github.io\u002F), [马丽庄](https:\u002F\u002Fdmcv.sjtu.edu.cn\u002F)，以及 [陈栋](https:\u002F\u002Fwww.microsoft.com\u002Fen-us\u002Fresearch\u002Fpeople\u002Fdoch\u002F)。\n\u003C!-- \u003Cbr> -->\n\n## 摘要\n> 在本工作中，我们研究了仅从一张图像创建高保真 3D 内容的问题。这一任务本质上极具挑战性：它既需要估计潜在的 3D 几何结构，又需要同时“幻化”出未见的纹理。为应对这一挑战，我们利用一个训练有素的 2D 扩散模型所蕴含的先验知识，将其作为 3D 创建过程中的 3D 感知监督信号。我们的方法 Make-It-3D 采用两阶段优化流程：第一阶段通过结合参考图像正面视图的约束以及新颖视角下的扩散先验，优化神经辐射场；第二阶段则将粗略模型转换为带纹理的点云，并借助参考图像的高质量纹理和扩散先验进一步提升真实感。大量实验表明，我们的方法显著优于现有工作，能够生成忠实的重建结果和令人印象深刻的视觉质量。该方法首次实现了对通用物体从单张图像进行高质量 3D 重建，并支持文本到 3D 生成、纹理编辑等多种应用场景。\n\n\n## 最新消息！\n-  :loudspeaker: \u003Cfont color='magenta'>\u003Cb> Make-It-3D 的 Jittor 版本已在 [Make-it-3D-Jittor](https:\u002F\u002Fgithub.com\u002FDMCV-SJTU\u002FMake-it-3D-Jittor) 上线。欢迎试用！！\u003C\u002Fb>\u003C\u002Ffont>\n\n\n## 待办事项 \n- [x] **发布粗略阶段训练代码**\n- [x] **发布全部训练代码（粗略 + [精炼阶段](#refine-stage))**\n- [x] **发布论文中所有结果的 [测试 alpha 数据](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F12qDvy7dBUix_QHOVYN9GpZxC6In07GCg?usp=share_link)**\n\n## 360° 几何演示\n\u003Cdiv class=\"half\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_f66d7bd2c25a.png\" width=\"128\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_d1e5420acb8b.gif\" width=\"128\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_67c8c2d09b61.gif\" width=\"128\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_a05431c2f8a6.png\" width=\"128\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_23697715c239.gif\" width=\"128\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_3bc2bbefc081.gif\" width=\"128\">\n\u003C\u002Fdiv>\n\n## SAM + Make-It-3D\n\u003Cdiv class=\"half\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_6b305ccf7b94.png\" height=\"170\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_e8930851d724.png\" width=\"170\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_a647fe289e20.gif\" width=\"170\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_readme_d1c7854f13b5.gif\" width=\"170\">\n\u003C\u002Fdiv>\n\n\n## 安装\n使用 pip 安装：\n```\n    pip install torch==1.10.0+cu113 torchvision==0.11.1+cu113 torchaudio===0.10.0+cu113 -f https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu113\u002Ftorch_stable.html\n    pip install git+https:\u002F\u002Fgithub.com\u002FNVlabs\u002Ftiny-cuda-nn\u002F#subdirectory=bindings\u002Ftorch\n    pip install git+https:\u002F\u002Fgithub.com\u002Fopenai\u002FCLIP.git\n    pip install git+https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fdiffusers.git\n    pip install git+https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fhuggingface_hub.git\n    pip install git+https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fpytorch3d.git\n    pip install git+https:\u002F\u002Fgithub.com\u002FS-aiueo32\u002Fcontextual_loss_pytorch.git\n```\n其他依赖项：\n```\n    pip install -r requirements.txt \n    pip install .\u002Fraymarching\n```\n训练所需条件\n- [DPT](https:\u002F\u002Fgithub.com\u002Fisl-org\u002FDPT)。我们使用现成的单目深度估计器 DPT 来预测参考图像的深度。\n  ```\n  git clone https:\u002F\u002Fgithub.com\u002Fisl-org\u002FDPT.git\n  mkdir dpt_weights\n  ```\n  下载预训练模型 [dpt_hybrid](https:\u002F\u002Fgithub.com\u002Fintel-isl\u002FDPT\u002Freleases\u002Fdownload\u002F1_0\u002Fdpt_hybrid-midas-501f0c75.pt)，并将其放入 `dpt_weights` 目录中。\n- [SAM](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fsegment-anything)。我们使用 Segment-anything 模型来获取前景对象的掩码。\n- [BLIP2](https:\u002F\u002Farxiv.org\u002Fabs\u002F2301.12597)。我们使用 BLIP2 生成描述性文字。您也可以通过 `--text \"{TEXT}\"` 自定义条件文本，这将大大缩短时间。\n- [Stable Diffusion](https:\u002F\u002Fhuggingface.co\u002Fmodels?other=stable-diffusion)。我们使用预训练的 2D Stable Diffusion 2.0 模型作为扩散先验。开始时，您可能需要一个 Hugging Face [token](https:\u002F\u002Fhuggingface.co\u002Fsettings\u002Ftokens) 来访问该模型，或者使用 `huggingface-cli login` 命令。\n## 训练 \n### 粗略阶段\n我们采用渐进式训练策略来生成完整的 360° 3D 几何结构。运行以下命令，并修改工作空间名称 `NAME` 和参考图像路径 `IMGPATH`。首先我们在正面相机视角下优化场景。\n```\n    python main.py --workspace ${NAME} --ref_path \"${IMGPATH}\" --phi_range 135 225 --iters 2000 \n```\n然后我们将相机视角样本扩展到整个 360°。如果您需要“背面视图”的提示条件，可以使用 `--need_back` 命令。\n```\n    python main.py --workspace ${NAME} --ref_path \"${IMGPATH}\" --phi_range 0 360 --albedo_iters 3500 --iters 5000 --final\n```\n如果遇到“几何结构过长”的问题，您可以尝试增加参考视场角并调整相关设置。例如：\n```\n    python main.py --workspace ${NAME} --ref_path \"${IMGPATH}\" --phi_range 135 225 --iters 2000 --fov 60 --fovy_range 50 70 --blob_radius 0.2\n```\n### 精炼阶段\n\n在粗略阶段训练完成后，现在您可以轻松使用 `--refine` 命令进行精炼阶段训练。我们会在正面相机视角下优化场景。\n```\n    python main.py --workspace ${NAME} --ref_path \"${IMGPATH}\" --phi_range 135 225 --refine\n```\n您可以通过 `--refine_iters` 命令调整训练迭代次数。\n```\n    python main.py --workspace ${NAME} --ref_path \"${IMGPATH}\" --phi_range 135 225 --refine_iters 3000 --refine\n```\n**注意:** 我们在精炼阶段额外使用了“上下文损失”，发现它有助于增强纹理细节。您可能需要在训练前安装 [contextual_loss_pytorch](https:\u002F\u002Fgithub.com\u002FS-aiueo32\u002Fcontextual_loss_pytorch)。\n```\n    pip install git+https:\u002F\u002Fgithub.com\u002FS-aiueo32\u002Fcontextual_loss_pytorch.git\n```\n\n## 重要提示\n从单张通用场景图像中幻化出3D几何并生成新视角是一项极具挑战性的任务。尽管我们的方法在处理大多数以单一物体居中的图像时表现出强大的3D重建能力，但在复杂场景下仍可能难以准确重建完整的几何结构。**如果您遇到任何问题，请随时与我们联系。**\n\n\n\n## 引用信息\n如果您认为本代码对您的研究有所帮助，请引用以下文献：\n```\n@InProceedings{Tang_2023_ICCV,\n    author    = {Tang, Junshu and Wang, Tengfei and Zhang, Bo and Zhang, Ting and Yi, Ran and Ma, Lizhuang and Chen, Dong},\n    title     = {Make-It-3D: 基于扩散先验的单张图像高保真3D生成},\n    booktitle = {IEEE\u002FCVF国际计算机视觉会议（ICCV）论文集},\n    month     = {十月},\n    year      = {2023},\n    pages     = {22819-22829}\n}\n```\n\n## 致谢\n本代码大量借鉴了[Stable-Dreamfusion](https:\u002F\u002Fgithub.com\u002Fashawkey\u002Fstable-dreamfusion)。","# Make-It-3D 快速上手指南\n\nMake-It-3D 是一个基于扩散模型先验，能够从单张图像生成高保真 3D 内容的开源工具。本指南将帮助您快速搭建环境并运行示例。\n\n## 1. 环境准备\n\n在开始之前，请确保您的系统满足以下要求：\n\n*   **操作系统**: Linux (推荐 Ubuntu)\n*   **GPU**: NVIDIA 显卡，显存建议 16GB 以上（支持 CUDA 11.3）\n*   **Python**: 3.8 或更高版本\n*   **编译器**: 已安装 `gcc` 和 `g++` (用于编译 `raymarching` 等扩展)\n*   **Hugging Face Token**: 访问 Stable Diffusion 模型需要登录 Hugging Face。\n\n### 前置依赖模型\n运行前需手动下载以下预训练模型并放置到指定目录：\n1.  **DPT (深度估计)**: 下载 [dpt_hybrid](https:\u002F\u002Fgithub.com\u002Fintel-isl\u002FDPT\u002Freleases\u002Fdownload\u002F1_0\u002Fdpt_hybrid-midas-501f0c75.pt) 放入 `dpt_weights` 文件夹。\n2.  **SAM (分割模型)**: 代码会自动处理或参考 Segment Anything 官方仓库配置。\n3.  **BLIP2 (描述生成)**: 用于自动生成提示词，也可手动指定。\n\n## 2. 安装步骤\n\n请按顺序执行以下命令来安装核心依赖。\n\n### 第一步：安装 PyTorch 及基础库\n```bash\npip install torch==1.10.0+cu113 torchvision==0.11.1+cu113 torchaudio===0.10.0+cu113 -f https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu113\u002Ftorch_stable.html\n```\n\n### 第二步：安装核心扩展与依赖\n```bash\npip install git+https:\u002F\u002Fgithub.com\u002FNVlabs\u002Ftiny-cuda-nn\u002F#subdirectory=bindings\u002Ftorch\npip install git+https:\u002F\u002Fgithub.com\u002Fopenai\u002FCLIP.git\npip install git+https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fdiffusers.git\npip install git+https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fhuggingface_hub.git\npip install git+https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fpytorch3d.git\npip install git+https:\u002F\u002Fgithub.com\u002FS-aiueo32\u002Fcontextual_loss_pytorch.git\n```\n\n### 第三步：安装其他依赖与本地图形渲染模块\n```bash\n# 安装 requirements.txt 中的其余依赖\npip install -r requirements.txt \n\n# 编译并安装 raymarching 模块 (确保在当前项目根目录下)\npip install .\u002Fraymarching\n```\n\n### 第四步：准备辅助模型\n```bash\n# 克隆 DPT 深度估计模型仓库\ngit clone https:\u002F\u002Fgithub.com\u002Fisl-org\u002FDPT.git\nmkdir dpt_weights\n# 请将下载好的 dpt_hybrid-midas-501f0c75.pt 文件手动放入 dpt_weights 目录\n```\n\n> **注意**：首次运行时，程序会自动尝试从 Hugging Face 下载 Stable Diffusion 模型。如果下载失败，请先运行 `huggingface-cli login` 输入您的 Token，或配置国内镜像源。\n\n## 3. 基本使用\n\nMake-It-3D 的训练分为两个阶段：**粗糙阶段 (Coarse Stage)** 和 **细化阶段 (Refine Stage)**。\n\n### 阶段一：粗糙几何生成 (Coarse Stage)\n此阶段优化神经辐射场 (NeRF)，生成基础的 360° 几何结构。\n\n1.  **初始化正面视图优化**：\n    替换 `${NAME}` 为您的工作空间名称，`${IMGPATH}` 为输入图片的路径。\n    ```bash\n    python main.py --workspace ${NAME} --ref_path \"${IMGPATH}\" --phi_range 135 225 --iters 2000 \n    ```\n\n2.  **扩展至 360° 全景**：\n    继续优化以覆盖所有视角。\n    ```bash\n    python main.py --workspace ${NAME} --ref_path \"${IMGPATH}\" --phi_range 0 360 --albedo_iters 3500 --iters 5000 --final\n    ```\n    *注：若遇到长条形物体几何重建问题，可添加 `--fov 60 --fovy_range 50 70 --blob_radius 0.2` 参数调整。*\n\n### 阶段二：纹理细化 (Refine Stage)\n此阶段将粗糙模型转换为带纹理的点云，并利用上下文损失 (Contextual Loss) 提升纹理清晰度。\n\n```bash\npython main.py --workspace ${NAME} --ref_path \"${IMGPATH}\" --phi_range 135 225 --refine\n```\n\n如需自定义细化迭代次数（默认为特定值，可根据需求调整）：\n```bash\npython main.py --workspace ${NAME} --ref_path \"${IMGPATH}\" --phi_range 135 225 --refine_iters 3000 --refine\n```\n\n### 可选：自定义提示词\n默认情况下工具会使用 BLIP2 自动生成图片描述。为了加快启动速度或控制生成风格，您可以直接指定文本提示：\n```bash\npython main.py --workspace ${NAME} --ref_path \"${IMGPATH}\" --text \"a cute bunny cake\" ... (其他参数)\n```\n\n训练完成后，结果将保存在 `--workspace` 指定的文件夹中，包含生成的 3D 模型及渲染视频。","一位独立游戏开发者急需为即将上线的休闲手游批量制作风格统一的 3D 道具，但手头只有概念设计师绘制的少量 2D 正面原画。\n\n### 没有 Make-It-3D 时\n- **建模成本高昂**：必须聘请专业 3D 美术师手动建模，单个道具耗时数天，严重拖慢开发进度且预算超支。\n- **侧面细节缺失**：仅凭一张正面图无法推断物体背面和侧面的几何结构，人工猜测容易导致模型穿帮或风格割裂。\n- **纹理映射困难**：在将 2D 贴图包裹到 3D 模型时，非正面区域的纹理往往模糊不清或需要反复手绘修补。\n- **迭代灵活性差**：若策划调整道具设计，需重新走一遍完整的建模流程，无法实现“即改即得”。\n\n### 使用 Make-It-3D 后\n- **单图极速生成**：直接导入概念原画，Make-It-3D 利用扩散模型先验知识，在几分钟内自动推算出完整的 360°高保真几何结构。\n- **智能补全视角**：工具能“幻觉”出原图中不存在的背面与侧面细节，确保兔子蛋糕、城堡等物体在旋转视角下依然自然逼真。\n- **高清纹理迁移**：自动将原图的高质量纹理精准映射到新生成的点云模型上，无需手动修复即可保持画风高度一致。\n- **敏捷开发闭环**：设计师修改 2D 草图后，可立即重新生成对应 3D 资产，大幅缩短从概念到实机演示的验证周期。\n\nMake-It-3D 通过将单张 2D 图像转化为高保真 3D 资产的能力，彻底打破了传统建模对多视图数据和人工工时的依赖，让小型团队也能实现电影级的内容生产。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjunshutang_Make-It-3D_9132c2c0.png","junshutang","Junshu Tang","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fjunshutang_61ac8e17.png",null,"Tencent, Hunyuan","Shanghai","tangjs@sjtu.edu.cn","https:\u002F\u002Fjunshutang.github.io\u002F","https:\u002F\u002Fgithub.com\u002Fjunshutang",[85,89,93,97],{"name":86,"color":87,"percentage":88},"Python","#3572A5",88.6,{"name":90,"color":91,"percentage":92},"Cuda","#3A4E3A",10.3,{"name":94,"color":95,"percentage":96},"C","#555555",0.8,{"name":98,"color":99,"percentage":100},"C++","#f34b7d",0.3,1888,137,"2026-03-24T15:59:03",4,"Linux","必需 NVIDIA GPU，安装命令指定 CUDA 11.3 (cu113)，需支持 tiny-cuda-nn 和 PyTorch3D 编译，建议显存 8GB 以上","未说明",{"notes":109,"python":110,"dependencies":111},"1. 必须手动下载 DPT 预训练模型 (dpt_hybrid) 并放入指定目录。2. 需要 Hugging Face Token 以访问 Stable Diffusion 2.0 模型。3. 包含自定义 CUDA 扩展 (raymarching, tiny-cuda-nn)，在 Windows 上编译可能较为困难，推荐 Linux 环境。4. 细化阶段 (Refine stage) 依赖 contextual_loss_pytorch。","未说明 (适配 torch==1.10.0)",[112,113,114,115,116,117,118,119,120,121],"torch==1.10.0+cu113","torchvision==0.11.1+cu113","tiny-cuda-nn","CLIP","diffusers","pytorch3d","contextual_loss_pytorch","DPT","segment-anything (SAM)","BLIP2",[54,14,13],[124,125,126,127,128,129,130],"3d-generation","3d-vision","computer-vision","deep-learning","diffusion-models","generative-art","nerf","2026-03-27T02:49:30.150509","2026-04-06T07:13:04.230494",[],[]]