[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-yerfor--Real3DPortrait":3,"tool-yerfor--Real3DPortrait":64},[4,18,26,35,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107888,2,"2026-04-06T11:32:50",[14,15,13],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":10,"last_commit_at":41,"category_tags":42,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[43,15,13,14],"语言模型",{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":10,"last_commit_at":50,"category_tags":51,"status":17},4292,"Deep-Live-Cam","hacksider\u002FDeep-Live-Cam","Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。\n\n这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。\n\n其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。",88924,"2026-04-06T03:28:53",[14,15,13,52],"视频",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",85013,"2026-04-06T11:09:19",[15,16,52,61,13,62,43,14,63],"插件","其他","音频",{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":77,"owner_avatar_url":78,"owner_bio":79,"owner_company":80,"owner_location":81,"owner_email":81,"owner_twitter":81,"owner_website":82,"owner_url":83,"languages":84,"stars":105,"forks":106,"last_commit_at":107,"license":108,"difficulty_score":10,"env_os":109,"env_gpu":110,"env_ram":111,"env_deps":112,"category_tags":119,"github_topics":120,"view_count":32,"oss_zip_url":81,"oss_zip_packed_at":81,"status":17,"created_at":124,"updated_at":125,"faqs":126,"releases":160},5306,"yerfor\u002FReal3DPortrait","Real3DPortrait","Real3D-Portrait: One-shot Realistic 3D Talking Portrait Synthesis; ICLR 2024 Spotlight; Official code","Real3DPortrait 是一款专注于“单样本”真实 3D 说话人像合成的开源 AI 项目，曾入选 ICLR 2024 亮点论文。它旨在解决传统数字人生成技术中存在的立体感不足、表情僵硬以及需要大量目标人物数据训练等痛点。用户只需提供一张静态的人物照片和一段驱动音频（或表情视频），Real3DPortrait 即可生成头部姿态自然、口型精准且具备真实 3D 几何结构的说话视频，甚至能处理转头等大角度动作，显著提升了视觉逼真度。\n\n该工具的核心技术亮点在于其独特的架构设计，结合了音频到运动模型与图像到平面映射技术，并利用了 3DMM（3D 可变形模型）来确保生成的面部具有准确的三维几何信息，而非简单的 2D 图像变形。此外，项目还发布了基于 NeRF 的进阶版本 MimicTalk，进一步增强了画质与风格控制能力。\n\nReal3DPortrait 非常适合计算机视觉研究人员、AI 开发者以及数字内容创作者使用。对于研究人员和开发者，项目提供了完整的 PyTorch 训练代码、数据预处理脚本以及详细的文档，便于复现研究与二次开发；对于设计师或视频创作者，其内置的 Gradio WebU","Real3DPortrait 是一款专注于“单样本”真实 3D 说话人像合成的开源 AI 项目，曾入选 ICLR 2024 亮点论文。它旨在解决传统数字人生成技术中存在的立体感不足、表情僵硬以及需要大量目标人物数据训练等痛点。用户只需提供一张静态的人物照片和一段驱动音频（或表情视频），Real3DPortrait 即可生成头部姿态自然、口型精准且具备真实 3D 几何结构的说话视频，甚至能处理转头等大角度动作，显著提升了视觉逼真度。\n\n该工具的核心技术亮点在于其独特的架构设计，结合了音频到运动模型与图像到平面映射技术，并利用了 3DMM（3D 可变形模型）来确保生成的面部具有准确的三维几何信息，而非简单的 2D 图像变形。此外，项目还发布了基于 NeRF 的进阶版本 MimicTalk，进一步增强了画质与风格控制能力。\n\nReal3DPortrait 非常适合计算机视觉研究人员、AI 开发者以及数字内容创作者使用。对于研究人员和开发者，项目提供了完整的 PyTorch 训练代码、数据预处理脚本以及详细的文档，便于复现研究与二次开发；对于设计师或视频创作者，其内置的 Gradio WebUI 界面和 Google Colab 示例降低了使用门槛，无需深厚编程背景也能快速体验高质量的 3D 数字人制作流程。","# Real3D-Portrait: One-shot Realistic 3D Talking Portrait Synthesis | ICLR 2024 Spotlight\n[![arXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-Paper-%3CCOLOR%3E.svg)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2401.08503)| [![GitHub Stars](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fyerfor\u002FReal3DPortrait\n)](https:\u002F\u002Fgithub.com\u002Fyerfor\u002FReal3DPortrait) | [中文文档](.\u002FREADME-zh.md)\n\nThis is the official repo of Real3D-Portrait with Pytorch implementation, for one-shot and high video reality talking portrait synthesis. You can visit our [Demo Page](https:\u002F\u002Freal3dportrait.github.io\u002F) for watching demo videos, and read our [Paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2401.08503.pdf) for technical details.\n\n\u003Cp align=\"center\">\n    \u003Cbr>\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fyerfor_Real3DPortrait_readme_359714f7a224.png\" width=\"100%\"\u002F>\n    \u003Cbr>\n\u003C\u002Fp>\n\n# 🔥MimicTalk Released\n**We have released the code of MimicTalk ([https:\u002F\u002Fgithub.com\u002Fyerfor\u002FMimicTalk\u002F](https:\u002F\u002Fgithub.com\u002Fyerfor\u002FMimicTalk\u002F)), which is a SOTA NeRF-based person-specific talking face method and achieves better visual quality and enables talking style control.**\n\n## 🔥 Update\n- \\[2024.07.02\\] We release the training code of the whole system, including audio-to-motion model, image-to-plane model, secc2plane model, and the secc2plane_torso model, please refer to `docs\u002Ftrain_models`. We also release the code to preprocess and binarize the dataset, please refer to `docs\u002Fprocess_data`. Thanks for your patience!\n\n## You may also interested in \n- We release the code of GeneFace++, ([https:\u002F\u002Fgithub.com\u002Fyerfor\u002FGeneFacePlusPlus](https:\u002F\u002Fgithub.com\u002Fyerfor\u002FGeneFacePlusPlus)), a NeRF-based person-specific talking face system, which aims at producing high-quality talking face videos with extreme idenetity-similarity of the target person.\n\n# Quick Start!\n## Environment Installation\nPlease refer to [Installation Guide](docs\u002Fprepare_env\u002Finstall_guide.md), prepare a Conda environment `real3dportrait`.\n## Download Pre-trained & Third-Party Models\n### 3DMM BFM Model\nDownload 3DMM BFM Model from [Google Drive](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1o4t5YIw7w4cMUN4bgU9nPf6IyWVG1bEk?usp=sharing) or [BaiduYun Disk](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1aqv1z_qZ23Vp2VP4uxxblQ?pwd=m9q5 ) with Password m9q5. \n\n\nPut all the files in `deep_3drecon\u002FBFM`, the file structure will be like this:\n```\ndeep_3drecon\u002FBFM\u002F\n├── 01_MorphableModel.mat\n├── BFM_exp_idx.mat\n├── BFM_front_idx.mat\n├── BFM_model_front.mat\n├── Exp_Pca.bin\n├── facemodel_info.mat\n├── index_mp468_from_mesh35709.npy\n└── std_exp.txt\n```\n\n### Pre-trained Real3D-Portrait\nDownload Pre-trained Real3D-Portrait：[Google Drive](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1MAveJf7RvJ-Opg1f5qhLdoRoC_Gc6nD9?usp=sharing) or [BaiduYun Disk](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1Mjmbn0UtA1Zm9owZ7zWNgQ?pwd=6x4f ) with Password 6x4f\n  \nPut the zip files in `checkpoints` and unzip them, the file structure will be like this:\n```\ncheckpoints\u002F\n├── 240210_real3dportrait_orig\n│   ├── audio2secc_vae\n│   │   ├── config.yaml\n│   │   └── model_ckpt_steps_400000.ckpt\n│   └── secc2plane_torso_orig\n│       ├── config.yaml\n│       └── model_ckpt_steps_100000.ckpt\n└── pretrained_ckpts\n    └── mit_b0.pth\n```\n\n## Inference\nCurrently, we provide **CLI**, **Gradio WebUI** and **Google Colab** for inference. We support both Audio-Driven and Video-Driven methods:\n\n- For audio-driven, at least prepare `source image` and `driving audio`\n- For video-driven, at least prepare `source image` and `driving expression video`\n\n### Gradio WebUI\nRun Gradio WebUI demo, upload resouces in webpage，click `Generate` button to inference：\n```bash\npython inference\u002Fapp_real3dportrait.py\n```\n\n### Google Colab\nRun all the cells in this [Colab](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002Fyerfor\u002FReal3DPortrait\u002Fblob\u002Fmain\u002Finference\u002Freal3dportrait_demo.ipynb).\n\n### CLI Inference\nFirstly, switch to project folder and activate conda environment:\n```bash\ncd \u003CReal3DPortraitRoot>\nconda activate real3dportrait\nexport PYTHONPATH=.\u002F\n```\nFor audio-driven, provide source image and driving audio:\n```bash\npython inference\u002Freal3d_infer.py \\\n--src_img \u003CPATH_TO_SOURCE_IMAGE> \\\n--drv_aud \u003CPATH_TO_AUDIO> \\\n--drv_pose \u003CPATH_TO_POSE_VIDEO, OPTIONAL> \\\n--bg_img \u003CPATH_TO_BACKGROUND_IMAGE, OPTIONAL> \\\n--out_name \u003CPATH_TO_OUTPUT_VIDEO, OPTIONAL>\n```\nFor video-driven, provide source image and driving expression video(as `--drv_aud` parameter):\n```bash\npython inference\u002Freal3d_infer.py \\\n--src_img \u003CPATH_TO_SOURCE_IMAGE> \\\n--drv_aud \u003CPATH_TO_EXP_VIDEO> \\\n--drv_pose \u003CPATH_TO_POSE_VIDEO, OPTIONAL> \\\n--bg_img \u003CPATH_TO_BACKGROUND_IMAGE, OPTIONAL> \\\n--out_name \u003CPATH_TO_OUTPUT_VIDEO, OPTIONAL>\n```\nSome optional parameters：\n- `--drv_pose` provide motion pose information, default to be static poses\n- `--bg_img` provide background information, default to be image extracted from source\n- `--mouth_amp` mouth amplitude, higher value leads to wider mouth\n- `--map_to_init_pose` when set to `True`, the initial pose will be mapped to source pose, and other poses will be equally transformed\n- `--temperature` stands for the sampling temperature of audio2motion, higher for more diverse results at the expense of lower accuracy\n- `--out_name` When not assigned, the results will be stored at `infer_out\u002Ftmp\u002F`.\n- `--out_mode` When `final`, only outputs the final result; when `concat_debug`, also outputs visualization of several intermediate process.\n\nCommandline example:\n```bash\npython inference\u002Freal3d_infer.py \\\n--src_img data\u002Fraw\u002Fexamples\u002FMacron.png \\\n--drv_aud data\u002Fraw\u002Fexamples\u002FObama_5s.wav \\\n--drv_pose data\u002Fraw\u002Fexamples\u002FMay_5s.mp4 \\\n--bg_img data\u002Fraw\u002Fexamples\u002Fbg.png \\\n--out_name output.mp4 \\\n--out_mode concat_debug\n```\n\n# ToDo\n- [x] **Release Pre-trained weights of Real3D-Portrait.**\n- [x] **Release Inference Code of Real3D-Portrait.**\n- [x] **Release Gradio Demo of Real3D-Portrait..**\n- [x] **Release Google Colab of Real3D-Portrait..**\n- [x] **Release Training Code of Real3D-Portrait.**\n\n# Disclaimer\nAny organization or individual is prohibited from using any technology mentioned in this paper to generate someone's talking video without his\u002Fher consent, including but not limited to government leaders, political figures, and celebrities. If you do not comply with this item, you could be in violation of copyright laws.\n\n# Citation\nIf you found this repo helpful to your work, please consider cite us:\n```\n@article{ye2024real3d,\n  title={Real3D-Portrait: One-shot Realistic 3D Talking Portrait Synthesis},\n  author={Ye, Zhenhui and Zhong, Tianyun and Ren, Yi and Yang, Jiaqi and Li, Weichuang and Huang, Jiawei and Jiang, Ziyue and He, Jinzheng and Huang, Rongjie and Liu, Jinglin and others},\n  journal={arXiv preprint arXiv:2401.08503},\n  year={2024}\n}\n@article{ye2023geneface++,\n  title={GeneFace++: Generalized and Stable Real-Time Audio-Driven 3D Talking Face Generation},\n  author={Ye, Zhenhui and He, Jinzheng and Jiang, Ziyue and Huang, Rongjie and Huang, Jiawei and Liu, Jinglin and Ren, Yi and Yin, Xiang and Ma, Zejun and Zhao, Zhou},\n  journal={arXiv preprint arXiv:2305.00787},\n  year={2023}\n}\n@article{ye2023geneface,\n  title={GeneFace: Generalized and High-Fidelity Audio-Driven 3D Talking Face Synthesis},\n  author={Ye, Zhenhui and Jiang, Ziyue and Ren, Yi and Liu, Jinglin and He, Jinzheng and Zhao, Zhou},\n  journal={arXiv preprint arXiv:2301.13430},\n  year={2023}\n}\n```\n","# Real3D-Portrait：单次输入的逼真3D说话人像合成 | ICLR 2024 Spotlight\n[![arXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-Paper-%3CCOLOR%3E.svg)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2401.08503)| [![GitHub Stars](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fyerfor\u002FReal3DPortrait\n)](https:\u002F\u002Fgithub.com\u002Fyerfor\u002FReal3DPortrait) | [中文文档](.\u002FREADME-zh.md)\n\n这是Real3D-Portrait的官方仓库，采用PyTorch实现，用于单次输入且具有高视频真实感的说话人像合成。您可访问我们的[演示页面](https:\u002F\u002Freal3dportrait.github.io\u002F)观看演示视频，并阅读我们的[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2401.08503.pdf)以了解技术细节。\n\n\u003Cp align=\"center\">\n    \u003Cbr>\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fyerfor_Real3DPortrait_readme_359714f7a224.png\" width=\"100%\"\u002F>\n    \u003Cbr>\n\u003C\u002Fp>\n\n# 🔥MimicTalk发布\n**我们已发布MimicTalk的代码（[https:\u002F\u002Fgithub.com\u002Fyerfor\u002FMimicTalk\u002F](https:\u002F\u002Fgithub.com\u002Fyerfor\u002FMimicTalk\u002F)），这是一种基于NeRF的、针对特定人物的先进说话人脸方法，能够实现更佳的视觉质量并支持说话风格控制。**\n\n## 🔥 更新\n- \\[2024.07.02\\] 我们发布了整个系统的训练代码，包括音频到动作模型、图像到平面模型、secc2plane模型以及secc2plane_torso模型，请参阅`docs\u002Ftrain_models`。同时，我们也发布了用于预处理和二值化数据集的代码，请参阅`docs\u002Fprocess_data`。感谢您的耐心等待！\n\n## 您可能也会感兴趣\n- 我们发布了GeneFace++的代码（[https:\u002F\u002Fgithub.com\u002Fyerfor\u002FGeneFacePlusPlus](https:\u002F\u002Fgithub.com\u002Fyerfor\u002FGeneFacePlusPlus)），这是一个基于NeRF的、针对特定人物的说话人脸系统，旨在生成与目标人物高度相似的高质量说话人脸视频。\n\n# 快速开始！\n## 环境安装\n请参考[安装指南](docs\u002Fprepare_env\u002Finstall_guide.md)，准备一个名为`real3dportrait`的Conda环境。\n## 下载预训练及第三方模型\n### 3DMM BFM模型\n从[Google Drive](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1o4t5YIw7w4cMUN4bgU9nPf6IyWVG1bEk?usp=sharing)或[百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1aqv1z_qZ23Vp2VP4uxxblQ?pwd=m9q5 )下载3DMM BFM模型，密码为m9q5。\n\n\n将所有文件放入`deep_3drecon\u002FBFM`目录下，文件结构应如下所示：\n```\ndeep_3drecon\u002FBFM\u002F\n├── 01_MorphableModel.mat\n├── BFM_exp_idx.mat\n├── BFM_front_idx.mat\n├── BFM_model_front.mat\n├── Exp_Pca.bin\n├── facemodel_info.mat\n├── index_mp468_from_mesh35709.npy\n└── std_exp.txt\n```\n\n### 预训练的Real3D-Portrait\n下载预训练的Real3D-Portrait：[Google Drive](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1MAveJf7RvJ-Opg1f5qhLdoRoC_Gc6nD9?usp=sharing)或[百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1Mjmbn0UtA1Zm9owZ7zWNgQ?pwd=6x4f )，密码为6x4f\n  \n将压缩包放入`checkpoints`目录并解压，文件结构应如下所示：\n```\ncheckpoints\u002F\n├── 240210_real3dportrait_orig\n│   ├── audio2secc_vae\n│   │   ├── config.yaml\n│   │   └── model_ckpt_steps_400000.ckpt\n│   └── secc2plane_torso_orig\n│       ├── config.yaml\n│       └── model_ckpt_steps_100000.ckpt\n└── pretrained_ckpts\n    └── mit_b0.pth\n```\n\n## 推理\n目前，我们提供**命令行界面**、**Gradio WebUI**和**Google Colab**进行推理。我们同时支持音频驱动和视频驱动的方法：\n\n- 对于音频驱动，至少需要准备“源图像”和“驱动音频”\n- 对于视频驱动，至少需要准备“源图像”和“驱动表情视频”\n\n### Gradio WebUI\n运行Gradio WebUI演示，在网页上上传资源，点击“Generate”按钮进行推理：\n```bash\npython inference\u002Fapp_real3dportrait.py\n```\n\n### Google Colab\n在本[Colab](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002Fyerfor\u002FReal3DPortrait\u002Fblob\u002Fmain\u002Finference\u002Freal3dportrait_demo.ipynb)中运行所有单元格。\n\n### 命令行推理\n首先切换到项目文件夹并激活Conda环境：\n```bash\ncd \u003CReal3DPortraitRoot>\nconda activate real3dportrait\nexport PYTHONPATH=.\u002F\n```\n对于音频驱动，提供源图像和驱动音频：\n```bash\npython inference\u002Freal3d_infer.py \\\n--src_img \u003CPATH_TO_SOURCE_IMAGE> \\\n--drv_aud \u003CPATH_TO_AUDIO> \\\n--drv_pose \u003CPATH_TO_POSE_VIDEO, OPTIONAL> \\\n--bg_img \u003CPATH_TO_BACKGROUND_IMAGE, OPTIONAL> \\\n--out_name \u003CPATH_TO_OUTPUT_VIDEO, OPTIONAL>\n```\n对于视频驱动，提供源图像和驱动表情视频（作为`--drv_aud`参数）：\n```bash\npython inference\u002Freal3d_infer.py \\\n--src_img \u003CPATH_TO_SOURCE_IMAGE> \\\n--drv_aud \u003CPATH_TO_EXP_VIDEO> \\\n--drv_pose \u003CPATH_TO_POSE_VIDEO, OPTIONAL> \\\n--bg_img \u003CPATH_TO_BACKGROUND_IMAGE, OPTIONAL> \\\n--out_name \u003CPATH_TO_OUTPUT_VIDEO, OPTIONAL>\n```\n一些可选参数：\n- `--drv_pose` 提供运动姿态信息，默认为静态姿势\n- `--bg_img` 提供背景信息，默认为从源图像中提取的背景\n- `--mouth_amp` 口部振幅，值越高嘴巴张开越大\n- `--map_to_init_pose` 当设置为`True`时，初始姿势会映射到源姿势，其他姿势也会相应调整\n- `--temperature` 表示audio2motion的采样温度，值越高结果越多样化，但准确性会降低\n- `--out_name` 如果未指定，结果将保存在`infer_out\u002Ftmp\u002F`目录下\n- `--out_mode` 当设置为`final`时，仅输出最终结果；当设置为`concat_debug`时，还会输出多个中间过程的可视化结果。\n\n命令行示例：\n```bash\npython inference\u002Freal3d_infer.py \\\n--src_img data\u002Fraw\u002Fexamples\u002FMacron.png \\\n--drv_aud data\u002Fraw\u002Fexamples\u002FObama_5s.wav \\\n--drv_pose data\u002Fraw\u002Fexamples\u002FMay_5s.mp4 \\\n--bg_img data\u002Fraw\u002Fexamples\u002Fbg.png \\\n--out_name output.mp4 \\\n--out_mode concat_debug\n```\n\n# 待办事项\n- [x] **发布Real3D-Portrait的预训练权重。**\n- [x] **发布Real3D-Portrait的推理代码。**\n- [x] **发布Real3D-Portrait的Gradio演示。**\n- [x] **发布Real3D-Portrait的Google Colab。**\n- [x] **发布Real3D-Portrait的训练代码。**\n\n# 免责声明\n严禁任何组织或个人在未经当事人同意的情况下，使用本文中提及的任何技术生成其说话视频，包括但不限于政府领导人、政治人物和名人。若违反此规定，可能会触犯版权法。\n\n# 引用\n如果您觉得本仓库对您的工作有所帮助，请考虑引用我们：\n```\n@article{ye2024real3d,\n  title={Real3D-Portrait：单次输入的逼真3D说话人像合成},\n  author={叶振辉、钟天云、任毅、杨佳琪、李伟创、黄嘉伟、蒋子越、何金正、黄荣杰、刘景林等},\n  journal={arXiv预印本 arXiv:2401.08503},\n  year={2024}\n}\n@article{ye2023geneface++,\n  title={GeneFace++：通用且稳定的实时音频驱动3D说话人脸生成},\n  author={叶振辉、何金正、蒋子越、黄荣杰、黄嘉伟、刘景林、任毅、尹翔、马泽俊、赵舟},\n  journal={arXiv预印本 arXiv:2305.00787},\n  year={2023}\n}\n@article{ye2023geneface,\n  title={GeneFace：通用且高保真的音频驱动3D说话人脸合成},\n  author={叶振辉、蒋子越、任毅、刘景林、何金正、赵舟},\n  journal={arXiv预印本 arXiv:2301.13430},\n  year={2023}\n}\n```","# Real3D-Portrait 快速上手指南\n\nReal3D-Portrait 是一个基于 PyTorch 的开源项目，旨在通过单张参考图像和驱动信号（音频或视频），生成高保真的 3D 说话人像视频。本项目支持音频驱动和视频驱动两种模式。\n\n## 1. 环境准备\n\n在开始之前，请确保您的系统满足以下要求：\n- **操作系统**: Linux (推荐 Ubuntu 18.04\u002F20.04) 或 macOS\n- **Python**: 3.8+\n- **GPU**: 支持 CUDA 的 NVIDIA 显卡（建议显存 8GB 以上）\n- **依赖管理**: Conda (推荐 Miniconda 或 Anaconda)\n\n**前置依赖：**\n- 已安装 `git` 和 `ffmpeg`。\n- 建议配置国内镜像源以加速下载（如清华源或阿里源）。\n\n## 2. 安装步骤\n\n### 2.1 克隆项目并创建环境\n首先克隆代码仓库，并按照官方指南创建 Conda 环境。\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fyerfor\u002FReal3DPortrait.git\ncd Real3DPortrait\n\n# 创建名为 real3dportrait 的 conda 环境\n# 具体依赖版本请参考 docs\u002Fprepare_env\u002Finstall_guide.md，通常包含 pytorch, torchvision 等\nconda create -n real3dportrait python=3.8\nconda activate real3dportrait\n\n# 安装项目依赖 (假设 requirements.txt 存在，具体以官方 install_guide 为准)\npip install -r requirements.txt\n# 若需加速，可使用：pip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n### 2.2 下载预训练模型与第三方资源\n\n你需要下载两类模型文件：**3DMM BFM 模型** 和 **Real3D-Portrait 预训练权重**。国内用户推荐使用百度网盘下载。\n\n#### A. 下载 3DMM BFM 模型\n- **下载地址**: [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1aqv1z_qZ23Vp2VP4uxxblQ?pwd=m9q5) (提取码: `m9q5`)\n- **存放路径**: 将下载的所有文件放入 `deep_3drecon\u002FBFM` 目录。\n- **目录结构确认**:\n  ```text\n  deep_3drecon\u002FBFM\u002F\n  ├── 01_MorphableModel.mat\n  ├── BFM_exp_idx.mat\n  ├── BFM_front_idx.mat\n  ├── BFM_model_front.mat\n  ├── Exp_Pca.bin\n  ├── facemodel_info.mat\n  ├── index_mp468_from_mesh35709.npy\n  └── std_exp.txt\n  ```\n\n#### B. 下载 Real3D-Portrait 预训练权重\n- **下载地址**: [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1Mjmbn0UtA1Zm9owZ7zWNgQ?pwd=6x4f) (提取码: `6x4f`)\n- **存放路径**: 将下载的 `.zip` 文件放入 `checkpoints` 目录并解压。\n- **目录结构确认**:\n  ```text\n  checkpoints\u002F\n  ├── 240210_real3dportrait_orig\n  │   ├── audio2secc_vae\n  │   │   ├── config.yaml\n  │   │   └── model_ckpt_steps_400000.ckpt\n  │   └── secc2plane_torso_orig\n  │       ├── config.yaml\n  │       └── model_ckpt_steps_100000.ckpt\n  └── pretrained_ckpts\n      └── mit_b0.pth\n  ```\n\n## 3. 基本使用\n\n项目支持三种推理方式：Gradio WebUI、Google Colab 和 命令行 (CLI)。以下介绍最常用的 **Gradio WebUI** 和 **命令行** 方式。\n\n### 方式一：Gradio WebUI (推荐新手)\n启动本地网页界面，上传素材即可生成，操作直观。\n\n```bash\npython inference\u002Fapp_real3dportrait.py\n```\n运行后在浏览器打开显示的本地地址（通常为 `http:\u002F\u002F127.0.0.1:7860`），上传源图像和驱动音频\u002F视频，点击 \"Generate\" 即可。\n\n### 方式二：命令行 (CLI)\n适合批量处理或集成到工作流中。\n\n**1. 激活环境并设置路径：**\n```bash\ncd \u003CReal3DPortraitRoot>\nconda activate real3dportrait\nexport PYTHONPATH=.\u002F\n```\n\n**2. 音频驱动示例 (最常用)**\n使用一张源图片和一段音频生成说话视频：\n```bash\npython inference\u002Freal3d_infer.py \\\n--src_img data\u002Fraw\u002Fexamples\u002FMacron.png \\\n--drv_aud data\u002Fraw\u002Fexamples\u002FObama_5s.wav \\\n--out_name output_audio_driven.mp4\n```\n\n**3. 视频驱动示例**\n使用一张源图片和一段驱动表情视频（作为 `--drv_aud` 参数传入）：\n```bash\npython inference\u002Freal3d_infer.py \\\n--src_img data\u002Fraw\u002Fexamples\u002FMacron.png \\\n--drv_aud data\u002Fraw\u002Fexamples\u002Fdriving_expression.mp4 \\\n--out_name output_video_driven.mp4\n```\n\n**常用可选参数说明：**\n- `--drv_pose`: 指定驱动姿态视频路径（默认为静态姿态）。\n- `--bg_img`: 指定背景图片路径（默认从源图提取）。\n- `--mouth_amp`: 嘴部动作幅度，数值越大嘴巴张得越开。\n- `--out_mode`: 设为 `concat_debug` 可输出包含中间过程的可视化视频，设为 `final` 仅输出最终结果。\n\n**完整参数示例：**\n```bash\npython inference\u002Freal3d_infer.py \\\n--src_img data\u002Fraw\u002Fexamples\u002FMacron.png \\\n--drv_aud data\u002Fraw\u002Fexamples\u002FObama_5s.wav \\\n--drv_pose data\u002Fraw\u002Fexamples\u002FMay_5s.mp4 \\\n--bg_img data\u002Fraw\u002Fexamples\u002Fbg.png \\\n--out_name output.mp4 \\\n--out_mode concat_debug\n```\n\n生成的视频默认保存在当前目录或 `infer_out\u002Ftmp\u002F` 文件夹下。","某小型游戏工作室急需为 NPC 角色快速生成多语言配音动画，但团队仅有一名美术和有限的预算。\n\n### 没有 Real3DPortrait 时\n- **制作成本高昂**：传统 3D 口型动画需建模师手动关键帧调整或购买昂贵的专业动捕设备，单个角色耗时数天。\n- **多语言适配困难**：每当游戏需要增加新的语言版本（如中、英、日），必须重新录制视频或反复修改口型数据，流程极其繁琐。\n- **真实感不足**：使用简单的 2D 图像驱动方案生成的视频往往面部僵硬，缺乏头部转动的立体感，难以融入高质量的 3D 游戏场景。\n- **资源依赖严重**：每更换一个角色形象都需要重新训练专用模型，无法实现“一张照片即可用”的灵活部署。\n\n### 使用 Real3DPortrait 后\n- **一键生成 3D 动态**：仅需上传一张角色正面照和一段语音音频，Real3DPortrait 即可自动合成具有真实头部转动和细腻表情的 3D 说话视频。\n- **高效多语言扩展**：切换语言时只需替换音频文件，无需重新采集视频或调整模型，几分钟内即可完成新语种版本的本地化。\n- **电影级逼真效果**：基于 NeRF 技术生成的肖像具备极佳的几何一致性和光影真实感，完美匹配现代游戏对画质的严苛要求。\n- **单样本快速落地**：利用 One-shot 特性，美术人员无需为每个 NPC 准备大量训练数据，极大降低了内容生产的门槛和时间成本。\n\nReal3DPortrait 将原本需要数天的 3D 角色动画制作流程压缩至分钟级，让小型团队也能以极低代价实现电影级的多语言互动体验。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fyerfor_Real3DPortrait_d5eda7c5.png","yerfor","Zhenhui Ye","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fyerfor_89c6218b.jpg","Work hard no anxiety. Currently working on Diffusion-based avatar video generation.","Zhejiang University",null,"https:\u002F\u002Fyerfor.github.io\u002Fen","https:\u002F\u002Fgithub.com\u002Fyerfor",[85,89,93,97,101],{"name":86,"color":87,"percentage":88},"Python","#3572A5",92.9,{"name":90,"color":91,"percentage":92},"Cuda","#3A4E3A",4.7,{"name":94,"color":95,"percentage":96},"C++","#f34b7d",1.5,{"name":98,"color":99,"percentage":100},"Jupyter Notebook","#DA5B0B",0.7,{"name":102,"color":103,"percentage":104},"Shell","#89e051",0.2,1093,131,"2026-04-05T09:24:10","MIT","Linux","需要 NVIDIA GPU (基于 PyTorch 和 NeRF\u002FBFM 3D 重建技术)，具体型号和显存未说明，但建议 8GB+ 以运行 3D 生成任务","未说明",{"notes":113,"python":114,"dependencies":115},"1. 必须使用 Conda 管理环境，环境名称指定为 'real3dportrait'。\n2. 首次运行前需手动下载并配置 3DMM BFM 模型文件及预训练权重（包含 audio2secc_vae, secc2plane_torso_orig 等），存放于特定目录结构。\n3. 支持音频驱动和视频驱动两种推理模式。\n4. 提供 CLI、Gradio WebUI 和 Google Colab 三种运行方式。\n5. 涉及 3D 人脸重建和神经辐射场 (NeRF) 相关计算，对 GPU 算力有较高要求。","未说明 (需使用 Conda 创建名为 real3dportrait 的环境)",[116,117,118],"PyTorch","Gradio","Conda",[15],[121,122,123],"nerf","one-shot","talking-face-generation","2026-03-27T02:49:30.150509","2026-04-08T10:01:07.639058",[127,132,137,142,146,151,155],{"id":128,"question_zh":129,"answer_zh":130,"source_url":131},24064,"运行时报错 'MeshRasterizer is not defined' 或缺少 pytorch3d 模块怎么办？","这是因为未安装 pytorch3d 依赖。请通过以下方式安装：\n方法一（推荐，Linux 快速安装）：\n`conda install pytorch3d::pytorch3d`\n方法二（通用，从源码编译，耗时较长）：\n`pip install \"git+https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fpytorch3d.git@stable\"`\n如果遇到超时问题，建议使用代理。","https:\u002F\u002Fgithub.com\u002Fyerfor\u002FReal3DPortrait\u002Fissues\u002F33",{"id":133,"question_zh":134,"answer_zh":135,"source_url":136},24065,"对驱动视频（driving video）和源图片有什么具体要求？","1. 图片要求：最好是正方形，如果不是正方形，代码会自动将其 resize 到 512x512，但这可能导致画面畸变和精度下降。图片中的人脸不能太小。\n2. 视频要求：没有严格的格式要求，但建议将 `map_to_init_pose` 参数设置为 True（默认即为 True），这样可以缓解源图片与驱动视频头部姿态不匹配的问题，获得更自然的结果。","https:\u002F\u002Fgithub.com\u002Fyerfor\u002FReal3DPortrait\u002Fissues\u002F9",{"id":138,"question_zh":139,"answer_zh":140,"source_url":141},24066,"生成的数字人效果不好或不自然，有什么优化建议？","1. 确保输入图片是人脸，且大小与视频中的人脸相似，否则效果会不自然。\n2. 检查是否使用了最新的检查点（checkpoint），作者已上传能处理某些问题的新模型，可在 README 提供的链接中下载。\n3. 开启 `map_to_init_pose` 选项，这有助于解决源图像与驱动姿态不匹配的问题。","https:\u002F\u002Fgithub.com\u002Fyerfor\u002FReal3DPortrait\u002Fissues\u002F4",{"id":143,"question_zh":144,"answer_zh":145,"source_url":136},24067,"如何给生成的数字人添加眨眼效果？","在推理参数中配置眨眼模式。根据日志显示，可以设置 `blink_mode` 参数（例如设为 'period' 周期性眨眼）。同时可以调整 `temperature`（温度系数）和 `mouth_amp`（嘴巴幅度）等参数来微调表情自然度。如果希望保持眼睛睁开，可将 `hold_eye_opened` 设为 True。",{"id":147,"question_zh":148,"answer_zh":149,"source_url":150},24068,"渲染过程中进程被杀死（Killed）或显存不足怎么办？","这通常是因为显存不足导致进程被系统终止。日志中若出现 `face area percent ... smaller than threshold`，说明检测到人脸区域过小，系统尝试裁剪但仍可能失败。建议：\n1. 使用更大分辨率或人脸占比更大的源图片。\n2. 确保 GPU 显存充足（如使用 Tesla T4 等显卡时注意并发任务）。\n3. 尝试在命令行运行以获取更详细的错误日志，排查是否是 EGL 初始化或 OpenGL 上下文问题。","https:\u002F\u002Fgithub.com\u002Fyerfor\u002FReal3DPortrait\u002Fissues\u002F19",{"id":152,"question_zh":153,"answer_zh":154,"source_url":131},24069,"BFM 文件夹中缺少 `mediapipe_in_bfm53201.npy` 文件会影响运行吗？","是的，缺少该文件可能会导致问题。根据 README，BFM 文件夹应包含 9 个文件，但部分下载链接（如 Google Drive 或百度网盘）可能只提供了 8 个。如果遇到相关报错，请检查是否漏下载了 `mediapipe_in_bfm53201.npy` 文件，并尝试重新下载完整数据包。",{"id":156,"question_zh":157,"answer_zh":158,"source_url":159},24063,"如何在 Windows 上解决 'No module named' 导入错误？","可以通过设置环境变量来解决。步骤如下：\n1. 在 Windows 搜索栏输入 \"env\" 并打开“编辑系统环境变量”。\n2. 点击“环境变量”按钮。\n3. 在“系统变量”下新建一个条目：\n   - 变量名：PYTHONPATH\n   - 变量值：你的项目文件夹路径。\n此外，也可以尝试在代码导入其他库之前添加 `sys.path.append('.\u002F')`，但这可能需要修改源代码。","https:\u002F\u002Fgithub.com\u002Fyerfor\u002FReal3DPortrait\u002Fissues\u002F10",[]]