[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-nbei--Deep-Flow-Guided-Video-Inpainting":3,"tool-nbei--Deep-Flow-Guided-Video-Inpainting":64},[4,18,26,35,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107888,2,"2026-04-06T11:32:50",[14,15,13],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":10,"last_commit_at":41,"category_tags":42,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[43,15,13,14],"语言模型",{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":10,"last_commit_at":50,"category_tags":51,"status":17},4292,"Deep-Live-Cam","hacksider\u002FDeep-Live-Cam","Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。\n\n这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。\n\n其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。",88924,"2026-04-06T03:28:53",[14,15,13,52],"视频",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",85013,"2026-04-06T11:09:19",[15,16,52,61,13,62,43,14,63],"插件","其他","音频",{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":77,"owner_avatar_url":78,"owner_bio":79,"owner_company":80,"owner_location":80,"owner_email":81,"owner_twitter":80,"owner_website":82,"owner_url":83,"languages":84,"stars":109,"forks":110,"last_commit_at":111,"license":112,"difficulty_score":113,"env_os":114,"env_gpu":115,"env_ram":116,"env_deps":117,"category_tags":124,"github_topics":80,"view_count":32,"oss_zip_url":80,"oss_zip_packed_at":80,"status":17,"created_at":125,"updated_at":126,"faqs":127,"releases":157},5370,"nbei\u002FDeep-Flow-Guided-Video-Inpainting","Deep-Flow-Guided-Video-Inpainting","pytorch implementation for \"Deep Flow-Guided Video Inpainting\"(CVPR'19)","Deep-Flow-Guided-Video-Inpainting 是一款基于深度学习的视频修复开源项目，源自 CVPR 2019 的研究成果。它的核心功能是智能移除视频中的指定物体或瑕疵，并自动填补由此产生的空白区域，同时确保修复后的画面在时间序列上流畅自然，避免出现闪烁或抖动。\n\n该工具主要解决了传统视频编辑中去除物体后背景重建困难、帧间一致性差的痛点。通过结合光流引导技术（FlowNet2）与图像生成算法，它能精准捕捉视频中的运动轨迹，将前后帧的信息合理传播到缺失区域，从而实现高质量的动态内容补全。\n\n该项目特别适合计算机视觉领域的研究人员、AI 开发者以及需要处理复杂视频后期任务的专业人士使用。由于涉及环境配置（如 PyTorch、FlowNet2 模块编译）和命令行操作，普通用户可能需要一定的技术门槛才能上手。\n\n其独特的技术亮点在于“深度光流引导”机制，利用改进的 FlowNet2 提取运动信息，并结合多阶段生成网络（包含 Deepfillv1 重构与 ResNet 骨干网），在保持纹理细节的同时显著提升了长视频修复的稳定性。目前项目已提供支持新版 PyTorch 的分支版","Deep-Flow-Guided-Video-Inpainting 是一款基于深度学习的视频修复开源项目，源自 CVPR 2019 的研究成果。它的核心功能是智能移除视频中的指定物体或瑕疵，并自动填补由此产生的空白区域，同时确保修复后的画面在时间序列上流畅自然，避免出现闪烁或抖动。\n\n该工具主要解决了传统视频编辑中去除物体后背景重建困难、帧间一致性差的痛点。通过结合光流引导技术（FlowNet2）与图像生成算法，它能精准捕捉视频中的运动轨迹，将前后帧的信息合理传播到缺失区域，从而实现高质量的动态内容补全。\n\n该项目特别适合计算机视觉领域的研究人员、AI 开发者以及需要处理复杂视频后期任务的专业人士使用。由于涉及环境配置（如 PyTorch、FlowNet2 模块编译）和命令行操作，普通用户可能需要一定的技术门槛才能上手。\n\n其独特的技术亮点在于“深度光流引导”机制，利用改进的 FlowNet2 提取运动信息，并结合多阶段生成网络（包含 Deepfillv1 重构与 ResNet 骨干网），在保持纹理细节的同时显著提升了长视频修复的稳定性。目前项目已提供支持新版 PyTorch 的分支版本，方便开发者进行二次开发或模型训练。","# Deep Flow-Guided Video Inpainting\n[CVPR 2019 Paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F1905.02884) | [Project Page](https:\u002F\u002Fnbei.github.io\u002Fvideo-inpainting.html) | [YouTube](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=LIJPUsrwx5E) | [BibeTex](#citation)\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnbei_Deep-Flow-Guided-Video-Inpainting_readme_3248570792e0.gif\" width=\"860\"\u002F>\n\n## Install & Requirements\nThe code has been tested on pytorch=0.4.0 and python3.6. Please refer to `requirements.txt` for detailed information. \n\nAlternatively, you can run it with the provided [Docker image](docker\u002FREADME.md).\n\n**To Install python packages**\n```\npip install -r requirements.txt\n```\n**To Install flownet2 modules**\n```\nbash install_scripts.sh\n```\n## Componets\nThere exist three components in this repo:\n* Video Inpainting Tool: DFVI\n* Extract Flow: FlowNet2(modified by [Nvidia official version](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fflownet2-pytorch\u002Ftree\u002Fpython36-PyTorch0.4))\n* Image Inpainting(reimplemented from [Deepfillv1](https:\u002F\u002Fgithub.com\u002FJiahuiYu\u002Fgenerative_inpainting))\n\n## Usage\n* To use our video inpainting tool for object removing, we recommend that the frames should be put into `xxx\u002Fvideo_name\u002Fframes`\nand the mask of each frame should be put into `xxx\u002Fvideo_name\u002Fmasks`. \nAnd please download the resources of the demo and model weights from [here](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1a2FrHIQGExJTHXxSIibZOGMukNrypr_g?usp=sharing).\nAn example demo containing frames and masks has been put into the demo and running the following command will get the result:\n```\npython tools\u002Fvideo_inpaint.py --frame_dir .\u002Fdemo\u002Fframes --MASK_ROOT .\u002Fdemo\u002Fmasks --img_size 512 832 --FlowNet2 --DFC --ResNet101 --Propagation \n```\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnbei_Deep-Flow-Guided-Video-Inpainting_readme_3ffcc5be07ed.gif\" width=\"850\"\u002F>\n\nWe provide the original model weight used in our movie demo which use ResNet101 as backbone and other related weights pls download from [here](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1a2FrHIQGExJTHXxSIibZOGMukNrypr_g?usp=sharing). \nPlease refer to [tools](https:\u002F\u002Fgithub.com\u002Fnbei\u002FDeep-Flow-Guided-Video-Inpainting\u002Ftree\u002Fmaster\u002Ftools) for detailed use and training settings. \n\n* For fixed region inpainting, we provide the model weights of refined stages in DAVIS. Please download the lady-running resources [link](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1GHV1g1IkpGa2qhRnZE2Fv30RXrbHPH0O?usp=sharing) and \nmodel weights [link](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1zIamN-DzvknZLf5QAGCfvWs7a6qUqaaC?usp=sharing). The following command can help you to get the result:\n```\nCUDA_VISIBLE_DEVICES=0 python tools\u002Fvideo_inpaint.py --frame_dir .\u002Fdemo\u002Flady-running\u002Fframes \\\n--MASK_ROOT .\u002Fdemo\u002Flady-running\u002Fmask_bbox.png \\\n--img_size 448 896 --DFC --FlowNet2 --Propagation \\\n--PRETRAINED_MODEL_1 .\u002Fpretrained_models\u002Fresnet50_stage1.pth \\\n--PRETRAINED_MODEL_2 .\u002Fpretrained_models\u002FDAVIS_model\u002Fdavis_stage2.pth \\\n--PRETRAINED_MODEL_3 .\u002Fpretrained_models\u002FDAVIS_model\u002Fdavis_stage3.pth \\\n--MS --th_warp 3 --FIX_MASK\n```\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnbei_Deep-Flow-Guided-Video-Inpainting_readme_bdc1243ce327.gif\" width=\"850\"\u002F>\nYou can just change the **th_warp** param for getting better results in your video. \n\n* To extract flow for videos:\n```\npython tools\u002Finfer_flownet2.py --frame_dir xxx\u002Fvideo_name\u002Fframes\n```\n\n* To use the Deepfillv1-Pytorch model for image inpainting,\n```\npython tools\u002Fframe_inpaint.py --test_img xxx.png --test_mask xxx.png --image_shape 512 512\n```\n\n## Update\n* More results can be found and downloaded [here](https:\u002F\u002Fwww.dropbox.com\u002Fsh\u002Fjxcl4he5bgsmk7t\u002FAADxnfqHj-PGcjxd02Bil56ya?dl=0). \n* **Support for PyTorch>1.0:** Sorry for the late update and the pre-release verison for supporting PyTorch>1.0 has been integrated into our new [v1.1 branch](https:\u002F\u002Fgithub.com\u002Fnbei\u002FDeep-Flow-Guided-Video-Inpainting\u002Ftree\u002Fv1.1).\n\n* The frames and masks of our movie demo have been put into [Google Drive](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1z2n1LzVY8gjvy7ezF_tuuMgVouR_pFcz?usp=sharing).\n* The weights of DAVIS's refined stages have been released and you can download from [here](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1zIamN-DzvknZLf5QAGCfvWs7a6qUqaaC?usp=sharing).\nPlease refer to [Usage](#Usage) for using the Multi-Scale models.\n## FAQ\n* Errors when running install_scripts.sh\nif you meet some problem about gcc when compiling, pls check if the following commands will help:\n```\nexport CXXFLAGS=\"-std=c++11\"\nexport CFLAGS=\"-std=c99\"\n```\n\n## Citation\n```\n@InProceedings{Xu_2019_CVPR,\nauthor = {Xu, Rui and Li, Xiaoxiao and Zhou, Bolei and Loy, Chen Change},\ntitle = {Deep Flow-Guided Video Inpainting},\nbooktitle = {The IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},\nmonth = {June},\nyear = {2019}\n}\n```\n","# 深度流引导视频修复\n[CVPR 2019 论文](https:\u002F\u002Farxiv.org\u002Fabs\u002F1905.02884) | [项目页面](https:\u002F\u002Fnbei.github.io\u002Fvideo-inpainting.html) | [YouTube](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=LIJPUsrwx5E) | [BibTeX](#citation)\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnbei_Deep-Flow-Guided-Video-Inpainting_readme_3248570792e0.gif\" width=\"860\"\u002F>\n\n## 安装与依赖\n该代码已在 PyTorch=0.4.0 和 Python3.6 环境下测试通过。详细信息请参阅 `requirements.txt`。\n\n或者，您也可以使用提供的 [Docker 镜像](docker\u002FREADME.md) 来运行。\n\n**安装 Python 包**\n```\npip install -r requirements.txt\n```\n\n**安装 Flownet2 模块**\n```\nbash install_scripts.sh\n```\n\n## 组件\n本仓库包含三个主要组件：\n* 视频修复工具：DFVI\n* 光流提取：Flownet2（基于 [NVIDIA 官方版本](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fflownet2-pytorch\u002Ftree\u002Fpython36-PyTorch0.4) 修改）\n* 图像修复（基于 [Deepfillv1](https:\u002F\u002Fgithub.com\u002FJiahuiYu\u002Fgenerative_inpainting) 重新实现）\n\n## 使用方法\n* 若要使用我们的视频修复工具进行物体移除，建议将视频帧放入 `xxx\u002Fvideo_name\u002Fframes` 目录，并将每帧的掩码放入 `xxx\u002Fvideo_name\u002Fmasks` 目录。\n同时，请从 [这里](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1a2FrHIQGExJTHXxSIibZOGMukNrypr_g?usp=sharing) 下载演示资源和模型权重。\n我们已在 demo 文件夹中提供包含帧和掩码的示例，运行以下命令即可得到结果：\n```\npython tools\u002Fvideo_inpaint.py --frame_dir .\u002Fdemo\u002Fframes --MASK_ROOT .\u002Fdemo\u002Fmasks --img_size 512 832 --FlowNet2 --DFC --ResNet101 --Propagation \n```\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnbei_Deep-Flow-Guided-Video-Inpainting_readme_3ffcc5be07ed.gif\" width=\"850\"\u002F>\n\n我们提供了电影演示中使用的原始模型权重，其骨干网络为 ResNet101，其他相关权重请从 [这里](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1a2FrHIQGExJTHXxSIibZOGMukNrypr_g?usp=sharing) 下载。\n详细使用及训练配置请参阅 [tools](https:\u002F\u002Fgithub.com\u002Fnbei\u002FDeep-Flow-Guided-Video-Inpainting\u002Ftree\u002Fmaster\u002Ftools) 目录。\n\n* 对于固定区域的图像修复，我们提供了 DAVIS 数据集中细化阶段的模型权重。请下载跑步女士的相关资源 [链接](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1GHV1g1IkpGa2qhRnZE2Fv30RXrbHPH0O?usp=sharing) 和模型权重 [链接](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1zIamN-DzvknZLf5QAGCfvWs7a6qUqaaC?usp=sharing)。以下命令可帮助您获得修复效果：\n```\nCUDA_VISIBLE_DEVICES=0 python tools\u002Fvideo_inpaint.py --frame_dir .\u002Fdemo\u002Flady-running\u002Fframes \\\n--MASK_ROOT .\u002Fdemo\u002Flady-running\u002Fmask_bbox.png \\\n--img_size 448 896 --DFC --FlowNet2 --Propagation \\\n--PRETRAINED_MODEL_1 .\u002Fpretrained_models\u002Fresnet50_stage1.pth \\\n--PRETRAINED_MODEL_2 .\u002Fpretrained_models\u002FDAVIS_model\u002Fdavis_stage2.pth \\\n--PRETRAINED_MODEL_3 .\u002Fpretrained_models\u002FDAVIS_model\u002Fdavis_stage3.pth \\\n--MS --th_warp 3 --FIX_MASK\n```\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnbei_Deep-Flow-Guided-Video-Inpainting_readme_bdc1243ce327.gif\" width=\"850\"\u002F>\n您只需调整 **th_warp** 参数，即可在您的视频中获得更好的修复效果。\n\n* 提取视频光流：\n```\npython tools\u002Finfer_flownet2.py --frame_dir xxx\u002Fvideo_name\u002Fframes\n```\n\n* 使用 Deepfillv1-PyTorch 模型进行图像修复：\n```\npython tools\u002Fframe_inpaint.py --test_img xxx.png --test_mask xxx.png --image_shape 512 512\n```\n\n## 更新\n* 更多结果可在 [这里](https:\u002F\u002Fwww.dropbox.com\u002Fsh\u002Fjxcl4he5bgsmk7t\u002FAADxnfqHj-PGcjxd02Bil56ya?dl=0) 查看并下载。\n* **支持 PyTorch>1.0：** 对于更新延迟深感抱歉，现已集成支持 PyTorch>1.0 的预发布版本到我们的新 [v1.1 分支](https:\u002F\u002Fgithub.com\u002Fnbei\u002FDeep-Flow-Guided-Video-Inpainting\u002Ftree\u002Fv1.1)。\n\n* 我们的电影演示所用的帧和掩码已上传至 [Google Drive](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1z2n1LzVY8gjvy7ezF_tuuMgVouR_pFcz?usp=sharing)。\n* DAVIS 数据集细化阶段的模型权重已发布，您可从 [这里](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1zIamN-DzvknZLf5QAGCfvWs7a6qUqaaC?usp=sharing) 下载。\n有关多尺度模型的使用方法，请参阅 [使用方法](#Usage)。\n\n## 常见问题解答\n* 运行 install_scripts.sh 时出现错误\n若编译过程中遇到 gcc 相关问题，请尝试以下命令：\n```\nexport CXXFLAGS=\"-std=c++11\"\nexport CFLAGS=\"-std=c99\"\n```\n\n## 引用\n```\n@InProceedings{Xu_2019_CVPR,\nauthor = {Xu, Rui and Li, Xiaoxiao and Zhou, Bolei and Loy, Chen Change},\ntitle = {Deep Flow-Guided Video Inpainting},\nbooktitle = {The IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},\nmonth = {June},\nyear = {2019}\n}\n```","# Deep-Flow-Guided-Video-Inpainting 快速上手指南\n\n## 环境准备\n\n本项目基于 **PyTorch 0.4.0** 和 **Python 3.6** 开发测试。为确保兼容性，建议优先使用官方提供的 Docker 镜像，或在独立环境中配置以下依赖：\n\n*   **操作系统**: Linux (推荐)\n*   **Python**: 3.6\n*   **PyTorch**: 0.4.0\n*   **编译器**: GCC (需支持 C++11 和 C99 标准)\n*   **其他依赖**: 详见 `requirements.txt`\n\n> **注意**：若需支持 PyTorch > 1.0 版本，请切换至项目的 `v1.1` 分支。\n\n## 安装步骤\n\n### 1. 安装 Python 依赖\n克隆仓库后，进入目录并安装基础 Python 包：\n```bash\npip install -r requirements.txt\n```\n\n### 2. 编译 FlowNet2 模块\n执行脚本以编译修改版的 FlowNet2（光流提取模块）：\n```bash\nbash install_scripts.sh\n```\n*若在编译过程中遇到 gcc 相关错误，请尝试设置以下环境变量后重试：*\n```bash\nexport CXXFLAGS=\"-std=c++11\"\nexport CFLAGS=\"-std=c99\"\n```\n\n### 3. 下载模型与演示资源\n使用前需从 Google Drive 下载预训练模型权重及演示数据：\n*   **通用模型与 Demo 资源**: [下载链接](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1a2FrHIQGExJTHXxSIibZOGMukNrypr_g?usp=sharing)\n*   **DAVIS 精细化阶段模型**: [下载链接](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1zIamN-DzvknZLf5QAGCfvWs7a6qUqaaC?usp=sharing)\n\n将下载的权重文件放置于项目对应的 `pretrained_models` 目录下。\n\n## 基本使用\n\n### 场景一：移除视频中的物体（推荐示例）\n\n**1. 准备数据**\n将视频帧序列放入 `xxx\u002Fvideo_name\u002Fframes` 目录，对应的掩码（Mask）图片放入 `xxx\u002Fvideo_name\u002Fmasks` 目录。\n\n**2. 运行推理**\n使用以下命令处理演示数据（需确保已下载对应 demo 资源）：\n```bash\npython tools\u002Fvideo_inpaint.py --frame_dir .\u002Fdemo\u002Fframes --MASK_ROOT .\u002Fdemo\u002Fmasks --img_size 512 832 --FlowNet2 --DFC --ResNet101 --Propagation\n```\n\n### 场景二：固定区域修复（Fixed Region Inpainting）\n\n针对固定区域的修复任务（如 DAVIS 数据集示例），需指定多个阶段的预训练模型：\n\n```bash\nCUDA_VISIBLE_DEVICES=0 python tools\u002Fvideo_inpaint.py --frame_dir .\u002Fdemo\u002Flady-running\u002Fframes \\\n--MASK_ROOT .\u002Fdemo\u002Flady-running\u002Fmask_bbox.png \\\n--img_size 448 896 --DFC --FlowNet2 --Propagation \\\n--PRETRAINED_MODEL_1 .\u002Fpretrained_models\u002Fresnet50_stage1.pth \\\n--PRETRAINED_MODEL_2 .\u002Fpretrained_models\u002FDAVIS_model\u002Fdavis_stage2.pth \\\n--PRETRAINED_MODEL_3 .\u002Fpretrained_models\u002FDAVIS_model\u002Fdavis_stage3.pth \\\n--MS --th_warp 3 --FIX_MASK\n```\n*提示：可通过调整 `--th_warp` 参数优化不同视频的修复效果。*\n\n### 其他工具命令\n\n*   **仅提取视频光流**:\n    ```bash\n    python tools\u002Finfer_flownet2.py --frame_dir xxx\u002Fvideo_name\u002Fframes\n    ```\n\n*   **单张图片修复 (基于 Deepfillv1)**:\n    ```bash\n    python tools\u002Fframe_inpaint.py --test_img xxx.png --test_mask xxx.png --image_shape 512 512\n    ```","某影视后期团队在处理一段户外采访视频时，发现画面背景中意外闯入了一名无关路人，需要在不破坏背景动态纹理的前提下将其移除。\n\n### 没有 Deep-Flow-Guided-Video-Inpainting 时\n- **画面闪烁严重**：传统逐帧修图工具无法理解时间维度，导致修复区域在连续播放时出现明显的抖动和闪烁。\n- **运动模糊失真**：当背景或摄像机移动时，手动修补的像素无法匹配光流运动，产生拖影或静态斑块。\n- **人工成本极高**：剪辑师需对每一帧进行精细的手动绘制与跟踪，处理一段 10 秒的视频往往需要数小时。\n- **纹理断裂明显**：简单的复制粘贴难以重建复杂的背景纹理（如草地、水流），导致修复区域与周围环境格格不入。\n\n### 使用 Deep-Flow-Guided-Video-Inpainting 后\n- **时序高度一致**：利用 FlowNet2 提取的光流信息引导生成，确保修复内容随视频运动自然流转，彻底消除闪烁。\n- **动态完美融合**：算法能精准预测物体运动轨迹，即使在摄像机晃动或背景复杂流动时，填充内容也能保持清晰的动态模糊。\n- **自动化高效处理**：只需提供首帧掩码或固定区域，即可一键自动完成整个视频序列的修复，将数小时工作缩短至几分钟。\n- **纹理智能重建**：基于深度生成的图像修复模块能根据上下文智能补全缺失的背景细节，使移除痕迹几乎不可见。\n\nDeep-Flow-Guided-Video-Inpainting 通过引入光流引导机制，将视频修复从繁琐的“逐帧手工活”转变为智能化的“时空连贯生成”，极大提升了影视后期效率与质量。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnbei_Deep-Flow-Guided-Video-Inpainting_a273fc7c.png","nbei","Rui Xu","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fnbei_32ec228a.jpg","PhD in MMLab, CUHK",null,"nbeiray@gmail.com","nbei.github.io","https:\u002F\u002Fgithub.com\u002Fnbei",[85,89,93,97,101,105],{"name":86,"color":87,"percentage":88},"Python","#3572A5",74.7,{"name":90,"color":91,"percentage":92},"Cuda","#3A4E3A",16.1,{"name":94,"color":95,"percentage":96},"C","#555555",7,{"name":98,"color":99,"percentage":100},"C++","#f34b7d",1.4,{"name":102,"color":103,"percentage":104},"Shell","#89e051",0.5,{"name":106,"color":107,"percentage":108},"Dockerfile","#384d54",0.3,2379,444,"2026-04-02T08:38:41","MIT",4,"Linux","需要 NVIDIA GPU (用于运行 FlowNet2 和模型推理)，具体型号和显存未说明，需支持 CUDA 编译环境","未说明",{"notes":118,"python":119,"dependencies":120},"1. 代码主要在 PyTorch 0.4.0 和 Python 3.6 环境下测试通过；若需使用 PyTorch > 1.0 版本，请切换至 v1.1 分支。2. 提供 Docker 镜像作为替代运行方案。3. 安装 FlowNet2 模块时需要编译 C++\u002FCUDA 代码，若遇到 gcc 错误，需设置环境变量 CXXFLAGS='-std=c++11' 和 CFLAGS='-std=c99'。4. 运行前需手动从 Google Drive 下载演示资源帧、掩码及预训练模型权重。","3.6",[121,122,123],"pytorch==0.4.0","FlowNet2 (NVIDIA 修改版)","gcc\u002Fg++ (需支持 C++11\u002FC99 标准)",[15,52],"2026-03-27T02:49:30.150509","2026-04-08T13:01:12.587816",[128,133,138,143,148,153],{"id":129,"question_zh":130,"answer_zh":131,"source_url":132},24356,"运行 install_scripts.sh 安装时出现 'nvcc: command not found' 和 'torch.utils.ffi is deprecated' 错误怎么办？","该问题通常由 CUDA 环境未正确配置或 PyTorch 版本不兼容引起。解决方案包括：\n1. 确保已安装 CUDA 并将 nvcc 添加到系统 PATH 环境变量中。\n2. 如果有多个 CUDA 版本，请在每个 make.sh 文件顶部显式指定正确的 CUDA 和 cuDNN 路径。\n3. 检查 PyTorch 版本，该项目可能需要特定版本（如 0.4.0），因为高版本中 torch.utils.ffi 已被弃用，建议尝试降级 PyTorch 或使用维护者发布的修复版本（如 v1.1 分支）。\n4. 注意检查 flownet2 中编译的 cuda 文件是否正确链接了新的 .so 文件。","https:\u002F\u002Fgithub.com\u002Fnbei\u002FDeep-Flow-Guided-Video-Inpainting\u002Fissues\u002F7",{"id":134,"question_zh":135,"answer_zh":136,"source_url":137},24357,"使用预训练模型在 DAVIS 数据集上测试，结果边缘效果不好或有残留物体怎么办？","这是因为使用的掩码（mask）范围不够大，导致物体边缘仍留在图像中。解决方法是在运行命令时添加 '--enlarge_mask' 参数。建议将掩码扩大 10-15 像素，可以使用 OpenCV 的 cv2.dilate() 函数来处理掩码图像，然后再进行修复测试。","https:\u002F\u002Fgithub.com\u002Fnbei\u002FDeep-Flow-Guided-Video-Inpainting\u002Fissues\u002F22",{"id":139,"question_zh":140,"answer_zh":141,"source_url":142},24358,"如何对单张图片进行修复测试（Frame Inpainting）？","如果只想测试单张图片而非视频，可以使用 frame inpainting 工具。具体命令如下：\npython tools\u002Fframe_inpaint.py --test_img xxx.png --test_mask xxx.png --image_shape 512 512\n请确保将 xxx.png 替换为实际的图片路径，并根据需要调整 image_shape 参数以匹配输入尺寸。","https:\u002F\u002Fgithub.com\u002Fnbei\u002FDeep-Flow-Guided-Video-Inpainting\u002Fissues\u002F17",{"id":144,"question_zh":145,"answer_zh":146,"source_url":147},24359,"安装脚本时遇到多版本 CUDA 导致无法找到正确版本或编译失败的问题如何解决？","当系统中存在多个 CUDA 和 cuDNN 版本时，编译脚本可能无法自动选择正确的版本。解决方法是手动编辑项目中的每个 make.sh 文件，在文件顶部添加代码以显式导出正确的 CUDA 和 cuDNN 路径（例如 export PATH=\u002Fusr\u002Flocal\u002Fcuda-9.0\u002Fbin:$PATH 和 export LD_LIBRARY_PATH=\u002Fusr\u002Flocal\u002Fcuda-9.0\u002Flib64:$LD_LIBRARY_PATH），确保编译器调用的是预期的版本。","https:\u002F\u002Fgithub.com\u002Fnbei\u002FDeep-Flow-Guided-Video-Inpainting\u002Fissues\u002F39",{"id":149,"question_zh":150,"answer_zh":151,"source_url":152},24360,"运行视频修复脚本时出现 OpenCV resize 错误 '(-215:Assertion failed) !ssize.empty()' 是什么原因？","该错误通常表示 OpenCV 试图调整大小的图像源为空（即图像未正确加载）。这可能是因为提供的帧目录路径错误、文件名不匹配或图像文件损坏。请检查 --frame_dir 和 --MASK_ROOT 参数指向的路径是否正确，确认目录下包含有效的图像文件，并且文件格式受支持。此外，确保输入图像的尺寸设置（--img_size）合理。","https:\u002F\u002Fgithub.com\u002Fnbei\u002FDeep-Flow-Guided-Video-Inpainting\u002Fissues\u002F34",{"id":154,"question_zh":155,"answer_zh":156,"source_url":147},24361,"PyTorch 版本不兼容导致安装或运行失败，应该使用哪个版本？","根据社区反馈，该项目可能对 PyTorch 版本敏感。如果遇到 'torch.utils.ffi is deprecated' 或其他兼容性错误，尝试安装 PyTorch 0.4.0 版本可能解决问题。较高版本的 PyTorch 移除了部分旧接口，导致旧代码无法运行。建议使用虚拟环境隔离并安装指定版本的 PyTorch 进行测试。",[]]