[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-yoyo-nb--Thin-Plate-Spline-Motion-Model":3,"tool-yoyo-nb--Thin-Plate-Spline-Motion-Model":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",160015,2,"2026-04-18T11:30:52",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",109154,"2026-04-18T11:18:24",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":72,"owner_avatar_url":73,"owner_bio":74,"owner_company":75,"owner_location":75,"owner_email":75,"owner_twitter":75,"owner_website":75,"owner_url":76,"languages":77,"stars":86,"forks":87,"last_commit_at":88,"license":89,"difficulty_score":10,"env_os":90,"env_gpu":91,"env_ram":92,"env_deps":93,"category_tags":98,"github_topics":100,"view_count":32,"oss_zip_url":75,"oss_zip_packed_at":75,"status":17,"created_at":109,"updated_at":110,"faqs":111,"releases":142},9321,"yoyo-nb\u002FThin-Plate-Spline-Motion-Model","Thin-Plate-Spline-Motion-Model","[CVPR 2022] Thin-Plate Spline Motion Model for Image Animation.","Thin-Plate-Spline-Motion-Model 是一款源自 CVPR 2022 论文的开源图像动画工具，核心功能是让静态图片“动起来”。它通过输入一张源人物图片和一段驱动视频，即可生成源人物模仿驱动视频动作的新动画，广泛应用于数字人播报、表情迁移及虚拟角色创作。\n\n该模型主要解决了传统方法在处理大幅度肢体动作或复杂形变时，容易出现画面撕裂、背景失真或动作僵硬的问题。其独特的技术亮点在于引入了“薄板样条（Thin-Plate Spline）”运动模型，这是一种基于物理的平滑形变算法，能够更精准地建模局部细节与全局运动的关联，从而在保持图像结构完整性的同时，实现极其流畅自然的动态效果。\n\n这款工具非常适合计算机视觉研究人员、AI 开发者以及需要高质量动态内容生成的设计师使用。项目不仅提供了完整的训练代码和预训练模型，支持在 VoxCeleb、TaiChi 等主流数据集上复现结果，还集成了 Hugging Face、Replicate 等平台的在线演示，方便用户快速体验。对于希望深入探索图像驱动技术或构建自定义动画应用的专业人士而言，这是一个兼具学术价值与实用性的优秀选择。","# [CVPR2022] Thin-Plate Spline Motion Model for Image Animation\n\n[![License: MIT](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLicense-MIT-yellow.svg)](LICENSE)\n![stars](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fyoyo-nb\u002FThin-Plate-Spline-Motion-Model.svg?style=flat)\n![GitHub repo size](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Frepo-size\u002Fyoyo-nb\u002FThin-Plate-Spline-Motion-Model.svg)\n\nSource code of the CVPR'2022 paper \"Thin-Plate Spline Motion Model for Image Animation\"\n\n[**Paper**](https:\u002F\u002Farxiv.org\u002Fabs\u002F2203.14367) **|** [**Supp**](https:\u002F\u002Fcloud.tsinghua.edu.cn\u002Ff\u002Ff7b8573bb5b04583949f\u002F?dl=1)\n\n### Example animation\n\n![vox](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fyoyo-nb_Thin-Plate-Spline-Motion-Model_readme_2f329b75b651.gif)\n![ted](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fyoyo-nb_Thin-Plate-Spline-Motion-Model_readme_fa9e0ca15ecc.gif)\n\n**PS**: The paper trains the model for 100 epochs for a fair comparison. You can use more data and train for more epochs to get better performance.\n\n\n### Web demo for animation\n- Integrated into [Huggingface Spaces 🤗](https:\u002F\u002Fhuggingface.co\u002Fspaces) using [Gradio](https:\u002F\u002Fgithub.com\u002Fgradio-app\u002Fgradio). Try out the Web Demo: [![Hugging Face Spaces](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Spaces-blue)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FCVPR\u002FImage-Animation-using-Thin-Plate-Spline-Motion-Model)\n- Try the web demo for animation here: [![Replicate](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fyoyo-nb_Thin-Plate-Spline-Motion-Model_readme_7dacf1cc5d87.png)](https:\u002F\u002Freplicate.com\u002Fyoyo-nb\u002Fthin-plate-spline-motion-model)\n- Google Colab: [![Open In Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1DREfdpnaBhqISg0fuQlAAIwyGVn1loH_?usp=sharing)\n\n### Pre-trained models\n- ~~[Tsinghua Cloud](https:\u002F\u002Fcloud.tsinghua.edu.cn\u002Fd\u002F30ab8765da364fefa101\u002F)~~\n- [Yandex](https:\u002F\u002Fdisk.yandex.com\u002Fd\u002FbWopgbGj1ZUV1w)\n- [Google Drive](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1pNDo1ODQIb5HVObRtCmubqJikmR7VVLT?usp=sharing)\n- [Baidu Yun](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1hnXmDpIbRC6WqE3tF9c5QA?pwd=1234)\n\n### Installation\n\nWe support ```python3```.(Recommended version is Python 3.9).\nTo install the dependencies run:\n```bash\npip install -r requirements.txt\n```\n\n\n### YAML configs\n \nThere are several configuration files one for each `dataset` in the `config` folder named as ```config\u002Fdataset_name.yaml```. \n\nSee description of the parameters in the ```config\u002Ftaichi-256.yaml```.\n\n### Datasets\n\n1) **MGif**. Follow [Monkey-Net](https:\u002F\u002Fgithub.com\u002FAliaksandrSiarohin\u002Fmonkey-net).\n\n2) **TaiChiHD** and **VoxCeleb**. Follow instructions from [video-preprocessing](https:\u002F\u002Fgithub.com\u002FAliaksandrSiarohin\u002Fvideo-preprocessing). \n\n3) **TED-talks**. Follow instructions from [MRAA](https:\u002F\u002Fgithub.com\u002Fsnap-research\u002Farticulated-animation).\n\nHere are **VoxCeleb**, **TaiChiHD** and **TED-talks**  pre-processed datasets used in the paper. [Baidu Yun](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1HKJOtXBIiP_tlLiFbzn3oA?pwd=x7xv)\nDownload all files under the folder, then merge the files and decompress, for example:\n```bash\ncat vox.tar.* > vox.tar\ntar xvf vox.tar\n```\n\n\n### Training\nTo train a model on specific dataset run:\n```\nCUDA_VISIBLE_DEVICES=0,1 python run.py --config config\u002Fdataset_name.yaml --device_ids 0,1\n```\nA log folder named after the timestamp will be created. Checkpoints, loss values, reconstruction results will be saved to this folder.\n\n\n#### Training AVD network\nTo train a model on specific dataset run:\n```\nCUDA_VISIBLE_DEVICES=0 python run.py --mode train_avd --checkpoint '{checkpoint_folder}\u002Fcheckpoint.pth.tar' --config config\u002Fdataset_name.yaml\n```\nCheckpoints, loss values, reconstruction results will be saved to `{checkpoint_folder}`.\n\n\n\n### Evaluation on video reconstruction\n\nTo evaluate the reconstruction performance run:\n```\nCUDA_VISIBLE_DEVICES=0 python run.py --mode reconstruction --config config\u002Fdataset_name.yaml --checkpoint '{checkpoint_folder}\u002Fcheckpoint.pth.tar'\n```\nThe `reconstruction` subfolder will be created in `{checkpoint_folder}`.\nThe generated video will be stored to this folder, also generated videos will be stored in ```png``` subfolder in loss-less '.png' format for evaluation.\nTo compute metrics, follow instructions from [pose-evaluation](https:\u002F\u002Fgithub.com\u002FAliaksandrSiarohin\u002Fpose-evaluation).\n\n\n### Image animation demo\n- notebook: `demo.ipynb`, edit the config cell and run for image animation.\n- python:\n```bash\nCUDA_VISIBLE_DEVICES=0 python demo.py --config config\u002Fvox-256.yaml --checkpoint checkpoints\u002Fvox.pth.tar --source_image .\u002Fsource.jpg --driving_video .\u002Fdriving.mp4\n```\n\n# Acknowledgments\nThe main code is based upon [FOMM](https:\u002F\u002Fgithub.com\u002FAliaksandrSiarohin\u002Ffirst-order-model) and [MRAA](https:\u002F\u002Fgithub.com\u002Fsnap-research\u002Farticulated-animation)\n\nThanks for the excellent works!\n\nAnd Thanks to:\n\n- [@chenxwh](https:\u002F\u002Fgithub.com\u002Fchenxwh): Add Web Demo & Docker environment [![Replicate](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fyoyo-nb_Thin-Plate-Spline-Motion-Model_readme_7dacf1cc5d87.png)](https:\u002F\u002Freplicate.com\u002Fyoyo-nb\u002Fthin-plate-spline-motion-model) \n\n- [@TalkUHulk](https:\u002F\u002Fgithub.com\u002FTalkUHulk): The C++\u002FPython demo is provided in [Image-Animation-Turbo-Boost](https:\u002F\u002Fgithub.com\u002FTalkUHulk\u002FImage-Animation-Turbo-Boost)\n\n- [@AK391](https:\u002F\u002Fgithub.com\u002FAK391): Add huggingface web demo [![Hugging Face Spaces](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Spaces-blue)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FCVPR\u002FImage-Animation-using-Thin-Plate-Spline-Motion-Model)","# [CVPR2022] 用于图像动画的薄板样条运动模型\n\n[![许可证：MIT](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLicense-MIT-yellow.svg)](LICENSE)\n![星标](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fyoyo-nb\u002FThin-Plate-Spline-Motion-Model.svg?style=flat)\n![GitHub 仓库大小](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Frepo-size\u002Fyoyo-nb\u002FThin-Plate-Spline-Motion-Model.svg)\n\nCVPR'2022 论文《用于图像动画的薄板样条运动模型》的源代码\n\n[**论文**](https:\u002F\u002Farxiv.org\u002Fabs\u002F2203.14367) **|** [**补充材料**](https:\u002F\u002Fcloud.tsinghua.edu.cn\u002Ff\u002Ff7b8573bb5b04583949f\u002F?dl=1)\n\n### 示例动画\n\n![vox](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fyoyo-nb_Thin-Plate-Spline-Motion-Model_readme_2f329b75b651.gif)\n![ted](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fyoyo-nb_Thin-Plate-Spline-Motion-Model_readme_fa9e0ca15ecc.gif)\n\n**注**: 为了公平比较，论文中将模型训练了 100 个 epoch。您可以使用更多数据并训练更长时间以获得更好的效果。\n\n\n### 动画网页演示\n- 集成到 [Huggingface Spaces 🤗](https:\u002F\u002Fhuggingface.co\u002Fspaces) 中，使用 [Gradio](https:\u002F\u002Fgithub.com\u002Fgradio-app\u002Fgradio)。体验网页演示：[![Hugging Face Spaces](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Spaces-blue)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FCVPR\u002FImage-Animation-using-Thin-Plate-Spline-Motion-Model)\n- 在这里尝试动画网页演示：[![Replicate](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fyoyo-nb_Thin-Plate-Spline-Motion-Model_readme_7dacf1cc5d87.png)](https:\u002F\u002Freplicate.com\u002Fyoyo-nb\u002Fthin-plate-spline-motion-model)\n- Google Colab：[![在 Colab 中打开](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1DREfdpnaBhqISg0fuQlAAIwyGVn1loH_?usp=sharing)\n\n### 预训练模型\n- ~~[清华大学云盘](https:\u002F\u002Fcloud.tsinghua.edu.cn\u002Fd\u002F30ab8765da364fefa101\u002F)~~\n- [Yandex 磁盘](https:\u002F\u002Fdisk.yandex.com\u002Fd\u002FbWopgbGj1ZUV1w)\n- [Google Drive](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1pNDo1ODQIb5HVObRtCmubqJikmR7VVLT?usp=sharing)\n- [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1hnXmDpIbRC6WqE3tF9c5QA?pwd=1234)\n\n### 安装\n\n我们支持 ```python3```。（推荐版本为 Python 3.9）。\n要安装依赖项，请运行：\n```bash\npip install -r requirements.txt\n```\n\n\n### YAML 配置文件\n \n`config` 文件夹中有多个配置文件，每个 `dataset` 对应一个，命名为 ```config\u002Fdataset_name.yaml```\n\n请参阅 ```config\u002Ftaichi-256.yaml``` 中的参数说明。\n\n### 数据集\n\n1) **MGif**。遵循 [Monkey-Net](https:\u002F\u002Fgithub.com\u002FAliaksandrSiarohin\u002Fmonkey-net) 的方法。\n\n2) **TaiChiHD** 和 **VoxCeleb**。遵循 [video-preprocessing](https:\u002F\u002Fgithub.com\u002FAliaksandrSiarohin\u002Fvideo-preprocessing) 中的说明。\n\n3) **TED 演讲**。遵循 [MRAA](https:\u002F\u002Fgithub.com\u002Fsnap-research\u002Farticulated-animation) 中的说明。\n\n以下是论文中使用的已预处理的 **VoxCeleb**、**TaiChiHD** 和 **TED 演讲** 数据集。[百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1HKJOtXBIiP_tlLiFbzn3oA?pwd=x7xv)\n下载文件夹下的所有文件，然后合并并解压，例如：\n```bash\ncat vox.tar.* > vox.tar\ntar xvf vox.tar\n```\n\n\n### 训练\n要在特定数据集上训练模型，请运行：\n```\nCUDA_VISIBLE_DEVICES=0,1 python run.py --config config\u002Fdataset_name.yaml --device_ids 0,1\n```\n系统会创建一个以时间戳命名的日志文件夹。检查点、损失值和重建结果都会保存到该文件夹中。\n\n\n#### 训练 AVD 网络\n要在特定数据集上训练模型，请运行：\n```\nCUDA_VISIBLE_DEVICES=0 python run.py --mode train_avd --checkpoint '{checkpoint_folder}\u002Fcheckpoint.pth.tar' --config config\u002Fdataset_name.yaml\n```\n检查点、损失值和重建结果会被保存到 `{checkpoint_folder}` 中。\n\n\n\n### 视频重建评估\n\n要评估重建性能，请运行：\n```\nCUDA_VISIBLE_DEVICES=0 python run.py --mode reconstruction --config config\u002Fdataset_name.yaml --checkpoint '{checkpoint_folder}\u002Fcheckpoint.pth.tar'\n```\n在 `{checkpoint_folder}` 中会创建一个 `reconstruction` 子文件夹。\n生成的视频会存储到该文件夹中，同时也会以无损 `.png` 格式存储到 `png` 子文件夹中，以便进行评估。\n要计算指标，请遵循 [pose-evaluation](https:\u002F\u002Fgithub.com\u002FAliaksandrSiarohin\u002Fpose-evaluation) 中的说明。\n\n\n### 图像动画演示\n- 笔记本：`demo.ipynb`，编辑配置单元格并运行以进行图像动画。\n- Python:\n```bash\nCUDA_VISIBLE_DEVICES=0 python demo.py --config config\u002Fvox-256.yaml --checkpoint checkpoints\u002Fvox.pth.tar --source_image .\u002Fsource.jpg --driving_video .\u002Fdriving.mp4\n```\n\n# 致谢\n主代码基于 [FOMM](https:\u002F\u002Fgithub.com\u002FAliaksandrSiarohin\u002Ffirst-order-model) 和 [MRAA](https:\u002F\u002Fgithub.com\u002Fsnap-research\u002Farticulated-animation)。\n\n感谢这些优秀的工作！\n\n同时感谢：\n\n- [@chenxwh](https:\u002F\u002Fgithub.com\u002Fchenxwh): 添加了网页演示和 Docker 环境 [![Replicate](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fyoyo-nb_Thin-Plate-Spline-Motion-Model_readme_7dacf1cc5d87.png)](https:\u002F\u002Freplicate.com\u002Fyoyo-nb\u002Fthin-plate-spline-motion-model) \n\n- [@TalkUHulk](https:\u002F\u002Fgithub.com\u002FTalkUHulk): C++\u002FPython 演示由 [Image-Animation-Turbo-Boost](https:\u002F\u002Fgithub.com\u002FTalkUHulk\u002FImage-Animation-Turbo-Boost) 提供。\n\n- [@AK391](https:\u002F\u002Fgithub.com\u002FAK391): 添加了 Hugging Face 网页演示 [![Hugging Face Spaces](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Spaces-blue)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FCVPR\u002FImage-Animation-using-Thin-Plate-Spline-Motion-Model)","# Thin-Plate-Spline-Motion-Model 快速上手指南\n\n本项目实现了 CVPR 2022 论文《Thin-Plate Spline Motion Model for Image Animation》，用于基于驱动视频生成图像动画。\n\n## 环境准备\n\n- **操作系统**: Linux (推荐)\n- **Python 版本**: Python 3.9 (推荐)\n- **硬件要求**: 支持 CUDA 的 NVIDIA GPU\n- **前置依赖**: 确保已安装 PyTorch 及对应的 CUDA 版本\n\n## 安装步骤\n\n1. 克隆仓库并进入目录：\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fyoyo-nb\u002FThin-Plate-Spline-Motion-Model.git\ncd Thin-Plate-Spline-Motion-Model\n```\n\n2. 安装 Python 依赖包：\n```bash\npip install -r requirements.txt\n```\n> **提示**：国内用户建议使用清华或阿里镜像源加速安装，例如：\n> `pip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple`\n\n3. 下载预训练模型：\n   项目提供多个下载源，国内用户推荐使用 **百度网盘**：\n   - **百度网盘**: [下载链接](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1hnXmDpIbRC6WqE3tF9c5QA?pwd=1234) (提取码: 1234)\n   \n   下载后请将模型文件（如 `vox.pth.tar`）放置在项目根目录的 `checkpoints` 文件夹中（若不存在请新建）。\n\n## 基本使用\n\n最简单的方式是运行图像动画演示脚本。你需要准备一张**源图片**（source image）和一个**驱动视频**（driving video）。\n\n执行以下命令生成动画：\n\n```bash\nCUDA_VISIBLE_DEVICES=0 python demo.py --config config\u002Fvox-256.yaml --checkpoint checkpoints\u002Fvox.pth.tar --source_image .\u002Fsource.jpg --driving_video .\u002Fdriving.mp4\n```\n\n**参数说明：**\n- `--config`: 配置文件路径，根据数据集选择（如 `vox-256.yaml`）。\n- `--checkpoint`: 预训练模型路径。\n- `--source_image`: 输入源图片的路径。\n- `--driving_video`: 输入驱动视频的路径。\n\n运行完成后，生成的动画视频将保存在当前目录下。\n\n> **在线体验**：如果不想本地部署，可直接尝试 [Hugging Face Spaces](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FCVPR\u002FImage-Animation-using-Thin-Plate-Spline-Motion-Model) 或 [Replicate](https:\u002F\u002Freplicate.com\u002Fyoyo-nb\u002Fthin-plate-spline-motion-model) 提供的 Web Demo。","一家小型数字人内容工作室正试图为历史人物制作生动的科普短视频，但受限于高昂的动作捕捉设备成本和复杂的 3D 建模流程。\n\n### 没有 Thin-Plate-Spline-Motion-Model 时\n- **硬件门槛极高**：必须租赁专业动捕棚或购买深度相机才能获取精准动作数据，初创团队难以承担。\n- **画面失真严重**：传统图像变形算法在处理大幅度肢体动作（如挥手、转身）时，人物边缘容易出现撕裂或模糊伪影。\n- **开发周期漫长**：从绑定 3D 模型到渲染输出，制作一条 10 秒的视频往往需要数天的人工调整时间。\n- **素材复用性差**：一旦更换目标人物形象，就需要重新进行繁琐的建模和骨骼绑定，无法快速响应热点话题。\n\n### 使用 Thin-Plate-Spline-Motion-Model 后\n- **仅需单目视频驱动**：直接利用网上现有的公开演讲视频作为驱动源，无需任何专用采集设备即可生成动画。\n- **大形变自然流畅**：基于薄板样条运动模型，即使在人物做出夸张表情或大幅转头时，面部和衣物纹理依然保持连贯清晰。\n- **分钟级内容产出**：输入一张静态历史照片和一段参考视频，算法可自动在几分钟内合成高质量的动态影像。\n- **跨人物灵活迁移**：同一套动作数据可瞬间迁移到不同的人物静态图上，极大提升了批量生产科普视频的灵活性。\n\nThin-Plate-Spline-Motion-Model 通过先进的非刚性运动建模技术，将高成本的动态图像生成转化为低门槛、高效率的单图视频动画任务。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fyoyo-nb_Thin-Plate-Spline-Motion-Model_dc776c6f.png","yoyo-nb","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fyoyo-nb_2d57f03b.png","nmd,why？",null,"https:\u002F\u002Fgithub.com\u002Fyoyo-nb",[78,82],{"name":79,"color":80,"percentage":81},"Jupyter Notebook","#DA5B0B",82.8,{"name":83,"color":84,"percentage":85},"Python","#3572A5",17.2,3608,562,"2026-04-18T07:19:45","MIT","Linux","需要 NVIDIA GPU (训练命令包含 CUDA_VISIBLE_DEVICES)，具体型号和显存大小未说明，需支持 CUDA","未说明",{"notes":94,"python":95,"dependencies":96},"1. 代码主要基于 Linux 环境开发，训练脚本明确使用了 CUDA 环境变量。2. 需手动下载预训练模型和数据集（提供 Yandex, Google Drive, 百度网盘链接）。3. 数据集（如 VoxCeleb, TaiChiHD）需按照外部仓库指引进行预处理。4. 提供 Hugging Face Spaces, Replicate 和 Google Colab 的在线演示环境。5. 安装依赖需运行 'pip install -r requirements.txt'，但 README 未直接列出具体库版本列表。","3.9 (推荐)",[97],"requirements.txt 中定义的依赖包 (基于 FOMM 和 MRAA 项目，通常包含 torch, torchvision, numpy, scipy, opencv-python, matplotlib, imageio-ffmpeg 等)",[99,14,15],"视频",[101,102,103,104,105,106,107,108],"deep-learning","deepfake","face-animation","face-reenactment","image-animation","motion-transfer","pose-transfer","talking-head","2026-03-27T02:49:30.150509","2026-04-19T06:25:08.639466",[112,117,122,127,132,137],{"id":113,"question_zh":114,"answer_zh":115,"source_url":116},41834,"运行 demo.py 时提示找不到后端或无法打开结果文件（Could not find a backend to open...）怎么办？","这是因为 --result_video 参数缺少文件扩展名。该参数需要包含文件名的完整路径及后缀（如 .mp4）。请确保命令中包含后缀，例如：\npython demo.py ... --result_video RESULTS.mp4\n而不是仅写 RESULTS。","https:\u002F\u002Fgithub.com\u002Fyoyo-nb\u002FThin-Plate-Spline-Motion-Model\u002Fissues\u002F36",{"id":118,"question_zh":119,"answer_zh":120,"source_url":121},41835,"使用自定义小样本数据集训练时出现内存溢出或迭代错误如何解决？","如果是使用样本量较小的自定义数据集，建议修改 train.py 第 43 行，将 drop_last 参数设置为 False：\ndrop_last=False\n这可以防止因最后一个 batch 数据不足导致的错误，并有助于缓解显存占用问题。","https:\u002F\u002Fgithub.com\u002Fyoyo-nb\u002FThin-Plate-Spline-Motion-Model\u002Fissues\u002F40",{"id":123,"question_zh":124,"answer_zh":125,"source_url":126},41836,"如何获取 dense motion 模块输出的变形后源图像（在 inpaint 之前）？","可以通过添加一个变形函数来实现。在 demo.py 中定义以下函数并调用：\ndef deform_input(inp, deformation):\n    _, h_old, w_old, _ = deformation.shape\n    _, _, h, w = inp.shape\n    if h_old != h or w_old != w:\n        deformation = deformation.permute(0, 3, 1, 2)\n        deformation = F.interpolate(deformation, size=(h, w), mode='bilinear', align_corners=True)\n        deformation = deformation.permute(0, 2, 3, 1)\n    return F.grid_sample(inp, deformation, align_corners=True)\n\n然后在生成 dense_motion 后调用：\ndeformation = dense_motion['deformation']\ndeformed_source = deform_input(source, deformation)","https:\u002F\u002Fgithub.com\u002Fyoyo-nb\u002FThin-Plate-Spline-Motion-Model\u002Fissues\u002F21",{"id":128,"question_zh":129,"answer_zh":130,"source_url":131},41837,"--mode avd 模式下嘴巴无法闭合或效果不佳怎么办？","avd 模式在 VoxCeleb 数据集上表现不佳。为了获得最佳效果，建议改用 relative 模式并配合寻找最佳帧参数：\n--mode relative --find_best_frame","https:\u002F\u002Fgithub.com\u002Fyoyo-nb\u002FThin-Plate-Spline-Motion-Model\u002Fissues\u002F20",{"id":133,"question_zh":134,"answer_zh":135,"source_url":136},41838,"运行时报错“源图像路径未定义”或“找不到写入格式”，即使路径正确也失败？","这通常是因为运行路径不正确或未指定完整的输出文件名。\n1. 确保在执行脚本前已进入项目目录：cd Thin-Plate-Spline-Motion-Model\n2. output_video_path 必须包含具体的文件名和扩展名，例如：\u002Fcontent\u002FThin-Plate-Spline-Motion-Model\u002Foutput.mp4，而不能只是一个文件夹路径。","https:\u002F\u002Fgithub.com\u002Fyoyo-nb\u002FThin-Plate-Spline-Motion-Model\u002Fissues\u002F29",{"id":138,"question_zh":139,"answer_zh":140,"source_url":141},41839,"在哪里可以下载训练所需的数据集（如 VoxCeleb, TaiChiHD）？","项目 README 中指向了以下预处理仓库，其中包含数据集下载的指引：\nhttps:\u002F\u002Fgithub.com\u002FAliaksandrSiarohin\u002Fvideo-preprocessing\n注意：部分数据集（如 VoxCeleb）可能需要学术认证才能下载，如果无法获取，可以尝试创建自己的数据集。","https:\u002F\u002Fgithub.com\u002Fyoyo-nb\u002FThin-Plate-Spline-Motion-Model\u002Fissues\u002F10",[]]