[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-aim-uofa--Framer":3,"tool-aim-uofa--Framer":62},[4,18,26,35,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108111,2,"2026-04-08T11:23:26",[14,15,13],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":10,"last_commit_at":41,"category_tags":42,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[43,15,13,14],"语言模型",{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":10,"last_commit_at":50,"category_tags":51,"status":17},4292,"Deep-Live-Cam","hacksider\u002FDeep-Live-Cam","Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。\n\n这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。\n\n其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。",88924,"2026-04-06T03:28:53",[14,15,13,52],"视频",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":59,"last_commit_at":60,"category_tags":61,"status":17},5646,"opencv","opencv\u002Fopencv","OpenCV 是一个功能强大的开源计算机视觉库，被誉为机器视觉领域的“瑞士军刀”。它主要解决让计算机“看懂”图像和视频的核心难题，提供了从基础的图像读取、色彩转换、边缘检测，到复杂的人脸识别、物体追踪、3D 重建及深度学习模型部署等全方位算法支持。无论是处理静态图片还是分析实时视频流，OpenCV 都能高效完成特征提取与模式识别任务。\n\n这款工具特别适合计算机视觉开发者、人工智能研究人员以及机器人工程师使用。对于希望将视觉感知能力集成到应用中的软件工程师，或是需要快速验证算法原型的学术研究者，OpenCV 都是不可或缺的基础设施。虽然普通用户通常不会直接操作代码，但日常生活中使用的扫码支付、美颜相机和自动驾驶系统，背后往往都有它的身影。\n\nOpenCV 的独特亮点在于其卓越的性能与广泛的兼容性。它采用 C++ 编写以确保高速运算，同时提供 Python、Java 等多种语言接口，极大降低了开发门槛。库中内置了数千种优化算法，并支持跨平台运行，能够无缝对接各类硬件加速器。作为社区驱动的项目，OpenCV 拥有活跃的生态系统和丰富的学习资源，持续推动着视觉技术的前沿发展。",86988,1,"2026-04-08T16:06:22",[14,15],{"id":63,"github_repo":64,"name":65,"description_en":66,"description_zh":67,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":74,"owner_avatar_url":75,"owner_bio":76,"owner_company":77,"owner_location":77,"owner_email":77,"owner_twitter":77,"owner_website":77,"owner_url":78,"languages":79,"stars":84,"forks":85,"last_commit_at":86,"license":77,"difficulty_score":10,"env_os":87,"env_gpu":88,"env_ram":89,"env_deps":90,"category_tags":98,"github_topics":77,"view_count":32,"oss_zip_url":77,"oss_zip_packed_at":77,"status":17,"created_at":99,"updated_at":100,"faqs":101,"releases":141},5872,"aim-uofa\u002FFramer","Framer","[ICLR'25] Official PyTorch implementation of \"Framer: Interactive Frame Interpolation\".","Framer 是一款基于 PyTorch 开发的交互式视频帧插值工具，旨在让用户能够更精准地控制两张静态图片之间的过渡动画。传统插值方法往往难以处理复杂的物体形变或大幅度的外观变化，导致生成的中间帧模糊或运动不自然。Framer 通过引入关键点轨迹定制功能，允许用户手动调整特定特征点的移动路径，从而有效消除变换过程中的歧义，实现对局部运动的精细掌控。\n\n该工具的独特之处在于其“自动驾驶”模式：即使不进行手动干预，它也能自动估算关键点并优化轨迹，生成流畅且时间连贯的视频片段。技术层面，Framer 以大规模预训练的图像转视频扩散模型（Stable Video Diffusion）为基底，创新性地加入了末端帧条件控制和点轨迹交互分支，显著提升了在复杂场景下的表现力。\n\nFramer 非常适合需要制作高质量动态内容的创作者、希望探索可控生成技术的研究人员，以及寻求更灵活工作流的开发者。对于普通用户而言，其提供的自动化模式也降低了使用门槛，无需深厚技术背景即可轻松获得逼真的视频插值效果。目前项目已开源模型权重，并支持 ComfyUI 集成及 Hugging Face 在线体验。","\n\u003Cdiv align=\"center\">\n\n\u003Ch1>\nFramer \n\u003C\u002Fh1>\n\n\u003Cdiv align=\"center\"> \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Faim-uofa_Framer_readme_5c1451e1ef68.png' style=\"height:150px\">\u003C\u002Fimg>\u003C\u002Fdiv>\n\n\u003Ch3>\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2410.18978\">Framer: Interactive Frame Interpolation\u003C\u002Fa>\u003C\u002Fh3>\n\n\n\n[Wen Wang](https:\u002F\u002Fgithub.com\u002Fencounter1997)\u003Csup>1,2\u003C\u002Fsup>,   [Qiuyu Wang](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=VRsy9v8AAAAJ)\u003Csup>2\u003C\u002Fsup>,   [Kecheng Zheng](https:\u002F\u002Fzkcys001.github.io)\u003Csup>2\u003C\u002Fsup>,   [Hao Ouyang](https:\u002F\u002Fken-ouyang.github.io\u002F)\u003Csup>2\u003C\u002Fsup>,   [Zhekai Chen](https:\u002F\u002Fgithub.com\u002FAziily)\u003Csup>1\u003C\u002Fsup>,   [Biao Gong](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=BwdpTiQAAAAJ)\u003Csup>2\u003C\u002Fsup>,   [Hao Chen](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=FaOqRpcAAAAJ)\u003Csup>1\u003C\u002Fsup>, \u003Cbr>[Yujun Shen](https:\u002F\u002Fshenyujun.github.io)\u003Csup>2\u003C\u002Fsup>,    [Chunhua Shen](https:\u002F\u002Fcshen.github.io\u002F)\u003Csup>1\u003C\u002Fsup>\n\n\u003Csup>1\u003C\u002Fsup>[Zhejiang University, China](https:\u002F\u002Fwww.zju.edu.cn\u002Fenglish\u002F),   \u003Csup>2\u003C\u002Fsup>[Ant Group](https:\u002F\u002Fwww.antgroup.com\u002Fen)\n\n\u003Cbr>\n\n\n\u003Ca href='https:\u002F\u002Farxiv.org\u002Fabs\u002F2410.18978'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2410.18978-b31b1b.svg'>\u003C\u002Fa>  \n\u003Ca href='https:\u002F\u002Faim-uofa.github.io\u002FFramer'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject-Page-Green'>\u003C\u002Fa>  \n\u003Ca href='https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=4MPGKgn7jRc'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FYoutube-Video-b31b1b.svg'>\u003C\u002Fa>  \n\u003Ca href='https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fwwen1997\u002FFramer'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face%20-Demo-blue'>\u003C\u002Fa>\u003Cbr>\n\n\u003Cbr>\n\n\u003C\u002Fdiv>\n\n\n\n## 💡 Changelog\n- [2024\u002F12\u002F20]. Thanks to [kijai](https:\u002F\u002Fgithub.com\u002Fkijai) for the ComfyUI Support at [ComfyUI-FramerWrapper](https:\u002F\u002Fgithub.com\u002Fkijai\u002FComfyUI-FramerWrapper)!\n- [2024\u002F12\u002F19]. Release the checkpoints.\n- [2024\u002F10\u002F28]. Huggingface Gradio Demo is now available [here](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fwwen1997\u002FFramer)!\n- [2024\u002F10\u002F25]. Launch the project page and upload the arXiv preprint.\n\n\n  \n## 🔆 TL;DR\n\nWe propose Framer, a more controllable and interactive frame interpolation method that allows users to produce smoothly transitioning frames between two images by customizing the trajectory of selected keypoints, enhancing control and handling challenging cases. \n\n### Main Claims\nThe proposed method, Framer, provides interactive frame interpolation, allowing users to customize transitions by tailoring the trajectories of selected keypoints.\nThis approach mitigates the ambiguity of image transformation, enabling much finer control of local motions and improving the model's ability to handle challenging cases (e.g., objects with differing shapes and styles).\nFramer also includes an \"autopilot\" mode that automatically estimates keypoints and refines trajectories, simplifying the process and enabling motion-natural and temporally coherent results.\n\n### Methodology\nThis work utilizes a large-scale pre-trained image-to-video diffusion model (Stable Video Diffusion) as the base model. It introduces additional end-frame conditioning to facilitate video interpolation and incorporates a point trajectory controlling branch for user interaction. \n\n### Key Results\nFramer outperforms existing frame interpolation methods in terms of visual quality and natural motion, particularly in cases involving complex motions and significant appearance changes.\nQuantitative evaluation using FVD (Fréchet Video Distance) demonstrates superior performance compared to other methods.\nUser studies show a strong preference for Framer's output, highlighting its effectiveness in producing realistic and visually appealing results.\n\n\n## Showcases\n\nNote the videos are spatially compressed. We refer readers to the [project page](https:\u002F\u002Faim-uofa.github.io\u002FFramer) for the original videos.\n\n### 1. Video Interpolation with User-Interaction\n\n\u003Ctable class=\"center\">\n    \u003Ctr style=\"font-weight: bolder;text-align:center;\">\n        \u003Ctd>Start Image\u003C\u002Ftd>\n        \u003Ctd>Input Trajectory & Interpolation Results\u003C\u002Ftd>\n        \u003Ctd>End Image\u003C\u002Ftd>\n    \u003C\u002Ftr>\n\n  \u003Ctr>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F001_results_drag\u002Finput_frames\u002Fdog_0.png width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F001_results_drag\u002Freal_dog_00\u002Ftemp_1_20240925-165335_mode2.gif width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F001_results_drag\u002Finput_frames\u002Fdog_1.png width=\"250\">\n  \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\n  \u003Ctr>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F001_results_drag\u002Finput_frames\u002Fdog_0.png width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F001_results_drag\u002Freal_dog_01\u002Ftemp_1_20240925-165555_mode2.gif width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F001_results_drag\u002Finput_frames\u002Fdog_1.png width=\"250\">\n  \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\n  \u003Ctr>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F001_results_drag\u002Finput_frames\u002Fdog_0.png width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F001_results_drag\u002Freal_dog_02\u002Ftemp_1_20240925-170223_mode2.gif width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F001_results_drag\u002Finput_frames\u002Fdog_1.png width=\"250\">\n  \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\n\u003C\u002Ftable>\n\n\n### 2. Image Morphing with User-Interaction\n\n\u003Ctable class=\"center\">\n    \u003Ctr style=\"font-weight: bolder;text-align:center;\">\n        \u003Ctd>Start Image\u003C\u002Ftd>\n        \u003Ctd>Input Trajectory & Interpolation Results\u003C\u002Ftd>\n        \u003Ctd>End Image\u003C\u002Ftd>\n    \u003C\u002Ftr>\n\n  \u003Ctr>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F002_results_morphing\u002Finput_frames\u002Fdragon1.png width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F002_results_morphing\u002Fdragon12\u002Ftemp_1_20240921-112645_mode2.gif width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F002_results_morphing\u002Finput_frames\u002Fdragon2.png width=\"250\">\n  \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\n  \u003Ctr>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F002_results_morphing\u002Finput_frames\u002Fdragon2.png width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F002_results_morphing\u002Fdragon23\u002Ftemp_1_20240921-111112_mode2.gif width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F002_results_morphing\u002Finput_frames\u002Fdragon3.png width=\"250\">\n  \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\n\u003C\u002Ftable>\n\n\n\u003C\u002Ftable>\n\n\n### 3. Video Interpolation without User-Input Control\n\n\u003Ctable class=\"center\">\n    \u003Ctr style=\"font-weight: bolder;text-align:center;\">\n        \u003Ctd>Start Image\u003C\u002Ftd>\n        \u003Ctd>Interpolation Results\u003C\u002Ftd>\n        \u003Ctd>End Image\u003C\u002Ftd>\n    \u003C\u002Ftr>\n\n  \u003Ctr>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F003_direct_interp\u002Finput_images\u002Fmokey_0.png width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F003_direct_interp\u002Fmonkey_eating_interp_16-43_wocontrol.gif width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F003_direct_interp\u002Finput_images\u002Fmokey_1.png width=\"250\">\n  \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\n  \u003Ctr>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F003_direct_interp\u002Finput_images\u002Fmovie_0.jpg width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F003_direct_interp\u002Flaugh.gif width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F003_direct_interp\u002Finput_images\u002Fmovie_1.jpg width=\"250\">\n  \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\n\u003C\u002Ftable>\n\n\n### 4. Novel View Synthesis\n\n\u003Ctable class=\"center\">\n    \u003Ctr style=\"font-weight: bolder;text-align:center;\">\n        \u003Ctd>Start Image\u003C\u002Ftd>\n        \u003Ctd>Interpolation Results\u003C\u002Ftd>\n        \u003Ctd>End Image\u003C\u002Ftd>\n    \u003C\u002Ftr>\n\n  \u003Ctr>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F004_results_nvs\u002Finput_images\u002F000001.jpg width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F004_results_nvs\u002Fscan.gif width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F004_results_nvs\u002Finput_images\u002F000002.jpg width=\"250\">\n  \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\n\u003C\u002Ftable>\n\n\n\n### 5. Cartoon and Sketch Interpolation\n\n\u003Ctable class=\"center\">\n    \u003Ctr style=\"font-weight: bolder;text-align:center;\">\n        \u003Ctd>Start Image\u003C\u002Ftd>\n        \u003Ctd>Interpolation Results\u003C\u002Ftd>\n        \u003Ctd>End Image\u003C\u002Ftd>\n    \u003C\u002Ftr>\n\n  \u003Ctr>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F005_results_toon\u002Finput_images\u002F74880_401.mp4_00-00.png width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F005_results_toon\u002Ftooncarft_car.gif width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F005_results_toon\u002Finput_images\u002F74880_401.mp4_00-01.png width=\"250\">\n  \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\n  \u003Ctr>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F005_results_toon\u002Finput_images\u002Fsketcg1_frame0001.png width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F005_results_toon\u002Ftooncraft_sketcg1_frame0001.png_to_tooncraft_sketch1_frame0016.png.gif width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F005_results_toon\u002Finput_images\u002Fsketch1_frame0016.png width=\"250\">\n  \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\n\u003C\u002Ftable>\n\n\n\n### 6. Time-lapsing Video Generation.\n\n\u003Ctable class=\"center\">\n    \u003Ctr style=\"font-weight: bolder;text-align:center;\">\n        \u003Ctd>Start Image\u003C\u002Ftd>\n        \u003Ctd>Interpolation Results\u003C\u002Ftd>\n        \u003Ctd>End Image\u003C\u002Ftd>\n    \u003C\u002Ftr>\n\n  \u003Ctr>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F006_results_chron\u002Finputs\u002Ffafa1.png width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F006_results_chron\u002Ffafa12.gif width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F006_results_chron\u002Finputs\u002Ffafa2.png width=\"250\">\n  \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\n\u003C\u002Ftable>\n\n\n## Local Inference\n\n### Installation\n\n```bash\nconda create -n framer python=3.8 -y\nconda activate framer\nconda install pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.6 -c pytorch -c nvidia\n\npip install -r requirements.txt\n```\n\n\n### Prepare weights\n\nDownload pretrained [Stable Video Diffusion](https:\u002F\u002Fhuggingface.co\u002Fstabilityai\u002Fstable-video-diffusion-img2vid-xt) and [Framer](https:\u002F\u002Fhuggingface.co\u002Fwwen1997\u002Fframer_512x320) weights and put them in `.\u002Fcheckpoints`, as follows.\n\n```bash\ncheckpoints\u002F\n|─ stable-video-diffusion-img2vid-xt\n└─ framer_512x320\n```\n\n### Run gradio locally\n\n```bash\npython app.py\n```\n\nSome example inputs are presented in `.\u002Fexamples`, enjoy the interactive frame interpolation!\n\n\n\n## 📖 Citation BibTeX\nPlease consider citing our paper if our code is useful:\n```bib\n@article{wang2024framer,\n  title={Framer: Interactive Video Interpolation},\n  author={Wang, Wen and Wang, Qiuyu and Zheng, Kecheng and Ouyang, Hao and Chen, Zhekai and Gong, Biao and Chen, Hao and Shen, Yujun and Shen, Chunhua},\n  journal={arXiv preprint https:\u002F\u002Farxiv.org\u002Fabs\u002F2410.18978},\n  year={2024}\n}\n```\n\n## 🎫 License\n\nFor academic use, this project is licensed under [the 2-clause BSD License](LICENSE). For commercial use, please contact [C Shen](mailto:chhshen@gmail.com).\n\n\n## 😉 Acknowledgements\n\n* Our implementation is based on [SVD_Xtend](https:\u002F\u002Fgithub.com\u002Fpixeli99\u002FSVD_Xtend) and [DragAnything](https:\u002F\u002Fgithub.com\u002Fshowlab\u002FDragAnything).\n* Thanks to [kijai](https:\u002F\u002Fgithub.com\u002Fkijai) for the [ComfyUI Support](https:\u002F\u002Fgithub.com\u002Fkijai\u002FComfyUI-FramerWrapper).\n","\u003Cdiv align=\"center\">\n\n\u003Ch1>\nFramer \n\u003C\u002Fh1>\n\n\u003Cdiv align=\"center\"> \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Faim-uofa_Framer_readme_5c1451e1ef68.png' style=\"height:150px\">\u003C\u002Fimg>\u003C\u002Fdiv>\n\n\u003Ch3>\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2410.18978\">Framer: 交互式帧插值\u003C\u002Fa>\u003C\u002Fh3>\n\n\n\n[Wen Wang](https:\u002F\u002Fgithub.com\u002Fencounter1997)\u003Csup>1,2\u003C\u002Fsup>,   [Qiuyu Wang](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=VRsy9v8AAAAJ)\u003Csup>2\u003C\u002Fsup>,   [Kecheng Zheng](https:\u002F\u002Fzkcys001.github.io)\u003Csup>2\u003C\u002Fsup>,   [Hao Ouyang](https:\u002F\u002Fken-ouyang.github.io\u002F)\u003Csup>2\u003C\u002Fsup>,   [Zhekai Chen](https:\u002F\u002Fgithub.com\u002FAziily)\u003Csup>1\u003C\u002Fsup>,   [Biao Gong](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=BwdpTiQAAAAJ)\u003Csup>2\u003C\u002Fsup>,   [Hao Chen](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=FaOqRpcAAAAJ)\u003Csup>1\u003C\u002Fsup>, \u003Cbr>[Yujun Shen](https:\u002F\u002Fshenyujun.github.io)\u003Csup>2\u003C\u002Fsup>,    [Chunhua Shen](https:\u002F\u002Fcshen.github.io\u002F)\u003Csup>1\u003C\u002Fsup>\n\n\u003Csup>1\u003C\u002Fsup>[浙江大学, 中国](https:\u002F\u002Fwww.zju.edu.cn\u002Fenglish\u002F),   \u003Csup>2\u003C\u002Fsup>[蚂蚁集团](https:\u002F\u002Fwww.antgroup.com\u002Fen)\n\n\u003Cbr>\n\n\n\u003Ca href='https:\u002F\u002Farxiv.org\u002Fabs\u002F2410.18978'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2410.18978-b31b1b.svg'>\u003C\u002Fa>  \n\u003Ca href='https:\u002F\u002Faim-uofa.github.io\u002FFramer'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject-Page-Green'>\u003C\u002Fa>  \n\u003Ca href='https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=4MPGKgn7jRc'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FYoutube-Video-b31b1b.svg'>\u003C\u002Fa>  \n\u003Ca href='https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fwwen1997\u002FFramer'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20 Face%20-Demo-blue'>\u003C\u002Fa>\u003Cbr>\n\n\u003Cbr>\n\n\u003C\u002Fdiv>\n\n\n\n## 💡 更新日志\n- [2024\u002F12\u002F20] 感谢 [kijai](https:\u002F\u002Fgithub.com\u002Fkijai) 在 [ComfyUI-FramerWrapper](https:\u002F\u002Fgithub.com\u002Fkijai\u002FComfyUI-FramerWrapper) 中提供的 ComfyUI 支持！\n- [2024\u002F12\u002F19] 发布检查点。\n- [2024\u002F10\u002F28] Huggingface Gradio 演示现已在 [这里](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fwwen1997\u002FFramer) 提供！\n- [2024\u002F10\u002F25] 启动项目页面并上传 arXiv 预印本。\n\n\n  \n## 🔆 简要概述\n\n我们提出了 Framer，一种更具可控性和交互性的帧插值方法，允许用户通过自定义选定关键点的轨迹，在两张图像之间生成平滑过渡的帧，从而增强控制能力并更好地处理复杂场景。\n\n### 主要观点\n所提出的 Framer 方法提供了交互式帧插值功能，用户可以通过调整选定关键点的轨迹来定制过渡效果。\n这种方法有效缓解了图像变换中的歧义性，使得对局部运动的控制更加精细，并提升了模型处理复杂情况的能力（例如，形状和风格差异较大的物体）。\n此外，Framer 还包含一个“自动驾驶”模式，可自动估计关键点并优化轨迹，简化操作流程，同时生成自然流畅且时间上一致的结果。\n\n### 方法论\n本研究以大规模预训练的图像到视频扩散模型（Stable Video Diffusion）为基础，引入了额外的端帧条件以促进视频插值，并加入了一个用于用户交互的关键点轨迹控制分支。\n\n### 关键结果\nFramer 在视觉质量和运动自然度方面均优于现有的帧插值方法，尤其在涉及复杂运动和显著外观变化的情况下表现突出。\n使用 FVD（Fréchet 视频距离）进行的定量评估表明，Framer 的性能优于其他方法。\n用户研究表明，参与者更倾向于 Framer 的输出，这凸显了其在生成逼真且视觉吸引力强的结果方面的有效性。\n\n\n\n## 展示案例\n\n请注意，这些视频经过空间压缩。原始视频请参阅[项目页面](https:\u002F\u002Faim-uofa.github.io\u002FFramer)。\n\n### 1. 带有用户交互的视频插值\n\n\u003Ctable class=\"center\">\n    \u003Ctr style=\"font-weight: bolder;text-align:center;\">\n        \u003Ctd>起始图像\u003C\u002Ftd>\n        \u003Ctd>输入轨迹及插值结果\u003C\u002Ftd>\n        \u003Ctd>结束图像\u003C\u002Ftd>\n    \u003C\u002Ftr>\n\n  \u003Ctr>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F001_results_drag\u002Finput_frames\u002Fdog_0.png width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F001_results_drag\u002Freal_dog_00\u002Ftemp_1_20240925-165335_mode2.gif width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F001_results_drag\u002Finput_frames\u002Fdog_1.png width=\"250\">\n  \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\n  \u003Ctr>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F001_results_drag\u002Finput_frames\u002Fdog_0.png width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F001_results_drag\u002Freal_dog_01\u002Ftemp_1_20240925-165555_mode2.gif width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F001_results_drag\u002Finput_frames\u002Fdog_1.png width=\"250\">\n  \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\n  \u003Ctr>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F001_results_drag\u002Finput_frames\u002Fdog_0.png width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F001_results_drag\u002Freal_dog_02\u002Ftemp_1_20240925-170223_mode2.gif width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F001_results_drag\u002Finput_frames\u002Fdog_1.png width=\"250\">\n  \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\n\u003C\u002Ftable>\n\n\n### 2. 带有用户交互的图像变形\n\n\u003Ctable class=\"center\">\n    \u003Ctr style=\"font-weight: bolder,text-align:center;\">\n        \u003Ctd>起始图像\u003C\u002Ftd>\n        \u003Ctd>输入轨迹及插值结果\u003C\u002Ftd>\n        \u003Ctd>结束图像\u003C\u002Ftd>\n    \u003C\u002Ftr>\n\n  \u003Ctr>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F002_results_morphing\u002Finput_frames\u002Fdragon1.png width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F002_results_morphing\u002Fdragon12\u002Ftemp_1_20240921-112645_mode2.gif width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F002_results_morphing\u002Finput_frames\u002Fdragon2.png width=\"250\">\n  \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\n  \u003Ctr>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F002_results_morphing\u002Finput_frames\u002Fdragon2.png width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F002_results_morphing\u002Fdragon23\u002Ftemp_1_20240921-111112_mode2.gif width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F002_results_morphing\u002Finput_frames\u002Fdragon3.png width=\"250\">\n  \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\n\u003C\u002Ftable>\n\n\n\u003C\u002Ftable>\n\n\n### 3. 无用户输入控制的视频插值\n\n\u003Ctable class=\"center\">\n    \u003Ctr style=\"font-weight: bolder,text-align:center;\">\n        \u003Ctd>起始图像\u003C\u002Ftd>\n        \u003Ctd>插值结果\u003C\u002Ftd>\n        \u003Ctd>结束图像\u003C\u002Ftd>\n    \u003C\u002Ftr>\n\n  \u003Ctr>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F003_direct_interp\u002Finput_images\u002Fmokey_0.png width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F003_direct_interp\u002Fmonkey_eating_interp_16-43_wocontrol.gif width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F003_direct_interp\u002Finput_images\u002Fmokey_1.png width=\"250\">\n  \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\n  \u003Ctr>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F003_direct_interp\u002Finput_images\u002Fmovie_0.jpg width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F003_direct_interp\u002Flaugh.gif width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F003_direct_interp\u002Finput_images\u002Fmovie_1.jpg width=\"250\">\n  \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\n\u003C\u002Ftable>\n\n### 4. 新颖的视图合成\n\n\u003Ctable class=\"center\">\n    \u003Ctr style=\"font-weight: bolder;text-align:center;\">\n        \u003Ctd>起始图像\u003C\u002Ftd>\n        \u003Ctd>插值结果\u003C\u002Ftd>\n        \u003Ctd>结束图像\u003C\u002Ftd>\n    \u003C\u002Ftr>\n\n  \u003Ctr>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F004_results_nvs\u002Finput_images\u002F000001.jpg width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F004_results_nvs\u002Fscan.gif width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F004_results_nvs\u002Finput_images\u002F000002.jpg width=\"250\">\n  \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\n\u003C\u002Ftable>\n\n\n\n### 5. 卡通与素描插值\n\n\u003Ctable class=\"center\">\n    \u003Ctr style=\"font-weight: bolder;text-align:center;\">\n        \u003Ctd>起始图像\u003C\u002Ftd>\n        \u003Ctd>插值结果\u003C\u002Ftd>\n        \u003Ctd>结束图像\u003C\u002Ftd>\n    \u003C\u002Ftr>\n\n  \u003Ctr>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F005_results_toon\u002Finput_images\u002F74880_401.mp4_00-00.png width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F005_results_toon\u002Ftooncarft_car.gif width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F005_results_toon\u002Finput_images\u002F74880_401.mp4_00-01.png width=\"250\">\n  \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\n  \u003Ctr>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F005_results_toon\u002Finput_images\u002Fsketcg1_frame0001.png width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F005_results_toon\u002Ftooncraft_sketcg1_frame0001.png_to_tooncraft_sketch1_frame0016.png.gif width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F005_results_toon\u002Finput_images\u002Fsketch1_frame0016.png width=\"250\">\n  \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\n\u003C\u002Ftable>\n\n\n\n### 6. 延时视频生成。\n\n\u003Ctable class=\"center\">\n    \u003Ctr style=\"font-weight: bolder;text-align:center;\">\n        \u003Ctd>起始图像\u003C\u002Ftd>\n        \u003Ctd>插值结果\u003C\u002Ftd>\n        \u003Ctd>结束图像\u003C\u002Ftd>\n    \u003C\u002Ftr>\n\n  \u003Ctr>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F006_results_chron\u002Finputs\u002Ffafa1.png width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F006_results_chron\u002Ffafa12.gif width=\"250\">\n  \u003C\u002Ftd>\n  \u003Ctd>\n    \u003Cimg src=assets\u002F006_results_chron\u002Finputs\u002Ffafa2.png width=\"250\">\n  \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\n\u003C\u002Ftable>\n\n\n## 本地推理\n\n### 安装\n\n```bash\nconda create -n framer python=3.8 -y\nconda activate framer\nconda install pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.6 -c pytorch -c nvidia\n\npip install -r requirements.txt\n```\n\n\n### 准备权重\n\n下载预训练的[Stable Video Diffusion](https:\u002F\u002Fhuggingface.co\u002Fstabilityai\u002Fstable-video-diffusion-img2vid-xt)和[Framer](https:\u002F\u002Fhuggingface.co\u002Fwwen1997\u002Fframer_512x320)权重，并将其放入`.\u002Fcheckpoints`目录，如下所示。\n\n```bash\ncheckpoints\u002F\n|─ stable-video-diffusion-img2vid-xt\n└─ framer_512x320\n```\n\n### 在本地运行Gradio\n\n```bash\npython app.py\n```\n\n一些示例输入已放在`.\u002Fexamples`中，欢迎体验交互式帧插值！\n\n\n\n## 📖 引用 BibTeX\n如果我们的代码对您有所帮助，请考虑引用我们的论文：\n```bib\n@article{wang2024framer,\n  title={Framer: Interactive Video Interpolation},\n  author={Wang, Wen and Wang, Qiuyu and Zheng, Kecheng and Ouyang, Hao and Chen, Zhekai and Gong, Biao and Chen, Hao and Shen, Yujun and Shen, Chunhua},\n  journal={arXiv preprint https:\u002F\u002Farxiv.org\u002Fabs\u002F2410.18978},\n  year={2024}\n}\n```\n\n## 🎫 许可证\n\n本项目面向学术用途，采用[两条款BSD许可证](LICENSE)。如需商业用途，请联系[C Shen](mailto:chhshen@gmail.com)。\n\n\n## 😉 致谢\n\n* 我们的实现基于[SVD_Xtend](https:\u002F\u002Fgithub.com\u002Fpixeli99\u002FSVD_Xtend)和[DragAnything](https:\u002F\u002Fgithub.com\u002Fshowlab\u002FDragAnything)。\n* 感谢[kijai](https:\u002F\u002Fgithub.com\u002Fkijai)提供的[ComfyUI支持](https:\u002F\u002Fgithub.com\u002Fkijai\u002FComfyUI-FramerWrapper)。","# Framer 快速上手指南\n\nFramer 是一个交互式视频帧插值工具，允许用户通过自定义关键点的运动轨迹，在两张图片之间生成平滑过渡的视频。它基于 Stable Video Diffusion 模型，支持手动控制运动路径或自动估算轨迹（自动驾驶模式），特别适用于处理复杂运动和大幅外观变化的场景。\n\n## 环境准备\n\n*   **操作系统**: Linux (推荐) 或 macOS\n*   **Python 版本**: 3.8\n*   **GPU 要求**: 支持 CUDA 11.6 的 NVIDIA 显卡\n*   **前置依赖**: Conda 环境管理工具\n\n## 安装步骤\n\n### 1. 创建并激活 Conda 环境\n```bash\nconda create -n framer python=3.8 -y\nconda activate framer\n```\n\n### 2. 安装 PyTorch 及相关组件\n请确保安装与 CUDA 11.6 兼容的版本：\n```bash\nconda install pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.6 -c pytorch -c nvidia\n```\n> **提示**：如果下载速度较慢，国内用户可尝试使用清华源或中科大源进行加速（例如添加 `-c https:\u002F\u002Fmirrors.tuna.tsinghua.edu.cn\u002Fanaconda\u002Fcloud\u002Fpytorch\u002F`，具体视网络环境而定）。\n\n### 3. 安装项目依赖\n克隆仓库后进入目录，安装 `requirements.txt`：\n```bash\npip install -r requirements.txt\n```\n> **提示**：国内用户建议使用国内镜像源加速安装：\n> ```bash\n> pip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n> ```\n\n### 4. 下载预训练权重\n你需要下载以下两个模型的权重文件，并按指定结构放置在 `.\u002Fcheckpoints` 目录下：\n1.  [Stable Video Diffusion](https:\u002F\u002Fhuggingface.co\u002Fstabilityai\u002Fstable-video-diffusion-img2vid-xt)\n2.  [Framer](https:\u002F\u002Fhuggingface.co\u002Fwwen1997\u002Fframer_512x320)\n\n最终目录结构应如下所示：\n```text\ncheckpoints\u002F\n├─ stable-video-diffusion-img2vid-xt\n└─ framer_512x320\n```\n\n## 基本使用\n\n启动本地 Gradio 界面即可开始交互式操作：\n\n```bash\npython app.py\n```\n\n运行成功后，终端会显示本地访问地址（通常为 `http:\u002F\u002F127.0.0.1:7860`）。在浏览器中打开该地址，你将看到可视化界面：\n\n1.  **上传图像**：分别上传起始帧（Start Image）和结束帧（End Image）。\n2.  **设置轨迹**：\n    *   **手动模式**：在图片上点击并拖动关键点，自定义物体的运动路径。\n    *   **自动模式 (Autopilot)**：不绘制轨迹，让模型自动估算关键点运动。\n3.  **生成视频**：点击生成按钮，等待模型输出插值后的视频结果。\n\n示例输入图片已包含在项目的 `.\u002Fexamples` 文件夹中，可直接用于测试。","一位独立动画师正在制作一段产品宣传短片，需要让静态的产品渲染图平滑过渡到使用场景图，以展示功能变化。\n\n### 没有 Framer 时\n- **运动轨迹不可控**：传统帧插值工具只能自动生成中间帧，无法指定物体具体的移动路径，导致产品旋转或位移方向不符合创意构想。\n- **复杂形变处理生硬**：当起始图和结束图中物体形状差异较大（如折叠伞打开）时，自动算法容易产生扭曲、鬼影或模糊伪影。\n- **反复试错成本高**：为了获得理想的过渡效果，设计师不得不手动绘制大量关键帧或反复调整参数重渲染，耗时数小时甚至数天。\n- **局部细节丢失**：在背景复杂或前景物体快速运动时，通用模型难以保持纹理清晰度，导致最终视频质感下降。\n\n### 使用 Framer 后\n- **自定义关键点轨迹**：通过 Framer 的交互功能，动画师只需在图上标记几个关键点并拖动设定路径，即可精准控制产品的旋转角度和移动路线。\n- **完美处理大形变**：基于扩散模型的架构结合轨迹引导，Framer 能自然生成折叠伞打开等大幅形变过程，彻底消除画面扭曲和伪影。\n- **一键“自动驾驶”模式**：若不想手动调整，可直接启用 Framer 的自动估算功能，它能智能识别关键点并优化轨迹，瞬间输出流畅视频。\n- **高保真细节还原**：即使在复杂背景下，Framer 生成的中间帧依然保持极高的清晰度和时序连贯性，直接达到成片标准。\n\nFramer 将原本需要专业手绘或漫长渲染的帧插值工作，转变为可实时交互、精准控制的创意流程，极大提升了动态视觉内容的生产效率与质量。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Faim-uofa_Framer_5c1451e1.png","aim-uofa","Advanced Intelligent Machines (AIM)","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Faim-uofa_27466af8.png","A research team at Zhejiang University, focusing on Computer Vision and broad AI research ...",null,"https:\u002F\u002Fgithub.com\u002Faim-uofa",[80],{"name":81,"color":82,"percentage":83},"Python","#3572A5",100,502,31,"2026-04-08T02:13:49","Linux","必需 NVIDIA GPU，安装命令指定 pytorch-cuda=11.6，基于 Stable Video Diffusion 模型通常建议显存 16GB+（运行 512x320 分辨率）","未说明",{"notes":91,"python":92,"dependencies":93},"项目基于 Stable Video Diffusion 和 DragAnything 实现。需手动下载预训练模型（SVD-XT 和 Framer 权重）并放入 .\u002Fcheckpoints 目录。官方安装指南仅提供了 Linux (conda) 命令，Windows\u002FmacOS 用户可能需要自行调整环境配置。支持 ComfyUI 插件（由社区提供）。","3.8",[94,95,96,97],"pytorch==1.13.1","torchvision==0.14.1","torchaudio==0.13.1","pytorch-cuda=11.6",[52,15],"2026-03-27T02:49:30.150509","2026-04-09T21:36:23.099109",[102,107,112,117,122,127,132,136],{"id":103,"question_zh":104,"answer_zh":105,"source_url":106},26646,"代码和模型检查点（checkpoints）是否已开源？在哪里可以下载？","是的，推理代码、训练代码和模型检查点均已发布。模型权重现已公开，可以在 Hugging Face 上下载：https:\u002F\u002Fhuggingface.co\u002Fwwen1997\u002Fframer_512x320。如果之前遇到权限错误，请重试运行命令。","https:\u002F\u002Fgithub.com\u002Faim-uofa\u002FFramer\u002Fissues\u002F2",{"id":108,"question_zh":109,"answer_zh":110,"source_url":111},26647,"运行 Demo 时点击\"Add Drag Track\"后报错或图像消失，如何解决？","请在图像上绘制路径之前，先点击界面上的\"Add Drag Trajectory\"按钮。详细操作说明显示在界面顶部。如果是在私有 Space 中运行且涉及 `gr.State` 更新，确保函数返回 `None` 或 `[]` 而不是直接返回 `gr.State` 对象，以避免意外行为。","https:\u002F\u002Fgithub.com\u002Faim-uofa\u002FFramer\u002Fissues\u002F8",{"id":113,"question_zh":114,"answer_zh":115,"source_url":116},26648,"运行代码时提示模型权重私有（authenticated\u002Fpermission error），无法下载预训练模型怎么办？","模型权重之前是私有的，但现在已设为公开。请访问 https:\u002F\u002Fhuggingface.co\u002Fwwen1997\u002Fframer_512x320 获取模型，并重新运行下载命令即可解决权限问题。","https:\u002F\u002Fgithub.com\u002Faim-uofa\u002FFramer\u002Fissues\u002F9",{"id":118,"question_zh":119,"answer_zh":120,"source_url":121},26649,"项目的依赖文件（requirements.txt）在哪里？如何安装环境？","之前遗漏了 requirements.txt 文件，维护者已将其上传到仓库中。请直接拉取最新代码并使用该文件安装依赖：`pip install -r requirements.txt`。","https:\u002F\u002Fgithub.com\u002Faim-uofa\u002FFramer\u002Fissues\u002F11",{"id":123,"question_zh":124,"answer_zh":125,"source_url":126},26650,"模型是如何训练的？使用了什么数据集、硬件配置及训练策略？","模型基于 OpenVid 数据集的 HD 子集（OpenVidHD-0.4M，包含 40 万高质量视频）进行训练，未做额外过滤。训练使用 16 张 NVIDIA A100 GPU，总批次大小（batch size）为 16。训练分两阶段：首先训练 UNet 100k 次迭代，然后训练控制分支 10k 次迭代。","https:\u002F\u002Fgithub.com\u002Faim-uofa\u002FFramer\u002Fissues\u002F6",{"id":128,"question_zh":129,"answer_zh":130,"source_url":131},26651,"论文中的评估指标（PSNR, SSIM, LPIPS, FID, FVD）是如何计算的？","LPIPS 使用 VGG 网络计算；PSNR 和 SSIM 遵循 AMT 仓库的实现（https:\u002F\u002Fgithub.com\u002FMCG-NKU\u002FAMT\u002Fblob\u002Fmain\u002Fmetrics\u002Fpsnr_ssim.py）；FID 计算使用 pytorch-fid 库；FVD 计算遵循 TATS 仓库的实现方法。","https:\u002F\u002Fgithub.com\u002Faim-uofa\u002FFramer\u002Fissues\u002F4",{"id":133,"question_zh":134,"answer_zh":135,"source_url":121},26652,"训练代码和训练流程是否会开源？","维护者表示未来可能会开源训练代码，目前请关注项目更新。推理代码和模型权重已经可用。",{"id":137,"question_zh":138,"answer_zh":139,"source_url":140},26653,"训练数据是否经过了筛选或预处理？","项目使用了完整的 OpenVidHD-0.4M 数据集，没有进行额外的筛选或预处理，因为直接使用该数据集效果已经很好。","https:\u002F\u002Fgithub.com\u002Faim-uofa\u002FFramer\u002Fissues\u002F10",[]]