[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-researchmm--STTN":3,"tool-researchmm--STTN":64},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",140436,2,"2026-04-05T23:32:43",[13,15,26],"语言模型",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[13,14,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":23,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,26],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":23,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,51,52,53,15,54,26,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":10,"last_commit_at":62,"category_tags":63,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,26,54],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":79,"owner_email":79,"owner_twitter":79,"owner_website":79,"owner_url":80,"languages":81,"stars":90,"forks":91,"last_commit_at":92,"license":93,"difficulty_score":10,"env_os":94,"env_gpu":95,"env_ram":94,"env_deps":96,"category_tags":102,"github_topics":103,"view_count":23,"oss_zip_url":79,"oss_zip_packed_at":79,"status":16,"created_at":108,"updated_at":109,"faqs":110,"releases":139},3103,"researchmm\u002FSTTN","STTN","[ECCV'2020] STTN: Learning Joint Spatial-Temporal Transformations for Video Inpainting","STTN 是一款专为视频修复（Video Inpainting）设计的开源深度学习模型，曾发表于计算机视觉顶级会议 ECCV 2020。它的核心任务是智能填补视频画面中缺失或被遮挡的区域，例如移除视频中不需要的物体、水印或修复损坏帧，同时确保修复内容在空间细节和时间动态上都自然流畅，避免出现闪烁或断裂。\n\n传统方法往往难以兼顾视频的时空一致性，而 STTN 的创新之处在于提出了“联合时空变换网络”。它利用多尺度基于补丁的注意力机制，能够同时处理所有输入帧，捕捉长距离的时空依赖关系，并通过时空对抗损失进行优化。这使得它在处理静态遮挡以及更复杂的移动物体遮挡时，都能生成高质量、高连贯性的修复结果。\n\nSTTN 主要适合计算机视觉领域的研究人员、AI 开发者以及需要处理视频素材的专业设计师使用。项目基于 PyTorch 构建，提供了完整的训练代码、预训练模型（如在 Youtube-VOS 数据集上训练的权重）以及详细的数据集准备指南。用户只需简单的命令行操作，即可利用预训练模型对自定义视频进行修复测试，或基于现有架构开展进一步的学术研究与应用开发。","# STTN for Video Inpainting\n![teaser](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fresearchmm_STTN_readme_93022d020d15.png)\n\n### [Paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2007.10247) | [Project](https:\u002F\u002Fsites.google.com\u002Fview\u002F1900zyh\u002Fsttn) | [Slides](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1y09-SLcTadqpuDDLSzFdtr3ymGbjrmyi\u002Fview?usp=sharing) |[BibTex](https:\u002F\u002Fgithub.com\u002Fresearchmm\u002FSTTN#citation)\n\nLearning Joint Spatial-Temporal Transformations for Video Inpainting\u003Cbr>\n\n[Yanhong Zeng](https:\u002F\u002Fsites.google.com\u002Fview\u002F1900zyh),  [Jianlong Fu](https:\u002F\u002Fjianlong-fu.github.io\u002F), and [Hongyang Chao](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=qnbpG6gAAAAJ&hl).\u003Cbr>\nIn ECCV 2020.\n\n\n\u003C!-- ---------------------------------------------- -->\n## Citation\nIf any part of our paper and repository is helpful to your work, please generously cite with:\n```\n@inproceedings{yan2020sttn,\n  author = {Zeng, Yanhong and Fu, Jianlong and Chao, Hongyang,\n  title = {Learning Joint Spatial-Temporal Transformations for Video Inpainting},\n  booktitle = {The Proceedings of the European Conference on Computer Vision (ECCV)},\n  year = {2020}\n}\n```\n\n\u003C!-- ---------------------------------------------- -->\n## Introduction \nHigh-quality video inpainting that completes missing regions in video frames is a promising yet challenging task. \n\nIn this paper, we propose to learn a joint Spatial-Temporal Transformer Network (STTN) for video inpainting. Specifically, we simultaneously fill missing regions in all input frames by the proposed multi-scale patch-based attention modules. STTN is optimized by a spatial-temporal adversarial loss. \n\nTo show the superiority of the proposed model, we conduct both quantitative and qualitative evaluations by using standard stationary masks and more realistic moving object masks.\n\n![STTN](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fresearchmm_STTN_readme_bb36363ffc7c.png)\n\n\n\u003C!-- ---------------------------------------------- -->\n## Installation  \n\nClone this repo.\n\n```\ngit clone git@github.com:researchmm\u002FSTTN.git\ncd STTN\u002F\n```\n\nWe build our project based on Pytorch and Python. For the full set of required Python packages, we suggest create a Conda environment from the provided YAML, e.g.\n\n```\nconda env create -f environment.yml \nconda activate sttn\n```\n\n\u003C!-- ---------------------------------------------- -->\n## Completing Videos Using Pretrained Model\n\nThe result videos can be generated using pretrained models. \nFor your reference, we provide a model pretrained on Youtube-VOS([Google Drive Folder](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1ZAMV8547wmZylKRt5qR_tC5VlosXD4Wv\u002Fview?usp=sharing)). \n\n1. Download the pretrained models from the [Google Drive Folder](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1ZAMV8547wmZylKRt5qR_tC5VlosXD4Wv\u002Fview?usp=sharing), save it in ```checkpoints\u002F```. \n\n2. Complete videos using the pretrained model. For example, \n\n```\npython test.py --video examples\u002Fschoolgirls_orig.mp4 --mask examples\u002Fschoolgirls  --ckpt checkpoints\u002Fsttn.pth \n```\nThe outputs videos are saved at ```examples\u002F```. \n\n\n\u003C!-- ---------------------------------------------- -->\n## Dataset Preparation\n\nWe provide dataset split in ```datasets\u002F```. \n\n**Preparing Youtube-VOS (2018) Dataset.** The dataset can be downloaded from [here](https:\u002F\u002Fcompetitions.codalab.org\u002Fcompetitions\u002F19544#participate-get-data). In particular, we follow the standard train\u002Fvalidation\u002Ftest split (3,471\u002F474\u002F508). The dataset should be arranged in the same directory structure as \n\n```\ndatasets\n    ｜- youtube-vos\n        |- JPEGImages\n           |- \u003Cvideo_id>.zip\n           |- \u003Cvideo_id>.zip\n        |- test.json \n        |- train.json \n``` \n\n**Preparing DAVIS (2018) Dataset.** The dataset can be downloaded from [here](https:\u002F\u002Fdavischallenge.org\u002Fdavis2017\u002Fcode.html). In particular, there are 90 videos with densely-annotated object masks and 60 videos without annotations. The dataset should be arranged in the same directory structure as\n\n```\ndatasets\n    ｜- davis\n        |- JPEGImages\n          |- cows.zip\n          |- goat.zip\n        |- Annoatations\n          |- cows.zip\n          |- goat.zip\n        |- test.json \n        |- train.json \n``` \n\n\n\u003C!-- ---------------------------------------------- -->\n## Training New Models\nOnce the dataset is ready, new models can be trained with the following commands. For example, \n\n```\npython train.py --config configs\u002Fyoutube-vos.json --model sttn \n```\n\n\u003C!-- ---------------------------------------------- -->\n## Testing\n\nTesting is similar to [Completing Videos Using Pretrained Model](https:\u002F\u002Fgithub.com\u002Fresearchmm\u002FSTTN#completing-videos-using-pretrained-model).\n\n```\npython test.py --video examples\u002Fschoolgirls_orig.mp4 --mask examples\u002Fschoolgirls  --ckpt checkpoints\u002Fsttn.pth \n```\nThe outputs videos are saved at ```examples\u002F```. \n\n\u003C!-- ---------------------------------------------- -->\n## Visualization \n\nWe provide an example of visualization attention maps in ```visualization.ipynb```. \n\n\n\u003C!-- ---------------------------------------------- -->\n## Training Monitoring  \n\nWe provide traning monitoring on losses by running: \n```\ntensorboard --logdir release_mode                                                    \n```\n\n\u003C!-- ---------------------------------------------- -->\n## Contact\nIf you have any questions or suggestions about this paper, feel free to contact me (zengyh7@mail2.sysu.edu.cn).\n","# 用于视频修复的STTN\n![teaser](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fresearchmm_STTN_readme_93022d020d15.png)\n\n### [论文](https:\u002F\u002Farxiv.org\u002Fabs\u002F2007.10247) | [项目](https:\u002F\u002Fsites.google.com\u002Fview\u002F1900zyh\u002Fsttn) | [幻灯片](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1y09-SLcTadqpuDDLSzFdtr3ymGbjrmyi\u002Fview?usp=sharing) |[BibTex](https:\u002F\u002Fgithub.com\u002Fresearchmm\u002FSTTN#citation)\n\n学习联合空时变换以进行视频修复\u003Cbr>\n\n[曾艳红](https:\u002F\u002Fsites.google.com\u002Fview\u002F1900zyh),  [傅建龙](https:\u002F\u002Fjianlong-fu.github.io\u002F), 和 [晁洪洋](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=qnbpG6gAAAAJ&hl)。\u003Cbr>\n发表于ECCV 2020。\n\n\n\u003C!-- ---------------------------------------------- -->\n## 引用\n如果我们的论文和仓库中的任何部分对您的工作有所帮助，请慷慨地使用以下方式引用：\n```\n@inproceedings{yan2020sttn,\n  author = {Zeng, Yanhong and Fu, Jianlong and Chao, Hongyang,\n  title = {Learning Joint Spatial-Temporal Transformations for Video Inpainting},\n  booktitle = {The Proceedings of the European Conference on Computer Vision (ECCV)},\n  year = {2020}\n}\n```\n\n\u003C!-- ---------------------------------------------- -->\n## 简介 \n高质量的视频修复技术能够填补视频帧中的缺失区域，这是一项充满前景但极具挑战性的任务。\n\n在本文中，我们提出了一种用于视频修复的联合空时Transformer网络（STTN）。具体而言，我们通过提出的多尺度补丁注意力模块，同时填充所有输入帧中的缺失区域。STTN由空时对抗损失进行优化。\n\n为了展示所提模型的优越性，我们使用标准的静态掩码以及更真实的动态物体掩码进行了定量和定性评估。\n\n![STTN](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fresearchmm_STTN_readme_bb36363ffc7c.png)\n\n\n\u003C!-- ---------------------------------------------- -->\n## 安装  \n\n克隆此仓库。\n\n```\ngit clone git@github.com:researchmm\u002FSTTN.git\ncd STTN\u002F\n```\n\n我们的项目基于PyTorch和Python构建。对于所需的完整Python包集合，我们建议从提供的YAML文件创建一个Conda环境，例如：\n\n```\nconda env create -f environment.yml \nconda activate sttn\n```\n\n\u003C!-- ---------------------------------------------- -->\n## 使用预训练模型完成视频\n\n可以使用预训练模型生成结果视频。作为参考，我们提供了一个在Youtube-VOS数据集上预训练的模型（[Google Drive文件夹](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1ZAMV8547wmZylKRt5qR_tC5VlosXD4Wv\u002Fview?usp=sharing)）。 \n\n1. 从[Google Drive文件夹](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1ZAMV8547wmZylKRt5qR_tC5VlosXD4Wv\u002Fview?usp=sharing)下载预训练模型，并将其保存到```checkpoints\u002F```目录下。 \n\n2. 使用预训练模型完成视频。例如：\n\n```\npython test.py --video examples\u002Fschoolgirls_orig.mp4 --mask examples\u002Fschoolgirls  --ckpt checkpoints\u002Fsttn.pth \n```\n输出视频将保存在```examples\u002F```目录中。\n\n\n\u003C!-- ---------------------------------------------- -->\n## 数据集准备\n\n我们在```datasets\u002F```目录中提供了数据集划分。 \n\n**准备Youtube-VOS（2018）数据集。** 该数据集可以从[这里](https:\u002F\u002Fcompetitions.codalab.org\u002Fcompetitions\u002F19544#participate-get-data)下载。特别地，我们遵循标准的训练\u002F验证\u002F测试划分（3,471\u002F474\u002F508）。数据集应按照如下目录结构组织：\n\n```\ndatasets\n    ｜- youtube-vos\n        |- JPEGImages\n           |- \u003Cvideo_id>.zip\n           |- \u003Cvideo_id>.zip\n        |- test.json \n        |- train.json \n``` \n\n**准备DAVIS（2018）数据集。** 该数据集可以从[这里](https:\u002F\u002Fdavischallenge.org\u002Fdavis2017\u002Fcode.html)下载。特别地，有90个带有密集标注对象掩码的视频，以及60个未标注的视频。数据集应按照如下目录结构组织：\n\n```\ndatasets\n    ｜- davis\n        |- JPEGImages\n          |- cows.zip\n          |- goat.zip\n        |- Annoatations\n          |- cows.zip\n          |- goat.zip\n        |- test.json \n        |- train.json \n``` \n\n\n\u003C!-- ---------------------------------------------- -->\n## 训练新模型\n一旦数据集准备就绪，就可以使用以下命令训练新模型。例如：\n\n```\npython train.py --config configs\u002Fyoutube-vos.json --model sttn \n```\n\n\u003C!-- ---------------------------------------------- -->\n## 测试\n\n测试过程与[使用预训练模型完成视频](https:\u002F\u002Fgithub.com\u002Fresearchmm\u002FSTTN#completing-videos-using-pretrained-model)类似。\n\n```\npython test.py --video examples\u002Fschoolgirls_orig.mp4 --mask examples\u002Fschoolgirls  --ckpt checkpoints\u002Fsttn.pth \n```\n输出视频将保存在```examples\u002F```目录中。\n\n\n\u003C!-- ---------------------------------------------- -->\n## 可视化 \n\n我们在```visualization.ipynb```中提供了一个可视化注意力图的例子。\n\n\n\u003C!-- ---------------------------------------------- -->\n## 训练监控  \n\n我们可以通过运行以下命令来监控训练过程中的损失：\n```\ntensorboard --logdir release_mode                                                    \n```\n\n\u003C!-- ---------------------------------------------- -->\n## 联系方式\n如果您对本论文有任何疑问或建议，请随时联系我（zengyh7@mail2.sysu.edu.cn）。","# STTN 视频修复快速上手指南\n\nSTTN (Spatial-Temporal Transformer Network) 是一个用于高质量视频修复（Video Inpainting）的开源项目，曾发表于 ECCV 2020。它通过联合时空变换网络，能够同时处理多帧中的缺失区域，适用于去除视频中不需要的物体或修复损坏片段。\n\n## 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**: Linux 或 macOS (Windows 需使用 WSL 或类似环境)\n*   **Python**: 推荐 Python 3.6+\n*   **深度学习框架**: PyTorch\n*   **包管理工具**: Conda (强烈推荐，可自动解决依赖冲突)\n*   **硬件**: 建议使用带有 CUDA 支持的 NVIDIA GPU 进行推理和训练\n\n## 安装步骤\n\n### 1. 克隆代码仓库\n首先将项目代码下载到本地：\n\n```bash\ngit clone git@github.com:researchmm\u002FSTTN.git\ncd STTN\u002F\n```\n\n### 2. 创建并激活 Conda 环境\n项目提供了 `environment.yml` 文件以简化依赖安装。执行以下命令创建名为 `sttn` 的虚拟环境并激活它：\n\n```bash\nconda env create -f environment.yml \nconda activate sttn\n```\n\n> **提示**：如果下载 `environment.yml` 中的包速度较慢，可尝试配置国内镜像源（如清华源或中科大源）：\n> `conda config --add channels https:\u002F\u002Fmirrors.tuna.tsinghua.edu.cn\u002Fanaconda\u002Fpkgs\u002Fmain\u002F`\n\n### 3. 下载预训练模型\n为了直接体验效果，需要下载在 Youtube-VOS 数据集上预训练的模型。\n*   **下载地址**: [Google Drive](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1ZAMV8547wmZylKRt5qR_tC5VlosXD4Wv\u002Fview?usp=sharing)\n*   **存放路径**: 下载完成后，将文件重命名为 `sttn.pth` 并放入项目根目录下的 `checkpoints\u002F` 文件夹中。\n    *   若没有该文件夹，请手动创建：`mkdir checkpoints`\n\n## 基本使用\n\n安装完成并准备好模型后，即可运行最简单的视频修复示例。以下命令将读取示例视频和对应的掩码（Mask），生成修复后的视频。\n\n**运行推理命令：**\n\n```bash\npython test.py --video examples\u002Fschoolgirls_orig.mp4 --mask examples\u002Fschoolgirls  --ckpt checkpoints\u002Fsttn.pth \n```\n\n**参数说明：**\n*   `--video`: 输入的原视频路径。\n*   `--mask`: 对应的掩码文件路径（指示需要修复的区域）。\n*   `--ckpt`: 预训练模型权重文件的路径。\n\n**结果输出：**\n修复完成的视频将自动保存在 `examples\u002F` 目录下。您可以使用任何视频播放器查看修复效果。","某影视后期团队在处理一段珍贵的历史纪录片时，发现画面中因胶片损伤存在持续移动的黑色划痕和污点，急需在不破坏原有动态纹理的前提下进行修复。\n\n### 没有 STTN 时\n- **画面闪烁严重**：传统逐帧修图工具无法理解时间维度的连续性，导致修复后的区域在播放时出现明显的抖动和闪烁。\n- **动态背景错位**：当划痕遮挡移动物体（如行走的人物或行驶的车辆）时，简单填充会导致背景纹理静止或扭曲，产生违和的“补丁感”。\n- **人工成本极高**：特效师不得不手动逐帧绘制遮罩并跟踪运动轨迹，修复一分钟视频往往需要数天时间，且难以保证长镜头的一致性。\n- **细节丢失明显**：现有算法难以重建复杂的时空结构，修复区域往往模糊不清，丢失了原始胶片特有的颗粒感和清晰度。\n\n### 使用 STTN 后\n- **时空连贯自然**：STTN 利用联合时空变换机制，同时处理所有帧的缺失区域，确保修复内容在时间轴上流畅过渡，彻底消除闪烁。\n- **智能运动补全**：通过多尺度补丁注意力模块，模型能精准预测被遮挡物体的运动轨迹，自动补全移动背景，使修复区与周围环境完美融合。\n- **效率大幅提升**：只需提供简单的掩码视频，STTN 即可全自动完成修复，将原本数天的工作量缩短至几分钟，让团队能专注于艺术创作。\n- **高保真细节还原**：基于时空对抗损失的优化策略，使得生成的纹理清晰锐利，完美保留了历史影像的质感，甚至肉眼难以察觉修复痕迹。\n\nSTTN 通过将空间与时间信息深度融合，解决了视频修复中动态一致性难的痛点，让高质感的自动化视频修复成为现实。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fresearchmm_STTN_93022d02.png","researchmm","Multimedia Research","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fresearchmm_6de575f1.png","Multimedia Research at Microsoft Research Asia",null,"https:\u002F\u002Fgithub.com\u002Fresearchmm",[82,86],{"name":83,"color":84,"percentage":85},"Jupyter Notebook","#DA5B0B",91.5,{"name":87,"color":88,"percentage":89},"Python","#3572A5",8.5,547,82,"2026-04-02T03:05:35","MIT","未说明","必需 (基于 PyTorch 和对抗性损失的视频处理任务，通常需 NVIDIA GPU)，具体型号、显存大小及 CUDA 版本未在文中明确说明",{"notes":97,"python":98,"dependencies":99},"项目基于 PyTorch 构建，强烈建议使用提供的 environment.yml 文件创建 Conda 环境以安装完整的依赖包。运行示例需要下载预训练模型（约几百 MB 至几 GB，具体大小未说明）并放置在 checkpoints 目录。数据集需按照特定的目录结构整理（如 youtube-vos 或 davis）。","未说明 (仅提及基于 Python)",[100,101],"pytorch","conda (推荐用于环境管理)",[52,26,14],[104,105,106,107],"video-inpainting","completing-videos","transformer","spatial-temporal","2026-03-27T02:49:30.150509","2026-04-06T08:16:08.328825",[111,116,120,125,130,135],{"id":112,"question_zh":113,"answer_zh":114,"source_url":115},14284,"如何输出与输入视频相同分辨率（如 HD 或 4K）的视频，而不是默认的 432x240？","默认代码会将输入下采样至 432x240。虽然代码原生未完全支持多分辨率，但可以通过调整补丁大小（patch sizes）作为变通方案来解决。具体操作涉及修改相关参数以匹配目标分辨率因子。","https:\u002F\u002Fgithub.com\u002Fresearchmm\u002FSTTN\u002Fissues\u002F13",{"id":117,"question_zh":118,"answer_zh":119,"source_url":115},14285,"参数 `ref_length` 和 `neighbor_stride` 的作用是什么？何时需要调整它们？","这两个参数用于控制参考帧长度和邻居步长。虽然具体调整策略需结合场景，但它们直接影响视频修复的时空一致性。在处理不同帧率或运动幅度的视频时，可能需要根据实际需求调整这些值以优化效果。",{"id":121,"question_zh":122,"answer_zh":123,"source_url":124},14286,"YouTube-VOS 数据集的文件结构与文档描述不符（是文件夹而非 zip），需要进行数据预处理吗？","是的，需要预处理。用户需要编写或使用现有的 Python 预处理脚本，将包含不同视频剪辑的文件夹按照 README 文件的要求压缩成 zip 格式，以便代码能够正确读取数据。","https:\u002F\u002Fgithub.com\u002Fresearchmm\u002FSTTN\u002Fissues\u002F8",{"id":126,"question_zh":127,"answer_zh":128,"source_url":129},14287,"直接修改 test.py 中的宽（w）和高（h）值为何会导致 RuntimeError？","直接修改 w 和 h 会导致运行时错误，因为代码架构并非为动态多分辨率设计。简单的数值更改会破坏内部张量维度匹配。正确的做法是调整补丁大小（patch sizes）相关的配置，以确保因子对齐，而不是硬编码分辨率尺寸。","https:\u002F\u002Fgithub.com\u002Fresearchmm\u002FSTTN\u002Fissues\u002F7",{"id":131,"question_zh":132,"answer_zh":133,"source_url":134},14288,"是否有方法在不降低分辨率的情况下运行全尺寸视频？","目前官方代码主要针对固定低分辨率优化。若要运行全尺寸视频，社区建议的解决方案是通过调整补丁大小（patch sizes）来绕过限制，使网络能够处理更大的输入因子，但这可能需要手动计算并设置合适的参数。","https:\u002F\u002Fgithub.com\u002Fresearchmm\u002FSTTN\u002Fissues\u002F6",{"id":136,"question_zh":137,"answer_zh":138,"source_url":115},14289,"如何通过调整 patch size 来适配不同的输出分辨率？","目标是让 patch size 成为分辨率的因子。用户需要计算目标分辨率与默认分辨率的比例，并相应地调整代码中的 patch size 设置，以确保模型内部操作（如下采样和特征提取）能够整除图像尺寸，从而避免维度错误。",[]]