[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-KlingAIResearch--SynCamMaster":3,"tool-KlingAIResearch--SynCamMaster":65},[4,18,32,40,48,57],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4292,"Deep-Live-Cam","hacksider\u002FDeep-Live-Cam","Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。\n\n这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。\n\n其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。",88924,3,"2026-04-06T03:28:53",[13,14,15,16],"开发框架","图像","Agent","视频","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":24,"last_commit_at":25,"category_tags":26,"status":17},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",85013,2,"2026-04-06T11:09:19",[14,27,16,28,15,29,30,13,31],"数据工具","插件","其他","语言模型","音频",{"id":33,"name":34,"github_repo":35,"description_zh":36,"stars":37,"difficulty_score":10,"last_commit_at":38,"category_tags":39,"status":17},3833,"MoneyPrinterTurbo","harry0703\u002FMoneyPrinterTurbo","MoneyPrinterTurbo 是一款利用 AI 大模型技术，帮助用户一键生成高清短视频的开源工具。只需输入一个视频主题或关键词，它就能全自动完成从文案创作、素材匹配、字幕合成到背景音乐搭配的全过程，最终输出完整的竖屏或横屏短视频。\n\n这款工具主要解决了传统视频制作流程繁琐、门槛高以及素材版权复杂等痛点。无论是需要快速产出内容的自媒体创作者，还是希望尝试视频生成的普通用户，无需具备专业的剪辑技能或昂贵的硬件配置（普通电脑即可运行），都能轻松上手。同时，其清晰的 MVC 架构和对多种主流大模型（如 DeepSeek、Moonshot、通义千问等）的广泛支持，也使其成为开发者进行二次开发或技术研究的理想底座。\n\nMoneyPrinterTurbo 的独特亮点在于其高度的灵活性与本地化友好性。它不仅支持中英文双语及多种语音合成，允许用户精细调整字幕样式和画面比例，还特别优化了国内网络环境下的模型接入方案，让用户无需依赖 VPN 即可使用高性能国产大模型。此外，工具提供批量生成模式，可一次性产出多个版本供用户择优，极大地提升了内容创作的效率与质量。",54991,"2026-04-05T12:23:02",[13,30,15,16,14],{"id":41,"name":42,"github_repo":43,"description_zh":44,"stars":45,"difficulty_score":24,"last_commit_at":46,"category_tags":47,"status":17},2179,"oh-my-openagent","code-yeongyu\u002Foh-my-openagent","oh-my-openagent（简称 omo）是一款强大的开源智能体编排框架，前身名为 oh-my-opencode。它致力于打破单一模型供应商的生态壁垒，解决开发者在构建 AI 应用时面临的“厂商锁定”难题。不同于仅依赖特定模型的封闭方案，omo 倡导开放市场理念，支持灵活调度多种主流大模型：利用 Claude、Kimi 或 GLM 进行任务编排，调用 GPT 处理复杂推理，借助 Minimax 提升响应速度，或发挥 Gemini 的创意优势。\n\n这款工具特别适合希望摆脱平台限制、追求极致性能与成本平衡的开发者及研究人员使用。通过统一接口，用户可以轻松组合不同模型的长处，构建更高效、更具适应性的智能体系统。其独特的技术亮点在于“全模型兼容”架构，让用户不再受制于某一家公司的策略变动或定价调整，真正实现对前沿模型资源的自由驾驭。无论是构建自动化编码助手，还是开发多步骤任务处理流程，oh-my-openagent 都能提供灵活且稳健的基础设施支持，助力用户在快速演进的 AI 生态中保持技术主动权。",48861,"2026-04-06T23:38:51",[16,30,13,14,15],{"id":49,"name":50,"github_repo":51,"description_zh":52,"stars":53,"difficulty_score":54,"last_commit_at":55,"category_tags":56,"status":17},2483,"onlook","onlook-dev\u002Fonlook","Onlook 是一款专为设计师打造的开源 AI 优先设计工具，被誉为“设计师版的 Cursor”。它旨在打破设计与开发之间的壁垒，让用户能够以可视化的方式直接构建、样式化和编辑 React 应用。通过 Onlook，用户无需深入编写复杂代码，即可在类似 Figma 的直观界面中完成网页原型的搭建与调整，并实时预览最终效果。\n\n这款工具主要解决了传统工作流中设计稿到代码转换效率低、沟通成本高的问题。以往，设计师使用 Figma 等工具完成设计后，需要开发人员手动将其转化为代码，过程繁琐且容易出错。Onlook 允许用户直接在浏览器 DOM 中进行可视化编辑，底层自动生成基于 Next.js 和 TailwindCSS 的高质量代码，实现了“所见即所得”的开发体验。它不仅支持从文本或图像快速生成应用，还具备分支管理、资源管理及一键部署等功能，极大地简化了从创意到成品的流程。\n\nOnlook 特别适合前端开发者、UI\u002FUX 设计师以及希望快速验证产品创意的独立开发者使用。对于设计师而言，它降低了参与前端开发的门槛；对于开发者来说，它提供了一个高效的视觉化调试和原型构建环境。其核心技术亮点在于",25006,4,"2026-04-03T01:50:49",[15,14,16,13],{"id":58,"name":59,"github_repo":60,"description_zh":61,"stars":62,"difficulty_score":24,"last_commit_at":63,"category_tags":64,"status":17},3795,"serena","oraios\u002Fserena","Serena 是一款专为编程智能体（Coding Agent）打造的强大工具包，被誉为“智能体的集成开发环境（IDE）”。它通过模型上下文协议（MCP）与各类大语言模型及客户端无缝集成，旨在解决传统 AI 在复杂代码库中因依赖行号或简单文本搜索而导致的效率低下和准确性不足的问题。\n\n与传统方法不同，Serena 采用“智能体优先”的设计理念，提供基于语义的代码检索、编辑和重构能力。它能像资深开发者使用 IDE 一样，深入理解代码的符号层级和关联结构，从而让智能体在大型项目中运行得更快、更稳、更可靠。无论是终端用户（如 Claude Code）、IDE 插件（VSCode、Cursor）还是桌面应用，都能轻松接入 Serena 以扩展功能。\n\nSerena 特别适合需要处理大规模代码项目的开发者、研究人员以及希望提升 AI 编码能力的技术团队。其核心技术亮点在于灵活的后端支持：既默认集成了基于语言服务器协议（LSP）的开源方案，支持超过 40 种编程语言；也可选配强大的 JetBrains 插件，利用专业 IDE 的深度分析能力。这让 Serena 成为连接人工智能与复杂软件工程的高效桥",22488,"2026-04-05T10:53:54",[15,14,13,16],{"id":66,"github_repo":67,"name":68,"description_en":69,"description_zh":70,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":77,"owner_avatar_url":78,"owner_bio":79,"owner_company":80,"owner_location":80,"owner_email":81,"owner_twitter":80,"owner_website":80,"owner_url":82,"languages":83,"stars":88,"forks":89,"last_commit_at":90,"license":80,"difficulty_score":54,"env_os":91,"env_gpu":92,"env_ram":93,"env_deps":94,"category_tags":105,"github_topics":106,"view_count":24,"oss_zip_url":80,"oss_zip_packed_at":80,"status":17,"created_at":108,"updated_at":109,"faqs":110,"releases":138},4741,"KlingAIResearch\u002FSynCamMaster","SynCamMaster","[ICLR'25] SynCamMaster: Synchronizing Multi-Camera Video Generation from Diverse Viewpoints","SynCamMaster 是一款专为多视角视频生成设计的开源框架，旨在让预训练的文本生成视频（T2V）模型能够同步产出多个不同角度的连贯视频。它主要解决了传统 AI 在生成多机位视频时，难以保持各视角间时间同步与内容一致性的难题，特别适用于需要模拟电影级多镜头调度或构建 3D 场景的复杂任务。\n\n该工具非常适合人工智能研究人员、视频生成开发者以及从事虚拟制作的专业人士使用。通过引入高效的适配方法，SynCamMaster 无需从头训练庞大的基础模型，即可“激活”现有 T2V 模型的多相机生成能力。其独特亮点在于配套发布了基于虚幻引擎 5（Unreal Engine 5）渲染的高质量多相机同步数据集（SynCamVideo Dataset），为训练和评估提供了坚实的数据基础。目前项目已开放基于 Wan2.1 模型的推理与训练代码，虽然受限于底层基座模型的差异，开源版本效果可能与论文中使用的内部模型略有不同，但它仍为社区探索开放域多视角视频生成提供了极具价值的参考实现和技术路径。","# SynCamMaster: Synchronizing Multi-Camera Video Generation from Diverse Viewpoints\n\n\u003Cdiv align=\"center\">\n\u003Cdiv align=\"center\" style=\"margin-top: 0px; margin-bottom: 0px;\">\n\u003Cimg src=https:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002Fb33c5b67-3881-4fa3-b853-f932eebc9c50 width=\"50%\"\u002F>\n\u003C\u002Fdiv>\n\n### [\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2412.07760\" target=\"_blank\">arXiv\u003C\u002Fa>] [\u003Ca href=\"https:\u002F\u002Fjianhongbai.github.io\u002FSynCamMaster\u002F\" target=\"_blank\">Project Page\u003C\u002Fa>] [\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FKwaiVGI\u002FSynCamVideo-Dataset\u002F\" target=\"_blank\">Dataset\u003C\u002Fa>]\n\n_**[Jianhong Bai\u003Csup>1*\u003C\u002Fsup>](https:\u002F\u002Fjianhongbai.github.io\u002F), [Menghan Xia\u003Csup>2†\u003C\u002Fsup>](https:\u002F\u002Fmenghanxia.github.io\u002F), [Xintao Wang\u003Csup>2\u003C\u002Fsup>](https:\u002F\u002Fxinntao.github.io\u002F), [Ziyang Yuan\u003Csup>3\u003C\u002Fsup>](https:\u002F\u002Fscholar.google.ru\u002Fcitations?user=fWxWEzsAAAAJ&hl=en), [Xiao Fu\u003Csup>4\u003C\u002Fsup>](https:\u002F\u002Ffuxiao0719.github.io\u002F), \u003Cbr>[Zuozhu Liu\u003Csup>1\u003C\u002Fsup>](https:\u002F\u002Fperson.zju.edu.cn\u002Fen\u002Flzz), [Haoji Hu\u003Csup>1\u003C\u002Fsup>](https:\u002F\u002Fperson.zju.edu.cn\u002Fen\u002Fhuhaoji), [Pengfei Wan\u003Csup>2\u003C\u002Fsup>](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=P6MraaYAAAAJ&hl=en), [Di Zhang\u003Csup>2\u003C\u002Fsup>](https:\u002F\u002Fopenreview.net\u002Fprofile?id=~Di_ZHANG3)**_\n\u003Cbr>\n(*Work done during an internship at KwaiVGI, Kuaishou Technology †corresponding author)\n\n\u003Csup>1\u003C\u002Fsup>Zhejiang University, \u003Csup>2\u003C\u002Fsup>Kuaishou Technology, \u003Csup>3\u003C\u002Fsup>Tsinghua University, \u003Csup>4\u003C\u002Fsup>CUHK.\n\n**ICLR 2025**\n\n\u003C\u002Fdiv>\n\n**Important Note:** This open-source repository is intended to provide a reference implementation. Due to the difference in the underlying T2V model's performance, the open-source version may not achieve the same performance as the model in our paper.\n\n## 🔥 Updates\n- __[2025.04.15]__: Please feel free to explore our subsequent work, [ReCamMaster](https:\u002F\u002Fgithub.com\u002FKwaiVGI\u002FReCamMaster).\n- __[2025.04.15]__: Update a new version of the [SynCamVideo Dataset](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FKwaiVGI\u002FSynCamVideo-Dataset).\n- __[2025.04.15]__: Release the [training and inference code](https:\u002F\u002Fgithub.com\u002FKwaiVGI\u002FSynCamMaster?tab=readme-ov-file#%EF%B8%8F-code-syncammaster--wan21-inference--training), [model checkpoint](https:\u002F\u002Fhuggingface.co\u002FKwaiVGI\u002FSynCamMaster-Wan2.1\u002Fblob\u002Fmain\u002Fstep20000.ckpt).\n- __[2024.12.10]__: Release the [project page](https:\u002F\u002Fjianhongbai.github.io\u002FSynCamMaster\u002F) and the [SynCamVideo Dataset](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FKwaiVGI\u002FSynCamVideo-Dataset\u002F).\n  \n## 📖 Introduction\n\n**TL;DR:** We propose SynCamMaster, an efficient method to lift pre-trained text-to-video models for open-domain multi-camera video generation from diverse viewpoints. We also release a multi-camera synchronized video [dataset](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FKwaiVGI\u002FSynCamVideo-Dataset) rendered with Unreal Engine 5. \u003Cbr>\n\nhttps:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002F1ecfaea8-5d87-4bb5-94fc-062f84bd67a1\n\n## ⚙️ Code: SynCamMaster + Wan2.1 (Inference & Training)\nThe model utilized in our paper is an internally developed T2V model, not [Wan2.1](https:\u002F\u002Fgithub.com\u002FWan-Video\u002FWan2.1). Due to company policy restrictions, we are unable to open-source the model used in the paper. Consequently, we migrated SynCamMaster to Wan2.1 to validate the effectiveness of our method. Due to differences in the underlying T2V model, you may not achieve the same results as demonstrated in the demo.\n### Inference\nStep 1: Set up the environment\n\n[DiffSynth-Studio](https:\u002F\u002Fgithub.com\u002Fmodelscope\u002FDiffSynth-Studio) requires Rust and Cargo to compile extensions. You can install them using the following command:\n```shell\ncurl --proto '=https' --tlsv1.2 -sSf [https:\u002F\u002Fsh.rustup.rs](https:\u002F\u002Fsh.rustup.rs\u002F) | sh\n. \"$HOME\u002F.cargo\u002Fenv\"\n```\n\nInstall [DiffSynth-Studio](https:\u002F\u002Fgithub.com\u002Fmodelscope\u002FDiffSynth-Studio):\n```shell\ngit clone https:\u002F\u002Fgithub.com\u002FKwaiVGI\u002FSynCamMaster.git\ncd SynCamMaster\npip install -e .\n```\n\nStep 2: Download the pretrained checkpoints\n1. Download the pre-trained Wan2.1 models\n\n```shell\ncd SynCamMaster\npython download_wan2.1.py\n```\n2. Download the pre-trained SynCamMaster checkpoint\n\nPlease download from [huggingface](https:\u002F\u002Fhuggingface.co\u002FKwaiVGI\u002FSynCamMaster-Wan2.1\u002Fblob\u002Fmain\u002Fstep20000.ckpt) and place it in ```models\u002FSynCamMaster\u002Fcheckpoints```.\n\nStep 3: Test the example videos\n```shell\npython inference_syncammaster.py --cam_type \"az\"\n```\n\nWe provide several preset camera types. Additionally, you can generate new camera poses for testing.\n\n### Training\n\nStep 1: Set up the environment\n\n```shell\npip install lightning pandas websockets\n```\n\nStep 2: Prepare the training dataset\n\n1. Download the [SynCamVideo dataset](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FKwaiVGI\u002FSynCamVideo-Dataset).\n\n2. Extract VAE features\n\n```shell\nCUDA_VISIBLE_DEVICES=\"0,1,2,3,4,5,6,7\" python train_syncammaster.py   --task data_process   --dataset_path path\u002Fto\u002Fthe\u002FSynCamVideo\u002FDataset   --output_path .\u002Fmodels   --text_encoder_path \"models\u002FWan-AI\u002FWan2.1-T2V-1.3B\u002Fmodels_t5_umt5-xxl-enc-bf16.pth\"   --vae_path \"models\u002FWan-AI\u002FWan2.1-T2V-1.3B\u002FWan2.1_VAE.pth\"   --tiled   --num_frames 81   --height 480   --width 832 --dataloader_num_workers 2\n```\n\n3. Generate Captions for Each Video\n\nYou can use video caption tools like [LLaVA](https:\u002F\u002Fgithub.com\u002Fhaotian-liu\u002FLLaVA) to generate captions for each video and store them in the ```metadata.csv``` file.\n\n4. Calculate the availble sample list\n\n```shell\npython generate_sample_list.py\n```\n\nStep 3: Training\n```shell\nCUDA_VISIBLE_DEVICES=\"0,1,2,3,4,5,6,7\" python train_syncammaster.py   --task train   --output_path .\u002Fmodels\u002Ftrain   --dit_path \"models\u002FWan-AI\u002FWan2.1-T2V-1.3B\u002Fdiffusion_pytorch_model.safetensors\"   --steps_per_epoch 8000   --max_epochs 100   --learning_rate 1e-4   --accumulate_grad_batches 1   --use_gradient_checkpointing  --dataloader_num_workers 4\n```\nWe do not explore the optimal set of hyper-parameters and train with a batch size of 1 on each GPU. You may achieve better model performance by adjusting hyper-parameters such as the learning rate and increasing the batch size.\n\nStep 4: Test the model\n\n```shell\npython inference_syncammaster.py --cam_type \"az\" --ckpt_path path\u002Fto\u002Fthe\u002Fcheckpoint\n```\n\n## 📷 Dataset: SynCamVideo Dataset\n### 1. Dataset Introduction\n\n**TL;DR:** The SynCamVideo Dataset is a multi-camera synchronized video dataset rendered using Unreal Engine 5. It includes synchronized multi-camera videos and their corresponding camera poses. The SynCamVideo Dataset can be valuable in fields such as camera-controlled video generation, synchronized video production, and 3D\u002F4D reconstruction. The camera is stationary in the SynCamVideo Dataset. If you require footage with moving cameras rather than stationary ones, please explore our [MultiCamVideo](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FKwaiVGI\u002FMultiCamVideo-Dataset) Dataset.\n\nhttps:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002Fb49fc632-d1df-49fd-93d2-8513fbdb9377\n\nThe SynCamVideo Dataset is a multi-camera synchronized video dataset rendered using Unreal Engine 5. It includes synchronized multi-camera videos and their corresponding camera poses.\nIt consists of 3.4K different dynamic scenes, each captured by 10 cameras, resulting in a total of 34K videos. Each dynamic scene is composed of four elements: {3D environment, character, animation, camera}. Specifically, we use animation to drive the character, \nand position the animated character within the 3D environment. Then, Time-synchronized cameras are set up to render the multi-camera video data.\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FKlingAIResearch_SynCamMaster_readme_618e52842d58.png\" alt=\"Example Image\" width=\"70%\">\n\u003C\u002Fp>\n\n**3D Environment:** We collect 37 high-quality 3D environments assets from [Fab](https:\u002F\u002Fwww.fab.com). To minimize the domain gap between rendered data and real-world videos, we primarily select visually realistic 3D scenes, while choosing a few stylized or surreal 3D scenes as a supplement. To ensure data diversity, the selected scenes cover a variety of indoor and outdoor settings, such as city streets, shopping malls, cafes, office rooms, and the countryside.\n\n**Character:** We collect 66 different human 3D models as characters from [Fab](https:\u002F\u002Fwww.fab.com) and [Mixamo](https:\u002F\u002Fwww.mixamo.com).\n\n**Animation:** We collect 93 different animations from [Fab](https:\u002F\u002Fwww.fab.com) and [Mixamo](https:\u002F\u002Fwww.mixamo.com), including common actions such as waving, dancing, and cheering. We use these animations to drive the collected characters and create diverse datasets through various combinations.\n\n**Camera:** To enhance the diversity of the dataset, each camera is randomly sampled on a hemispherical surface centered around the character.\n\n### 2. Statistics and Configurations\n\nDataset Statistics:\n\n| Number of Dynamic Scenes | Camera per Scene | Total Videos |\n|:------------------------:|:----------------:|:------------:|\n| 3400                   | 10               | 34,000      |\n\nVideo Configurations:\n\n| Resolution  | Frame Number | FPS                      |\n|:-----------:|:------------:|:------------------------:|\n| 1280x1280   | 81           | 15                       |\n\nNote: You can use 'center crop' to adjust the video's aspect ratio to fit your video generation model, such as 16:9, 9:16, 4:3, or 3:4.\n\nCamera Configurations:\n\n| Focal Length            | Aperture           | Sensor Height | Sensor Width |\n|:-----------------------:|:------------------:|:-------------:|:------------:|\n| 24mm  | 5.0     | 23.76mm       | 23.76mm      |\n\n\n\n### 3. File Structure\n```\nSynCamVideo-Dataset\n├── train\n│   └── f24_aperture5\n│       ├── scene1    # one dynamic scene\n│       │   ├── videos\n│       │   │   ├── cam01.mp4    # synchronized 81-frame videos at 1280x1280 resolution\n│       │   │   ├── cam02.mp4\n│       │   │   ├── ...\n│       │   │   └── cam10.mp4\n│       │   └── cameras\n│       │       └── camera_extrinsics.json    # 81-frame camera extrinsics of the 10 cameras \n│       ├── ...\n│       └── scene3400\n└── val\n    └── basic\n        ├── videos\n        │   ├── cam01.mp4    # example videos corresponding to the validation cameras\n        │   ├── cam02.mp4\n        │   ├── ...\n        │   └── cam10.mp4\n        └── cameras\n            └── camera_extrinsics.json    # 10 cameras for validation\n```\n\n### 3. Useful scripts\n- Data Extraction\n```bash\ntar -xzvf SynCamVideo-Dataset.tar.gz\n```\n- Camera Visualization\n```python\npython vis_cam.py\n```\n\nThe visualization script is modified from [CameraCtrl](https:\u002F\u002Fgithub.com\u002Fhehao13\u002FCameraCtrl\u002Fblob\u002Fmain\u002Ftools\u002Fvisualize_trajectory.py), thanks to their inspiring work.\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FKlingAIResearch_SynCamMaster_readme_878c1ed866c4.png\" alt=\"Example Image\" width=\"40%\">\n\u003C\u002Fp>\n\n## 🤗 Awesome Related Works\nFeel free to explore these outstanding related works, including but not limited to:\n\n[GCD](https:\u002F\u002Fgcd.cs.columbia.edu\u002F): synthesize large-angle novel viewpoints of 4D dynamic scenes from a monocular video.\n\n[CVD](https:\u002F\u002Fcollaborativevideodiffusion.github.io): multi-view video generation with multiple camera trajectories.\n\n[SV4D](https:\u002F\u002Fsv4d.github.io): multi-view consistent dynamic 3D content generation.\n\nAdditionally, check out our \"MasterFamily\" projects:\n\n[ReCamMaster](https:\u002F\u002Fjianhongbai.github.io\u002FReCamMaster\u002F): re-capture in-the-wild videos with novel camera trajectories.\n\n[3DTrajMaster](http:\u002F\u002Ffuxiao0719.github.io\u002Fprojects\u002F3dtrajmaster): control multiple entity motions in 3D space (6DoF) for text-to-video generation.\n\n[StyleMaster](https:\u002F\u002Fzixuan-ye.github.io\u002Fstylemaster\u002F): enable artistic video generation and translation with reference style image.\n\n\n## Acknowledgments\nWe thank Jinwen Cao, Yisong Guo, Haowen Ji, Jichao Wang, and Yi Wang from Kuaishou Technology for their invaluable help in constructing the SynCamVideo-Dataset. We thank [Guanjun Wu](https:\u002F\u002Fguanjunwu.github.io\u002F) and Jiangnan Ye for their help on running 4DGS.\n\n## 🌟 Citation\n\nPlease leave us a star 🌟 and cite our paper if you find our work helpful.\n```\n@article{bai2024syncammaster,\n  title={SynCamMaster: Synchronizing Multi-Camera Video Generation from Diverse Viewpoints},\n  author={Bai, Jianhong and Xia, Menghan and Wang, Xintao and Yuan, Ziyang and Fu, Xiao and Liu, Zuozhu and Hu, Haoji and Wan, Pengfei and Zhang, Di},\n  journal={arXiv preprint arXiv:2412.07760},\n  year={2024}\n}\n```\n","# SynCamMaster：从不同视角同步多摄像头视频生成\n\n\u003Cdiv align=\"center\">\n\u003Cdiv align=\"center\" style=\"margin-top: 0px; margin-bottom: 0px;\">\n\u003Cimg src=https:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002Fb33c5b67-3881-4fa3-b853-f932eebc9c50 width=\"50%\"\u002F>\n\u003C\u002Fdiv>\n\n### [\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2412.07760\" target=\"_blank\">arXiv\u003C\u002Fa>] [\u003Ca href=\"https:\u002F\u002Fjianhongbai.github.io\u002FSynCamMaster\u002F\" target=\"_blank\">项目页面\u003C\u002Fa>] [\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FKwaiVGI\u002FSynCamVideo-Dataset\u002F\" target=\"_blank\">数据集\u003C\u002Fa>]\n\n_**[Jianhong Bai\u003Csup>1*\u003C\u002Fsup>](https:\u002F\u002Fjianhongbai.github.io\u002F), [Menghan Xia\u003Csup>2†\u003C\u002Fsup>](https:\u002F\u002Fmenghanxia.github.io\u002F), [Xintao Wang\u003Csup>2\u003C\u002Fsup>](https:\u002F\u002Fxinntao.github.io\u002F), [Ziyang Yuan\u003Csup>3\u003C\u002Fsup>](https:\u002F\u002Fscholar.google.ru\u002Fcitations?user=fWxWEzsAAAAJ&hl=en), [Xiao Fu\u003Csup>4\u003C\u002Fsup>](https:\u002F\u002Ffuxiao0719.github.io\u002F), \u003Cbr>[Zuozhu Liu\u003Csup>1\u003C\u002Fsup>](https:\u002F\u002Fperson.zju.edu.cn\u002Fen\u002Flzz), [Haoji Hu\u003Csup>1\u003C\u002Fsup>](https:\u002F\u002Fperson.zju.edu.cn\u002Fen\u002Fhuhaoji), [Pengfei Wan\u003Csup>2\u003C\u002Fsup>](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=P6MraaYAAAAJ&hl=en), [Di Zhang\u003Csup>2\u003C\u002Fsup>](https:\u002F\u002Fopenreview.net\u002Fprofile?id=~Di_ZHANG3)**_\n\u003Cbr>\n(*在快手科技KwaiVGI实习期间完成的工作 †通讯作者)\n\n\u003Csup>1\u003C\u002Fsup>浙江大学，\u003Csup>2\u003C\u002Fsup>快手科技，\u003Csup>3\u003C\u002Fsup>清华大学，\u003Csup>4\u003C\u002Fsup>香港中文大学。\n\n**ICLR 2025**\n\n\u003C\u002Fdiv>\n\n**重要提示:** 本开源仓库旨在提供参考实现。由于底层T2V模型性能的差异，开源版本可能无法达到论文中模型的性能水平。\n\n## 🔥 更新\n- __[2025.04.15]__: 欢迎探索我们的后续工作，[ReCamMaster](https:\u002F\u002Fgithub.com\u002FKwaiVGI\u002FReCamMaster)。\n- __[2025.04.15]__: 更新了新版的[SynCamVideo数据集](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FKwaiVGI\u002FSynCamVideo-Dataset)。\n- __[2025.04.15]__: 发布了[训练与推理代码](https:\u002F\u002Fgithub.com\u002FKwaiVGI\u002FSynCamMaster?tab=readme-ov-file#%EF%B8%8F-code-syncammaster--wan21-inference--training)，以及[模型检查点](https:\u002F\u002Fhuggingface.co\u002FKwaiVGI\u002FSynCamMaster-Wan2.1\u002Fblob\u002Fmain\u002Fstep20000.ckpt)。\n- __[2024.12.10]__: 发布了[项目页面](https:\u002F\u002Fjianhongbai.github.io\u002FSynCamMaster\u002F)和[SynCamVideo数据集](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FKwaiVGI\u002FSynCamVideo-Dataset\u002F)。\n\n## 📖 引言\n\n**简而言之:** 我们提出了SynCamMaster，一种高效的方法，用于将预训练的文本到视频模型扩展到开放域的多摄像头视频生成任务中，并支持从不同视角进行生成。我们还发布了一个使用虚幻引擎5渲染的多摄像头同步视频[数据集](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FKwaiVGI\u002FSynCamVideo-Dataset)。\u003Cbr>\n\nhttps:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002F1ecfaea8-5d87-4bb5-94fc-062f84bd67a1\n\n## ⚙️ 代码：SynCamMaster + Wan2.1（推理与训练）\n我们在论文中使用的模型是内部开发的T2V模型，而非[Wan2.1](https:\u002F\u002Fgithub.com\u002FWan-Video\u002FWan2.1)。由于公司政策限制，我们无法开源论文中所使用的模型。因此，我们将SynCamMaster迁移至Wan2.1，以验证我们方法的有效性。由于底层T2V模型的差异，您可能无法获得与演示中相同的效果。\n### 推理\n步骤1：设置环境\n\n[DiffSynth-Studio](https:\u002F\u002Fgithub.com\u002Fmodelscope\u002FDiffSynth-Studio)需要Rust和Cargo来编译扩展。您可以使用以下命令安装它们：\n```shell\ncurl --proto '=https' --tlsv1.2 -sSf [https:\u002F\u002Fsh.rustup.rs](https:\u002F\u002Fsh.rustup.rs\u002F) | sh\n. \"$HOME\u002F.cargo\u002Fenv\"\n```\n\n安装[DiffSynth-Studio](https:\u002F\u002Fgithub.com\u002Fmodelscope\u002FDiffSynth-Studio):\n```shell\ngit clone https:\u002F\u002Fgithub.com\u002FKwaiVGI\u002FSynCamMaster.git\ncd SynCamMaster\npip install -e .\n```\n\n步骤2：下载预训练检查点\n1. 下载预训练的Wan2.1模型\n\n```shell\ncd SynCamMaster\npython download_wan2.1.py\n```\n2. 下载预训练的SynCamMaster检查点\n\n请从[Hugging Face](https:\u002F\u002Fhuggingface.co\u002FKwaiVGI\u002FSynCamMaster-Wan2.1\u002Fblob\u002Fmain\u002Fstep20000.ckpt)下载，并将其放置在```models\u002FSynCamMaster\u002Fcheckpoints```目录下。\n\n步骤3：测试示例视频\n```shell\npython inference_syncammaster.py --cam_type \"az\"\n```\n\n我们提供了几种预设的相机类型。此外，您也可以生成新的相机位姿进行测试。\n\n### 训练\n\n步骤1：设置环境\n\n```shell\npip install lightning pandas websockets\n```\n\n步骤2：准备训练数据集\n\n1. 下载[SynCamVideo数据集](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FKwaiVGI\u002FSynCamVideo-Dataset)。\n\n2. 提取VAE特征\n\n```shell\nCUDA_VISIBLE_DEVICES=\"0,1,2,3,4,5,6,7\" python train_syncammaster.py   --task data_process   --dataset_path path\u002Fto\u002Fthe\u002FSynCamVideo\u002FDataset   --output_path .\u002Fmodels   --text_encoder_path \"models\u002FWan-AI\u002FWan2.1-T2V-1.3B\u002Fmodels_t5_umt5-xxl-enc-bf16.pth\"   --vae_path \"models\u002FWan-AI\u002FWan2.1-T2V-1.3B\u002FWan2.1_VAE.pth\"   --tiled   --num_frames 81   --height 480   --width 832 --dataloader_num_workers 2\n```\n\n3. 为每段视频生成字幕\n\n您可以使用如[LLaVA](https:\u002F\u002Fgithub.com\u002Fhaotian-liu\u002FLLaVA)之类的视频字幕工具为每段视频生成字幕，并将其存储在```metadata.csv```文件中。\n\n4. 计算可用样本列表\n\n```shell\npython generate_sample_list.py\n```\n\n步骤3：训练\n```shell\nCUDA_VISIBLE_DEVICES=\"0,1,2,3,4,5,6,7\" python train_syncammaster.py   --task train   --output_path .\u002Fmodels\u002Ftrain   --dit_path \"models\u002FWan-AI\u002FWan2.1-T2V-1.3B\u002Fdiffusion_pytorch_model.safetensors\"   --steps_per_epoch 8000   --max_epochs 100   --learning_rate 1e-4   --accumulate_grad_batches 1   --use_gradient_checkpointing  --dataloader_num_workers 4\n```\n\n我们并未探索最优超参数组合，且在每个GPU上以1个批次进行训练。通过调整学习率等超参数并增加批次大小，您可能会获得更好的模型性能。\n\n步骤4：测试模型\n\n```shell\npython inference_syncammaster.py --cam_type \"az\" --ckpt_path path\u002Fto\u002Fthe\u002Fcheckpoint\n```\n\n## 📷 数据集：SynCamVideo数据集\n\n### 1. 数据集介绍\n\n**简而言之：** SynCamVideo 数据集是一个使用 Unreal Engine 5 渲染的多摄像机同步视频数据集。它包含同步的多摄像机视频及其对应的相机位姿。SynCamVideo 数据集在相机控制视频生成、同步视频制作以及 3D\u002F4D 重建等领域具有重要价值。在 SynCamVideo 数据集中，相机是静止的。如果您需要的是带有移动相机而非静止相机的素材，请查看我们的 [MultiCamVideo](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FKwaiVGI\u002FMultiCamVideo-Dataset) 数据集。\n\nhttps:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002Fb49fc632-d1df-49fd-93d2-8513fbdb9377\n\nSynCamVideo 数据集是一个使用 Unreal Engine 5 渲染的多摄像机同步视频数据集。它包括同步的多摄像机视频及其对应的相机位姿。\n该数据集由 3,400 个不同的动态场景组成，每个场景由 10 台摄像机拍摄，总共生成 34,000 条视频。每个动态场景由四个元素构成：{3D 环境、角色、动画、相机}。具体来说，我们利用动画驱动角色，\n并将动画角色放置在 3D 环境中。随后，设置时间同步的摄像机来渲染多摄像机视频数据。\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FKlingAIResearch_SynCamMaster_readme_618e52842d58.png\" alt=\"示例图片\" width=\"70%\">\n\u003C\u002Fp>\n\n**3D 环境：** 我们从 [Fab](https:\u002F\u002Fwww.fab.com) 收集了 37 个高质量的 3D 环境资源。为了尽量缩小渲染数据与真实世界视频之间的领域差距，我们主要选择视觉上逼真的 3D 场景，同时辅以少量风格化或超现实的 3D 场景。为确保数据多样性，所选场景涵盖了多种室内外环境，如城市街道、购物中心、咖啡馆、办公室和乡村等。\n\n**角色：** 我们从 [Fab](https:\u002F\u002Fwww.fab.com) 和 [Mixamo](https:\u002F\u002Fwww.mixamo.com) 收集了 66 种不同的人类 3D 模型作为角色。\n\n**动画：** 我们从 [Fab](https:\u002F\u002Fwww.fab.com) 和 [Mixamo](https:\u002F\u002Fwww.mixamo.com) 收集了 93 种不同的动画，包括挥手、跳舞、欢呼等常见动作。我们利用这些动画驱动收集到的角色，并通过各种组合创建多样化的数据集。\n\n**相机：** 为了增强数据集的多样性，每台相机都被随机采样于以角色为中心的半球面上。\n\n### 2. 统计与配置\n\n数据集统计：\n\n| 动态场景数量 | 每场景摄像机数 | 总视频数 |\n|:------------------------:|:----------------:|:------------:|\n| 3400                   | 10               | 34,000      |\n\n视频配置：\n\n| 分辨率  | 帧数 | FPS                      |\n|:-----------:|:------------:|:------------------------:|\n| 1280x1280   | 81           | 15                       |\n\n注意：您可以使用“居中裁剪”来调整视频的宽高比，以适应您的视频生成模型，例如 16:9、9:16、4:3 或 3:4。\n\n相机配置：\n\n| 焦距            | 光圈           | 传感器高度 | 传感器宽度 |\n|:-----------------------:|:------------------:|:-------------:|:------------:|\n| 24mm  | 5.0     | 23.76mm       | 23.76mm      |\n\n\n\n### 3. 文件结构\n```\nSynCamVideo-Dataset\n├── train\n│   └── f24_aperture5\n│       ├── scene1    # 一个动态场景\n│       │   ├── videos\n│       │   │   ├── cam01.mp4    # 1280x1280 分辨率下的 81 帧同步视频\n│       │   │   ├── cam02.mp4\n│       │   │   ├── ...\n│       │   │   └── cam10.mp4\n│       │   └── cameras\n│       │       └── camera_extrinsics.json    # 10 台摄像机的 81 帧相机外参\n│       ├── ...\n│       └── scene3400\n└── val\n    └── basic\n        ├── videos\n        │   ├── cam01.mp4    # 验证用摄像机对应示例视频\n        │   ├── cam02.mp4\n        │   ├── ...\n        │   └── cam10.mp4\n        └── cameras\n            └── camera_extrinsics.json    # 10 台用于验证的摄像机\n```\n\n### 3. 有用的脚本\n- 数据解压\n```bash\ntar -xzvf SynCamVideo-Dataset.tar.gz\n```\n- 相机可视化\n```python\npython vis_cam.py\n```\n\n该可视化脚本改编自 [CameraCtrl](https:\u002F\u002Fgithub.com\u002Fhehao13\u002FCameraCtrl\u002Fblob\u002Fmain\u002Ftools\u002Fvisualize_trajectory.py)，感谢他们的启发性工作。\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FKlingAIResearch_SynCamMaster_readme_878c1ed866c4.png\" alt=\"示例图片\" width=\"40%\">\n\u003C\u002Fp>\n\n## 🤗 优秀相关工作\n欢迎探索这些杰出的相关工作，包括但不限于：\n\n[GCD](https:\u002F\u002Fgcd.cs.columbia.edu\u002F)：从单目视频中合成 4D 动态场景的大视角新视图。\n\n[CVD](https:\u002F\u002Fcollaborativevideodiffusion.github.io)：基于多摄像机轨迹的多视角视频生成。\n\n[SV4D](https:\u002F\u002Fsv4d.github.io)：多视角一致的动态 3D 内容生成。\n\n此外，也请关注我们的“MasterFamily”项目：\n\n[ReCamMaster](https:\u002F\u002Fjianhongbai.github.io\u002FReCamMaster\u002F)：以新颖的摄像机轨迹重新捕捉野外视频。\n\n[3DTrajMaster](http:\u002F\u002Ffuxiao0719.github.io\u002Fprojects\u002F3dtrajmaster)：控制 3D 空间中的多个实体运动（6DoF），用于文本到视频的生成。\n\n[StyleMaster](https:\u002F\u002Fzixuan-ye.github.io\u002Fstylemaster\u002F)：借助参考风格图像实现艺术化视频生成与转换。\n\n\n## 致谢\n我们感谢快手科技的曹锦文、郭一松、季浩文、王继超和王毅在构建 SynCamVideo 数据集过程中提供的宝贵帮助。同时，我们也感谢 [吴冠军](https:\u002F\u002Fguanjunwu.github.io\u002F) 和叶江南在运行 4DGS 方面的支持。\n\n## 🌟 引用\n\n如果您觉得我们的工作有所帮助，请为我们点亮一颗星 🌟，并引用我们的论文。\n```\n@article{bai2024syncammaster,\n  title={SynCamMaster: 从多样化视角同步生成多摄像机视频},\n  author={白建宏、夏孟涵、王新涛、袁子洋、傅晓、刘作柱、胡浩基、万鹏飞、张迪},\n  journal={arXiv 预印本 arXiv:2412.07760},\n  year={2024}\n}\n```","# SynCamMaster 快速上手指南\n\nSynCamMaster 是一个用于从不同视角生成同步多相机视频的高效工具。它基于预训练的文本到视频（T2V）模型（本开源版本适配 Wan2.1），能够生成开放域的多视角同步视频。\n\n## 环境准备\n\n### 系统要求\n- **操作系统**: Linux (推荐)\n- **GPU**: 支持 CUDA 的 NVIDIA 显卡（训练建议多卡，推理单卡即可）\n- **Python**: 3.8+\n\n### 前置依赖\n本项目依赖 `DiffSynth-Studio`，编译其扩展需要 **Rust** 和 **Cargo**。\n\n1. **安装 Rust 和 Cargo**\n   ```shell\n   curl --proto '=https' --tlsv1.2 -sSf https:\u002F\u002Fsh.rustup.rs | sh\n   . \"$HOME\u002F.cargo\u002Fenv\"\n   ```\n   *注：国内用户若下载缓慢，可尝试使用 rustup 镜像源。*\n\n2. **其他 Python 依赖**\n   后续安装步骤中将自动处理主要依赖，训练时还需额外安装：\n   ```shell\n   pip install lightning pandas websockets\n   ```\n\n## 安装步骤\n\n1. **克隆项目代码**\n   ```shell\n   git clone https:\u002F\u002Fgithub.com\u002FKwaiVGI\u002FSynCamMaster.git\n   cd SynCamMaster\n   ```\n\n2. **安装项目依赖**\n   ```shell\n   pip install -e .\n   ```\n\n3. **下载预训练模型权重**\n   \n   **步骤 A: 下载基础 Wan2.1 模型**\n   运行以下脚本自动下载：\n   ```shell\n   python download_wan2.1.py\n   ```\n\n   **步骤 B: 下载 SynCamMaster 微调权重**\n   从 [HuggingFace](https:\u002F\u002Fhuggingface.co\u002FKwaiVGI\u002FSynCamMaster-Wan2.1\u002Fblob\u002Fmain\u002Fstep20000.ckpt) 下载 `step20000.ckpt` 文件。\n   \n   将下载的文件放置于以下目录（若目录不存在请手动创建）：\n   ```text\n   models\u002FSynCamMaster\u002Fcheckpoints\u002Fstep20000.ckpt\n   ```\n   *注：若 HuggingFace 下载受阻，请自行寻找国内镜像源或代理加速。*\n\n## 基本使用（推理）\n\n完成上述安装和模型下载后，即可运行示例代码生成多视角同步视频。\n\n**运行命令：**\n```shell\npython inference_syncammaster.py --cam_type \"az\"\n```\n\n**说明：**\n- `--cam_type`: 指定相机运动类型，`\"az\"` 为预设的方位角变化模式。\n- 生成的视频将展示同一场景下不同角度的同步画面。\n- 如需使用自定义检查点或相机轨迹，可添加 `--ckpt_path` 等参数（参考训练章节或源码帮助）。\n\n---\n*注意：由于底层 T2V 模型差异（论文使用内部模型，开源版迁移至 Wan2.1），生成效果可能与论文演示存在细微差别。*","某游戏工作室的宣传团队正在为一款开放世界新作制作多视角同步的实机演示视频，以展示角色在不同镜头下的战斗细节。\n\n### 没有 SynCamMaster 时\n- **视角割裂严重**：分别生成不同角度的视频后，角色动作、光影变化无法对齐，导致切换镜头时出现“瞬移”或动作不连贯的穿帮画面。\n- **人工合成成本高昂**：为了强行同步多个视频流，后期团队需逐帧手动调整时间轴和关键帧，耗时数天且极易出错。\n- **物理逻辑不一致**：独立生成的视频中，布料摆动、液体飞溅等动态效果在各视角下表现不一，破坏了场景的真实感。\n- **创意迭代缓慢**：一旦导演想修改某个镜头的角度，整个多视频序列必须重新生成并再次手动对齐，极大拖慢了创作节奏。\n\n### 使用 SynCamMaster 后\n- **原生多视角同步**：只需输入一段提示词，SynCamMaster 即可一次性生成多个视角严格同步的视频，确保角色动作和物理效果在所有镜头中完全一致。\n- **自动化工作流**：彻底省去了繁琐的手动对齐环节，将原本需要数天的后期合成工作缩短至分钟级，让团队能专注于创意打磨。\n- **时空一致性保障**：基于统一的潜在空间建模，保证了复杂动态（如爆炸碎片、衣物飘动）在不同视角下的逻辑自洽，显著提升沉浸感。\n- **灵活高效的迭代**：调整摄像机参数即可快速重生成整套同步视频，支持导演在现场实时预览不同构图方案，大幅加速决策过程。\n\nSynCamMaster 通过将单视角视频生成模型升级为多相机协同系统，从根本上解决了多视角内容创作中的时空一致性难题，让高质量的多机位视频生成变得像单镜头一样简单高效。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FKlingAIResearch_SynCamMaster_618e5284.png","KlingAIResearch","KlingAI Research","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FKlingAIResearch_ca409252.jpg","The Kling Team is building next-generation multimodal world models across video, audio, text, 3D, and beyond. Welcome to join us!",null,"klingteam@kuaishou.com","https:\u002F\u002Fgithub.com\u002FKlingAIResearch",[84],{"name":85,"color":86,"percentage":87},"Python","#3572A5",100,684,23,"2026-04-06T07:37:10","Linux","必需 NVIDIA GPU。训练示例命令使用 8 张显卡 (CUDA_VISIBLE_DEVICES=\"0,1,2,3,4,5,6,7\")，显存需求未明确说明但建议大容量以支持 Wan2.1 模型及 81 帧视频处理；需安装 CUDA 工具链以支持 Rust 扩展编译。","未说明",{"notes":95,"python":96,"dependencies":97},"1. 必须安装 Rust 和 Cargo 以编译 DiffSynth-Studio 的扩展组件。2. 开源版本基于 Wan2.1 模型迁移，性能可能与论文中使用的内部模型存在差异。3. 训练数据需预先提取 VAE 特征并生成视频描述 (Caption)。4. 默认训练脚本配置为每张 GPU Batch Size 为 1，超参数未调优。5. 需手动下载 Wan2.1 预训练模型及 SynCamMaster 检查点文件至指定目录。","未说明 (需支持 pip 及 Rust\u002FCargo 环境)",[98,99,100,101,102,103,104],"DiffSynth-Studio","torch","lightning","pandas","websockets","Rust","Cargo",[16],[107],"video-generation","2026-03-27T02:49:30.150509","2026-04-07T09:49:49.404689",[111,116,121,125,129,133],{"id":112,"question_zh":113,"answer_zh":114,"source_url":115},21536,"项目何时会发布预训练模型权重（Checkpoint）？","论文中使用的模型是基于公司内部 T2V 模型的，受限于公司政策无法直接发布。团队正在将方法迁移到 CogVideoX 架构并重新训练，计划在未来一个月内上传新的 Checkpoint。在此期间，用户可以参考代码快照了解方法细节。","https:\u002F\u002Fgithub.com\u002FKlingAIResearch\u002FSynCamMaster\u002Fissues\u002F1",{"id":117,"question_zh":118,"answer_zh":119,"source_url":120},21537,"Syncam 模块中文本嵌入重复（repeat）操作是否冗余？是否会影响多视角同步注意力机制的效果？","是的，让多视角同步模块仅对视觉特征进行自注意力计算更为合理。文本嵌入的重复操作确实可能主导注意力过程从而降低有效性。建议参考项目最近发布的代码实现，其中已对此进行了优化。","https:\u002F\u002Fgithub.com\u002FKlingAIResearch\u002FSynCamMaster\u002Fissues\u002F8",{"id":122,"question_zh":123,"answer_zh":124,"source_url":120},21538,"训练时的数据集规模和视频帧长度应该如何设置？6000 个样本和 49 帧是否足够？","最佳实践是保持与基座模型相同的视频帧数量，以最大化模型的生成能力。关于数据量，训练数据规模主要影响模型的泛化能力。建议先在小数据集上训练以验证生成同步视频的能力，确认有效后再扩大数据集规模以提升泛化性。",{"id":126,"question_zh":127,"answer_zh":128,"source_url":120},21539,"代码中 `norm_hidden_states` 的处理应该使用 `repeat` 还是 `repeat_interleave`？","根据社区反馈，由于 `norm_hidden_states` 被重排为 `(b f) (v s) d` 而非 `(f b) (v s) d`，此处逻辑上应该使用 `repeat_interleave` 而不是 `repeat`。建议核对最新代码版本以确认是否已修复此逻辑，确保与论文描述一致。",{"id":130,"question_zh":131,"answer_zh":132,"source_url":120},21540,"训练和推理过程中应该使用多少个视角（Views）？显存占用情况如何？","常见的做法是每个样本随机采样 3 个视角，并将第一个视角作为参考视角。在使用梯度检查点（gradient_checkpointing）技巧的情况下，这种配置在单张显卡上的显存占用约为 61GB。具体所需显卡数量取决于总批次大小和并行策略。",{"id":134,"question_zh":135,"answer_zh":136,"source_url":137},21541,"训练和推理使用的是哪种相机坐标系？进行新视角合成实验时应如何调整？","目前官方文档尚未明确说明具体的坐标系定义（如前、上、右方向）以及是遵循 OpenGL 还是 OpenCV 标准。在进行新视角合成实验前，建议通过查看数据预处理代码或联系维护者确认具体的坐标轴定义，以避免视角变换错误。","https:\u002F\u002Fgithub.com\u002FKlingAIResearch\u002FSynCamMaster\u002Fissues\u002F16",[]]