[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-smthemex--ComfyUI_Sonic":3,"tool-smthemex--ComfyUI_Sonic":64},[4,17,26,40,48,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,2,"2026-04-03T11:11:01",[13,14,15],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":23,"last_commit_at":32,"category_tags":33,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,34,35,36,15,37,38,13,39],"数据工具","视频","插件","其他","语言模型","音频",{"id":41,"name":42,"github_repo":43,"description_zh":44,"stars":45,"difficulty_score":10,"last_commit_at":46,"category_tags":47,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,38,37],{"id":49,"name":50,"github_repo":51,"description_zh":52,"stars":53,"difficulty_score":10,"last_commit_at":54,"category_tags":55,"status":16},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",74913,"2026-04-05T10:44:17",[38,14,13,37],{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":23,"last_commit_at":62,"category_tags":63,"status":16},2471,"tesseract","tesseract-ocr\u002Ftesseract","Tesseract 是一款历史悠久且备受推崇的开源光学字符识别（OCR）引擎，最初由惠普实验室开发，后由 Google 维护，目前由全球社区共同贡献。它的核心功能是将图片中的文字转化为可编辑、可搜索的文本数据，有效解决了从扫描件、照片或 PDF 文档中提取文字信息的难题，是数字化归档和信息自动化的重要基础工具。\n\n在技术层面，Tesseract 展现了强大的适应能力。从版本 4 开始，它引入了基于长短期记忆网络（LSTM）的神经网络 OCR 引擎，显著提升了行识别的准确率；同时，为了兼顾旧有需求，它依然支持传统的字符模式识别引擎。Tesseract 原生支持 UTF-8 编码，开箱即用即可识别超过 100 种语言，并兼容 PNG、JPEG、TIFF 等多种常见图像格式。输出方面，它灵活支持纯文本、hOCR、PDF、TSV 等多种格式，方便后续数据处理。\n\nTesseract 主要面向开发者、研究人员以及需要构建文档处理流程的企业用户。由于它本身是一个命令行工具和库（libtesseract），不包含图形用户界面（GUI），因此最适合具备一定编程能力的技术人员集成到自动化脚本或应用程序中",73286,"2026-04-03T01:56:45",[13,14],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":77,"owner_avatar_url":78,"owner_bio":77,"owner_company":77,"owner_location":79,"owner_email":77,"owner_twitter":77,"owner_website":77,"owner_url":80,"languages":81,"stars":86,"forks":87,"last_commit_at":88,"license":89,"difficulty_score":90,"env_os":91,"env_gpu":92,"env_ram":93,"env_deps":94,"category_tags":103,"github_topics":77,"view_count":23,"oss_zip_url":77,"oss_zip_packed_at":77,"status":16,"created_at":104,"updated_at":105,"faqs":106,"releases":142},2269,"smthemex\u002FComfyUI_Sonic","ComfyUI_Sonic","Sonic is a method about ' Shifting Focus to Global Audio Perception in Portrait Animation',you can use it in comfyUI","ComfyUI_Sonic 是一款专为 ComfyUI 设计的开源节点插件，核心功能是将静态人像图片与音频驱动结合，生成自然流畅的说话视频。它基于前沿的\"Sonic\"算法，该技术的独特亮点在于“将焦点转移到全局音频感知”，这意味着它在生成过程中不仅关注口型匹配，更能综合理解音频的整体情感与节奏，从而让人物表情和头部动作更加生动逼真，避免了传统方法中常见的机械感。\n\n这款工具主要解决了数字人动画制作中音画不同步、表情僵硬以及长音频驱动效果不佳的痛点。通过集成 Whisper 语音识别、人脸检测及 SVD 视频扩散模型，ComfyUI_Sonic 实现了从音频特征提取到高质量视频渲染的全流程自动化。近期更新还特别优化了显存管理，支持更多显卡配置（包括修复了 12G 显存溢出问题），并增加了对非正方形图像输出及 Mac MPS 设备的支持，显著提升了运行稳定性。\n\nComfyUI_Sonic 非常适合希望在工作流中整合 AI 视频生成能力的创作者使用。对于熟悉 ComfyUI 的操作的设计师、视频博主而言，它是制作虚拟主播、个性化问候视频的高效利器；对于 AI 研究人员和开发者，它则提供了一","ComfyUI_Sonic 是一款专为 ComfyUI 设计的开源节点插件，核心功能是将静态人像图片与音频驱动结合，生成自然流畅的说话视频。它基于前沿的\"Sonic\"算法，该技术的独特亮点在于“将焦点转移到全局音频感知”，这意味着它在生成过程中不仅关注口型匹配，更能综合理解音频的整体情感与节奏，从而让人物表情和头部动作更加生动逼真，避免了传统方法中常见的机械感。\n\n这款工具主要解决了数字人动画制作中音画不同步、表情僵硬以及长音频驱动效果不佳的痛点。通过集成 Whisper 语音识别、人脸检测及 SVD 视频扩散模型，ComfyUI_Sonic 实现了从音频特征提取到高质量视频渲染的全流程自动化。近期更新还特别优化了显存管理，支持更多显卡配置（包括修复了 12G 显存溢出问题），并增加了对非正方形图像输出及 Mac MPS 设备的支持，显著提升了运行稳定性。\n\nComfyUI_Sonic 非常适合希望在工作流中整合 AI 视频生成能力的创作者使用。对于熟悉 ComfyUI 的操作的设计师、视频博主而言，它是制作虚拟主播、个性化问候视频的高效利器；对于 AI 研究人员和开发者，它则提供了一个验证全局音频感知算法的便捷实验平台。只需简单配置模型路径，用户即可在本地轻松部署，体验高质量的音频驱动人像动画生成。","# ComfyUI_Sonic\n[Sonic](https:\u002F\u002Fgithub.com\u002Fjixiaozhong\u002FSonic) is a method about ' Shifting Focus to Global Audio Perception in Portrait Animation',you can use it in comfyUI\n\n# Update\n* some guys cuda must use  cuda:0,so fix it. 修复有些人的电脑必须用cuda:0，否则会报错的错误。\n* fix bf16 error,fix 12GVRAM maybe OOM when first run,fix MPS device error,修复bf16无法使用的错误，修复12GVram首次加载时容易OOM的问题，修复MAC的MPS支持。\n\n# 1. Installation\n\nIn the .\u002FComfyUI\u002Fcustom_node directory, run the following:   \n```\ngit clone https:\u002F\u002Fgithub.com\u002Fsmthemex\u002FComfyUI_Sonic.git\n```\n---\n\n# 2. Requirements  \n\n```\npip install -r requirements.txt\n```\n\n# 3.Model\n* 3.1.1 download  checkpoints  from [google](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1oe8VTPUy0-MHHW2a_NJ1F8xL-0VN5G7W) 从Google下载必须的模型,文件结构如下图\n* 3.1.2 download [openai\u002Fwhisper-tiny](https:\u002F\u002Fhuggingface.co\u002Fopenai\u002Fwhisper-tiny\u002Ftree\u002Fmain)\n```\n--  ComfyUI\u002Fmodels\u002Fsonic\u002F\n    |-- audio2bucket.pth\n    |-- audio2token.pth\n    |-- unet.pth\n    |-- yoloface_v5m.pt\n    |-- whisper-tiny\u002F\n        |--config.json\n        |--model.safetensors\n        |--preprocessor_config.json\n    |-- RIFE\u002F\n        |--flownet.pkl\n```\n*  3.2 SVD checkpoints  [svd_xt.safetensors](https:\u002F\u002Fhuggingface.co\u002Fstabilityai\u002Fstable-video-diffusion-img2vid-xt)  or [svd_xt_1_1.safetensors](https:\u002F\u002Fhuggingface.co\u002Fstabilityai\u002Fstable-video-diffusion-img2vid-xt-1-1)    \n\n```\n--   ComfyUI\u002Fmodels\u002Fcheckpoints\n    ├── svd_xt.safetensors  or  svd_xt_1_1.safetensors\n```\n\n# Example\n* new\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsmthemex_ComfyUI_Sonic_readme_a04531e67edc.png)\n\n* old\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsmthemex_ComfyUI_Sonic_readme_f9603ae26beb.png)\n* old\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsmthemex_ComfyUI_Sonic_readme_212a436e1681.png)\n\n# Previous update\n* Replace 'frame number' with 'duration',you can use it to change 'infer audio seconds'. 使用duration替换frame number选项，用于控制输出音频的长度(单位为秒），注意因为实际对比长度是音频振幅数组，不是百分比精准；\n* Fixed the bug of batch mismatch when the frame rate is not 25.修复帧率不是25时，batch不匹配的bug。\n* Change the model loading to a monolithic SVD model, 模型加载改为单体SVD模型；  \n* Support output of non square images，OOM 支持非正方形图片的输出，容易OOM；\n* image_size is used to control the minimum size of the output image. If OOM, please reduce this value ,image_size用于控制输出图片的最小尺寸，如果OOM请调小这个数值；\n* 感谢@civen-cn 提交的PR\n\n\n# Citation\n```\n@article{ji2024sonic,\n  title={Sonic: Shifting Focus to Global Audio Perception in Portrait Animation},\n  author={Ji, Xiaozhong and Hu, Xiaobin and Xu, Zhihong and Zhu, Junwei and Lin, Chuming and He, Qingdong and Zhang, Jiangning and Luo, Donghao and Chen, Yi and Lin, Qin and others},\n  journal={arXiv preprint arXiv:2411.16331},\n  year={2024}\n}\n\n@article{ji2024realtalk,\n  title={Realtalk: Real-time and realistic audio-driven face generation with 3d facial prior-guided identity alignment network},\n  author={Ji, Xiaozhong and Lin, Chuming and Ding, Zhonggan and Tai, Ying and Zhu, Junwei and Hu, Xiaobin and Luo, Donghao and Ge, Yanhao and Wang, Chengjie},\n  journal={arXiv preprint arXiv:2406.18284},\n  year={2024}\n}\n```\n","# ComfyUI_Sonic\n[Sonic](https:\u002F\u002Fgithub.com\u002Fjixiaozhong\u002FSonic) 是一种关于“在人像动画中将注意力转移到全局音频感知”的方法，你可以在 ComfyUI 中使用它。\n\n# 更新\n* 有些人的 CUDA 设备必须使用 `cuda:0`，因此修复了这一问题，避免报错。\n* 修复了 `bf16` 无法使用的错误，解决了 12GB 显存首次运行时容易出现 OOM 的问题，并修复了 macOS 上的 MPS 支持问题。\n\n# 1. 安装\n\n在 `.\u002FComfyUI\u002Fcustom_node` 目录下，运行以下命令：\n```\ngit clone https:\u002F\u002Fgithub.com\u002Fsmthemex\u002FComfyUI_Sonic.git\n```\n\n---\n\n# 2. 依赖安装\n\n```\npip install -r requirements.txt\n```\n\n# 3. 模型\n* 3.1.1 从 [Google Drive](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1oe8VTPUy0-MHHW2a_NJ1F8xL-0VN5G7W) 下载必要的检查点文件。文件结构如下图所示。\n* 3.1.2 下载 [openai\u002Fwhisper-tiny](https:\u002F\u002Fhuggingface.co\u002Fopenai\u002Fwhisper-tiny\u002Ftree\u002Fmain)：\n```\n--  ComfyUI\u002Fmodels\u002Fsonic\u002F\n    |-- audio2bucket.pth\n    |-- audio2token.pth\n    |-- unet.pth\n    |-- yoloface_v5m.pt\n    |-- whisper-tiny\u002F\n        |--config.json\n        |--model.safetensors\n        |--preprocessor_config.json\n    |-- RIFE\u002F\n        |--flownet.pkl\n```\n* 3.2 SVD 检查点：[svd_xt.safetensors](https:\u002F\u002Fhuggingface.co\u002Fstabilityai\u002Fstable-video-diffusion-img2vid-xt) 或 [svd_xt_1_1.safetensors](https:\u002F\u002Fhuggingface.co\u002Fstabilityai\u002Fstable-video-diffusion-img2vid-xt-1-1)：\n\n```\n--   ComfyUI\u002Fmodels\u002Fcheckpoints\n    ├── svd_xt.safetensors  或  svd_xt_1_1.safetensors\n```\n\n# 示例\n* 新示例\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsmthemex_ComfyUI_Sonic_readme_a04531e67edc.png)\n\n* 旧示例\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsmthemex_ComfyUI_Sonic_readme_f9603ae26beb.png)\n* 旧示例\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsmthemex_ComfyUI_Sonic_readme_212a436e1681.png)\n\n# 之前的更新\n* 将“帧数”替换为“持续时间”，现在可以用来调整输出音频的长度（单位为秒）。需要注意的是，实际对比长度是基于音频振幅数组，而非精确的百分比。\n* 修复了当帧率不是 25 时出现的 batch 不匹配问题。\n* 将模型加载方式改为单体 SVD 模型。\n* 支持输出非正方形图片，但请注意，非正方形图片更容易导致显存溢出（OOM）。\n* `image_size` 参数用于控制输出图片的最小尺寸。如果出现 OOM，请适当降低该值。\n* 感谢 @civen-cn 提交的 PR。\n\n# 引用\n```\n@article{ji2024sonic,\n  title={Sonic: Shifting Focus to Global Audio Perception in Portrait Animation},\n  author={Ji, Xiaozhong and Hu, Xiaobin and Xu, Zhihong and Zhu, Junwei and Lin, Chuming and He, Qingdong and Zhang, Jiangning and Luo, Donghao and Chen, Yi and Lin, Qin and others},\n  journal={arXiv preprint arXiv:2411.16331},\n  year={2024}\n}\n\n@article{ji2024realtalk,\n  title={Realtalk: Real-time and realistic audio-driven face generation with 3d facial prior-guided identity alignment network},\n  author={Ji, Xiaozhong and Lin, Chuming and Ding, Zhonggan and Tai, Ying and Zhu, Junwei and Hu, Xiaobin and Luo, Donghao and Ge, Yanhao and Wang, Chengjie},\n  journal={arXiv preprint arXiv:2406.18284},\n  year={2024}\n}\n```","# ComfyUI_Sonic 快速上手指南\n\nComfyUI_Sonic 是将 **Sonic**（一种专注于全局音频感知的人像动画方法）集成到 ComfyUI 中的自定义节点。它允许用户通过音频驱动静态人像生成逼真的说话视频。\n\n## 1. 环境准备\n\n在开始之前，请确保您的系统满足以下要求：\n\n*   **操作系统**: Windows, Linux 或 macOS (已支持 MPS)。\n*   **基础环境**: 已安装并配置好 **ComfyUI**。\n*   **Python 依赖**: 需具备 `pip` 包管理工具。\n*   **硬件建议**:\n    *   推荐 NVIDIA GPU (CUDA)。\n    *   显存建议：12GB 及以上（首次运行可能占用较高，若显存不足需调整图像尺寸）。\n    *   Mac 用户已支持 MPS 加速。\n\n## 2. 安装步骤\n\n### 2.1 安装插件节点\n\n进入 ComfyUI 的自定义节点目录，克隆本仓库：\n\n```bash\ncd .\u002FComfyUI\u002Fcustom_nodes\ngit clone https:\u002F\u002Fgithub.com\u002Fsmthemex\u002FComfyUI_Sonic.git\n```\n\n### 2.2 安装 Python 依赖\n\n进入插件目录并安装所需依赖：\n\n```bash\ncd ComfyUI_Sonic\npip install -r requirements.txt\n```\n\n> **提示**: 国内用户若下载缓慢，可添加国内镜像源加速，例如：\n> `pip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple`\n\n### 2.3 下载模型文件\n\n本工具需要下载两类模型：**Sonic 专用模型** 和 **SVD 基础模型**。\n\n#### A. Sonic 专用模型\n请从 [Google Drive](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1oe8VTPUy0-MHHW2a_NJ1F8xL-0VN5G7W) 下载必要文件，并从 HuggingFace 下载 Whisper 模型。最终文件结构应如下所示：\n\n**目标路径**: `ComfyUI\u002Fmodels\u002Fsonic\u002F`\n\n```text\nComfyUI\u002Fmodels\u002Fsonic\u002F\n├── audio2bucket.pth\n├── audio2token.pth\n├── unet.pth\n├── yoloface_v5m.pt\n├── whisper-tiny\u002F              # 从 openai\u002Fwhisper-tiny 下载\n│   ├── config.json\n│   ├── model.safetensors\n│   └── preprocessor_config.json\n└── RIFE\u002F\n    └── flownet.pkl\n```\n\n*   **Whisper-tiny 下载地址**: [HuggingFace - openai\u002Fwhisper-tiny](https:\u002F\u002Fhuggingface.co\u002Fopenai\u002Fwhisper-tiny\u002Ftree\u002Fmain)\n*   **其他模型下载地址**: [Google Drive 链接](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1oe8VTPUy0-MHHW2a_NJ1F8xL-0VN5G7W)\n\n#### B. SVD 基础模型\n下载 Stable Video Diffusion 模型并放入 ComfyUI 的主检查点目录。\n\n**目标路径**: `ComfyUI\u002Fmodels\u002Fcheckpoints\u002F`\n\n可选模型（二选一即可）：\n1.  [svd_xt.safetensors](https:\u002F\u002Fhuggingface.co\u002Fstabilityai\u002Fstable-video-diffusion-img2vid-xt)\n2.  [svd_xt_1_1.safetensors](https:\u002F\u002Fhuggingface.co\u002Fstabilityai\u002Fstable-video-diffusion-img2vid-xt-1-1)\n\n放置后结构如下：\n```text\nComfyUI\u002Fmodels\u002Fcheckpoints\u002F\n├── svd_xt.safetensors  (或 svd_xt_1_1.safetensors)\n```\n\n## 3. 基本使用\n\n1.  **启动 ComfyUI**: 重启 ComfyUI 以加载新安装的节点。\n2.  **加载工作流**:\n    *   在 ComfyUI 界面中，将官方提供的示例工作流图片（如 `example_0516.png`）直接拖入画布。\n    *   或者手动构建流程：加载 **Sonic** 相关节点，连接人像图片、音频文件以及 SVD 模型。\n3.  **关键参数设置**:\n    *   **Duration**: 用于控制输出视频的时长（单位：秒）。该值基于音频振幅数组计算，非绝对精准百分比。\n    *   **Image Size**: 控制输出图像的最小尺寸。**注意**: 如果遇到 OOM (显存溢出) 错误，请调小此数值。\n    *   **Frame Rate**: 默认适配 25fps，现已修复非 25fps 时的批次匹配问题。\n4.  **运行**: 点击 \"Queue Prompt\" 开始生成。\n\n> **性能优化提示**: 若显存为 12GB 且在首次运行时遇到 OOM，请尝试减小 `image_size` 参数或使用分辨率较小的输入图片。","一位独立游戏开发者需要为游戏中的 NPC 角色快速生成大量匹配不同台词的口播视频，以丰富剧情表现。\n\n### 没有 ComfyUI_Sonic 时\n- **口型与语音割裂**：传统方法往往只关注局部嘴型变化，导致角色说话时面部表情僵硬，缺乏整体情感共鸣，玩家极易出戏。\n- **音频时长控制困难**：难以精准根据音频振幅自动调整视频帧数，常出现视频结束而声音未停，或画面多余空转的尴尬情况。\n- **硬件兼容性差**：在显存有限（如 12GB）或使用 Mac M 系列芯片的设备上，模型加载极易报错（OOM）或不支持 MPS 加速，迫使开发者升级昂贵硬件。\n- **非正方形素材受限**：原有流程强制要求输入正方形图片，导致开发者必须额外花费时间裁剪或填充游戏立绘，破坏原始构图。\n\n### 使用 ComfyUI_Sonic 后\n- **全局感知自然生动**：ComfyUI_Sonic 将焦点转移至“全局音频感知”，生成的角色不仅嘴型准确，更能随语调起伏呈现自然的头部微动和表情变化。\n- **时长智能对齐**：通过\"duration\"参数直接控制输出秒数，工具能依据音频振幅数组自动匹配帧数，实现音画完美同步。\n- **低门槛广泛运行**：修复了 bf16 精度错误并优化了显存占用，使得 12GB 显存显卡甚至 Mac MPS 设备也能流畅运行，大幅降低部署成本。\n- **灵活适配任意构图**：原生支持非正方形图片输出，开发者可直接导入原始游戏立绘，无需预处理即可生成符合游戏 UI 比例的视频资产。\n\nComfyUI_Sonic 通过全局音频感知技术，让低成本硬件也能高效产出情感饱满、音画同步的定制化角色动画。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsmthemex_ComfyUI_Sonic_e81ef91c.png","smthemex",null,"https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fsmthemex_e98e2a38.png","Guangdong, China","https:\u002F\u002Fgithub.com\u002Fsmthemex",[82],{"name":83,"color":84,"percentage":85},"Python","#3572A5",100,1133,106,"2026-04-02T03:18:07","MIT",4,"Linux, macOS, Windows","NVIDIA GPU 必需 (支持 CUDA:0)，推荐显存 12GB+ (12GB 首次运行可能 OOM)；macOS 支持 MPS 设备","未说明 (建议 16GB+ 以防 OOM)",{"notes":95,"python":96,"dependencies":97},"1. 修复了部分用户必须使用 cuda:0 否则报错的问题。2. 修复了 bf16 错误及 macOS MPS 支持。3. 12GB 显存用户首次运行时可能出现内存溢出 (OOM)，建议调小 image_size 参数。4. 需手动下载 Sonic 系列模型 (audio2bucket, unet 等)、whisper-tiny 以及 SVD 检查点 (svd_xt 或 svd_xt_1_1) 至指定目录。5. 支持非正方形图片输出，但容易 OOM。6. 使用 duration (秒) 而非帧数来控制输出长度。","未说明",[98,99,100,101,102],"torch","transformers (whisper-tiny)","RIFE (flownet)","yoloface","stable-video-diffusion (SVD)",[14,39,35,37],"2026-03-27T02:49:30.150509","2026-04-06T07:11:58.470867",[107,112,117,122,127,132,137],{"id":108,"question_zh":109,"answer_zh":110,"source_url":111},10418,"节点加载失败，提示 Import Failed 怎么办？","请尝试完全卸载该插件：删除 custom_nodes 文件夹下的 ComfyUI_Sonic 目录，然后通过 ComfyUI Manager 重新安装。如果问题依旧，可能是代码兼容性问题，维护者曾建议注释掉导致报错的代码行后重试。","https:\u002F\u002Fgithub.com\u002Fsmthemex\u002FComfyUI_Sonic\u002Fissues\u002F97",{"id":113,"question_zh":114,"answer_zh":115,"source_url":116},10419,"运行时报错 'Please download the model first' 如何解决？","这通常意味着模型文件未正确下载或路径配置错误。请检查所有模型文件是否已存在于指定文件夹中。如果确认文件存在但仍报错，建议在 ComfyUI Manager 中卸载并重新安装该节点以刷新文件索引和一致性检查。","https:\u002F\u002Fgithub.com\u002Fsmthemex\u002FComfyUI_Sonic\u002Fissues\u002F60",{"id":118,"question_zh":119,"answer_zh":120,"source_url":121},10420,"遇到 'NoneType' object has no attribute 'encode_image' 错误怎么处理？","该错误通常由环境依赖缺失或加载失败引起。最有效的解决方法是彻底重装：删除插件目录，清理相关缓存，然后从头开始重新安装插件及其依赖项。","https:\u002F\u002Fgithub.com\u002Fsmthemex\u002FComfyUI_Sonic\u002Fissues\u002F43",{"id":123,"question_zh":124,"answer_zh":125,"source_url":126},10421,"生成视频输出黑屏但有声音，是什么原因？","这通常是 FFmpeg 版本冲突或依赖问题导致的。解决方案是更换 FFmpeg 版本，尝试安装一个与当前环境兼容的不同版本的 FFmpeg 即可解决。","https:\u002F\u002Fgithub.com\u002Fsmthemex\u002FComfyUI_Sonic\u002Fissues\u002F14",{"id":128,"question_zh":129,"answer_zh":130,"source_url":131},10422,"如何设置参数以支持超长音频或视频生成？","需要调整 num 参数。该数值需大于音频采样幅度数组的长度。估算公式为：(音频秒数 × 采样率对应的幅度系数)。例如 1 分钟音频约需设置为 3000 以上，建议直接设置为 10000 以确保覆盖。注意：设置过大可能导致口型与语音不同步，短视频无此问题。","https:\u002F\u002Fgithub.com\u002Fsmthemex\u002FComfyUI_Sonic\u002Fissues\u002F9",{"id":133,"question_zh":134,"answer_zh":135,"source_url":136},10423,"如何配置多张显卡并行推理以加快生成速度？","目前 ComfyUI 版本的多卡配置非常复杂且容易出错（代码中常写死 cuda:0）。维护者建议：如果需要多卡并行推理，不要使用 ComfyUI，直接部署官方原生版本会更好。ComfyUI 更适合单卡运行及与其他节点配合工作流。","https:\u002F\u002Fgithub.com\u002Fsmthemex\u002FComfyUI_Sonic\u002Fissues\u002F86",{"id":138,"question_zh":139,"answer_zh":140,"source_url":141},10424,"报错 'Invalid combination of format, subtype and endian' 是怎么回事？","这是音频文件格式处理相关的错误，通常发生在音频文件的编码格式、子类型或字节序不匹配时。虽然回退 ComfyUI 版本可能无效，但建议检查输入音频文件的格式（如 wav 的编码方式），尝试转换音频格式或更新音频处理依赖库。","https:\u002F\u002Fgithub.com\u002Fsmthemex\u002FComfyUI_Sonic\u002Fissues\u002F117",[]]