[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-CyberAgentAILab--TANGO":3,"tool-CyberAgentAILab--TANGO":65},[4,18,32,41,49,57],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4292,"Deep-Live-Cam","hacksider\u002FDeep-Live-Cam","Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。\n\n这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。\n\n其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。",88924,3,"2026-04-06T03:28:53",[13,14,15,16],"开发框架","图像","Agent","视频","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":24,"last_commit_at":25,"category_tags":26,"status":17},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",85267,2,"2026-04-18T11:00:28",[14,27,16,28,15,29,30,13,31],"数据工具","插件","其他","语言模型","音频",{"id":33,"name":34,"github_repo":35,"description_zh":36,"stars":37,"difficulty_score":38,"last_commit_at":39,"category_tags":40,"status":17},5784,"funNLP","fighting41love\u002FfunNLP","funNLP 是一个专为中文自然语言处理（NLP）打造的超级资源库，被誉为\"NLP 民工的乐园”。它并非单一的软件工具，而是一个汇集了海量开源项目、数据集、预训练模型和实用代码的综合性平台。\n\n面对中文 NLP 领域资源分散、入门门槛高以及特定场景数据匮乏的痛点，funNLP 提供了“一站式”解决方案。这里不仅涵盖了分词、命名实体识别、情感分析、文本摘要等基础任务的标准工具，还独特地收录了丰富的垂直领域资源，如法律、医疗、金融行业的专用词库与数据集，甚至包含古诗词生成、歌词创作等趣味应用。其核心亮点在于极高的全面性与实用性，从基础的字典词典到前沿的 BERT、GPT-2 模型代码，再到高质量的标注数据和竞赛方案，应有尽有。\n\n无论是刚刚踏入 NLP 领域的学生、需要快速验证想法的算法工程师，还是从事人工智能研究的学者，都能在这里找到急需的“武器弹药”。对于开发者而言，它能大幅减少寻找数据和复现模型的时间；对于研究者，它提供了丰富的基准测试资源和前沿技术参考。funNLP 以开放共享的精神，极大地降低了中文自然语言处理的开发与研究成本，是中文 AI 社区不可或缺的宝藏仓库。",79857,1,"2026-04-08T20:11:31",[30,27,29],{"id":42,"name":43,"github_repo":44,"description_zh":45,"stars":46,"difficulty_score":38,"last_commit_at":47,"category_tags":48,"status":17},5773,"cs-video-courses","Developer-Y\u002Fcs-video-courses","cs-video-courses 是一个精心整理的计算机科学视频课程清单，旨在为自学者提供系统化的学习路径。它汇集了全球知名高校（如加州大学伯克利分校、新南威尔士大学等）的完整课程录像，涵盖从编程基础、数据结构与算法，到操作系统、分布式系统、数据库等核心领域，并深入延伸至人工智能、机器学习、量子计算及区块链等前沿方向。\n\n面对网络上零散且质量参差不齐的教学资源，cs-video-courses 解决了学习者难以找到成体系、高难度大学级别课程的痛点。该项目严格筛选内容，仅收录真正的大学层级课程，排除了碎片化的简短教程或商业广告，确保用户能接触到严谨的学术内容。\n\n这份清单特别适合希望夯实计算机基础的开发者、需要补充特定领域知识的研究人员，以及渴望像在校生一样系统学习计算机科学的自学者。其独特的技术亮点在于分类极其详尽，不仅包含传统的软件工程与网络安全，还细分了生成式 AI、大语言模型、计算生物学等新兴学科，并直接链接至官方视频播放列表，让用户能一站式获取高质量的教育资源，免费享受世界顶尖大学的课堂体验。",79792,"2026-04-08T22:03:59",[29,14,27,13],{"id":50,"name":51,"github_repo":52,"description_zh":53,"stars":54,"difficulty_score":10,"last_commit_at":55,"category_tags":56,"status":17},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,30,29],{"id":58,"name":59,"github_repo":60,"description_zh":61,"stars":62,"difficulty_score":10,"last_commit_at":63,"category_tags":64,"status":17},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",75916,"2026-04-19T10:54:02",[30,14,13,29],{"id":66,"github_repo":67,"name":68,"description_en":69,"description_zh":70,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":77,"owner_avatar_url":78,"owner_bio":79,"owner_company":80,"owner_location":80,"owner_email":80,"owner_twitter":81,"owner_website":82,"owner_url":83,"languages":84,"stars":93,"forks":94,"last_commit_at":95,"license":96,"difficulty_score":10,"env_os":97,"env_gpu":98,"env_ram":99,"env_deps":100,"category_tags":111,"github_topics":80,"view_count":24,"oss_zip_url":80,"oss_zip_packed_at":80,"status":17,"created_at":112,"updated_at":113,"faqs":114,"releases":150},9631,"CyberAgentAILab\u002FTANGO","TANGO","[ICLR 2025 Oral] TANGO: Co-Speech Gesture Video Reenactment with Hierarchical Audio-Motion Embedding and Diffusion Interpolation","TANGO 是一款专为“语音驱动手势视频重演”设计的开源 AI 工具，能够根据输入的音频片段，自动生成与之自然匹配的说话者手势视频。它主要解决了传统方法中生成的肢体动作僵硬、与语音节奏不同步，以及难以适配不同角色形象的难题，让虚拟人物的表达更加生动逼真。\n\n这款工具非常适合计算机视觉研究人员、AI 开发者以及数字人内容创作者使用。研究人员可以利用其开放的训练代码和预处理数据集探索多模态学习；开发者能基于提供的推理脚本快速集成应用；而内容创作者则可通过简单的命令行或网页界面，为自定义角色赋予符合语境的手势表现。\n\nTANGO 的核心技术亮点在于其创新的“分层音频 - 运动嵌入”机制与“扩散插值”算法。前者能精准捕捉语音语义与肢体动作之间的深层关联，后者则确保了动作过渡的流畅性与多样性。此外，项目还开源了构建个性化角色动作图谱的工具，支持用户定制专属的数字人形象。目前，TANGO 已提供完整的训练与推理代码，并支持在 Hugging Face 上直接体验，是构建高保真虚拟主播或交互式数字人的有力助手。","\u003Cdiv align=\"center\">\n\u003C!-- \u003Cp align=\"center\"> \u003Cimg src=\".\u002Fassets\u002FEMAGE_2024\u002F1711449143651.jpg\" width=\"100px\"> \u003C\u002Fp> -->\n\u003Ch2>TANGO: Co-Speech Gesture Video Reenactment with Hierarchical Audio-Motion Embedding and Diffusion Interpolation\u003C\u002Fh2>\n\n\u003Ca href='https:\u002F\u002Fpantomatrix.github.io\u002FTANGO\u002F'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject-TANGO-blue' alt='Project'>\u003C\u002Fa>\n\u003Ca href='https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=_DfsA11puBc'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FYouTube-TANGO-rgb(255, 0, 0)' alt='Youtube'>\u003C\u002Fa>\n\u003Ca href='https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FH-Liu1997\u002FTANGO'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Spaces-blue'>\u003C\u002Fa>\n\u003Ca href='https:\u002F\u002Farxiv.org\u002Fabs\u002F2410.04221'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPaper-ArXiv-yellow' alt='Project'>\u003C\u002Fa>\n\n\u003C\u002Fdiv>\n\n# News\n\nWelcome contributors! Feel free to submit the pull requests!\n\n- **[2024\u002F10]** Welcome to try our [TANGO](\u003C(https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FH-Liu1997\u002FTANGO)!>) on Hugging face space !\n- **[2024\u002F10]** Code for creating gesture graph is available.\n- **[2024\u002F10]** Video data download [Google Drive](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1-A_Bb_L7UMLvckbHmZRltnb7jgaLzd6D?usp=sharing) (show-oliver and harward business)\n\n\u003Cp align=center>\n\u003Cimg src =\".\u002Fassets\u002Fhg.png\" width=\"60%\" >\n\u003C\u002Fp>\n\n# Results Videos\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FCyberAgentAILab_TANGO_readme_c23989f32ea1.gif\" width=\"32%\" alt=\"demo0\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FCyberAgentAILab_TANGO_readme_58671b376c84.gif\" width=\"32%\" alt=\"demo1\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FCyberAgentAILab_TANGO_readme_a8bfc8129b3d.gif\" width=\"32%\" alt=\"demo2\">\n\u003C\u002Fp>\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FCyberAgentAILab_TANGO_readme_488bd59c2510.gif\" width=\"32%\" alt=\"demo3\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FCyberAgentAILab_TANGO_readme_542e4998ab99.gif\" width=\"32%\" alt=\"demo5\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FCyberAgentAILab_TANGO_readme_39189db4e0a9.gif\" width=\"32%\" alt=\"demo6\">\n\u003C\u002Fp>\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FCyberAgentAILab_TANGO_readme_fcb6935d5870.gif\" width=\"32%\" alt=\"demo7\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FCyberAgentAILab_TANGO_readme_cfbad4ed30d1.gif\" width=\"32%\" alt=\"demo8\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FCyberAgentAILab_TANGO_readme_c3841d6c2bb4.gif\" width=\"32%\" alt=\"demo9\">\n\u003C\u002Fp>\n\n# Demo Video (on Youtube)\n\n\u003Cp align=center>\n    \u003Ca href=\"https:\u002F\u002Fyoutu.be\u002FxuhD_-tMH1w?si=Tr6jHAhOR1fxWIjb\">\n    \u003Cimg  width=\"68%\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FCyberAgentAILab_TANGO_readme_05ff885f5909.png\">\n    \u003C\u002Fa>\n\u003C\u002Fp>\n\n# 📝 Release Plans\n\n- [x] Training codes for AuMoClip\n- [x] Processed Youtube Buiness Video data (very small, around 15 mins)\n- [x] Scripts for creating gesture graph\n- [x] Inference codes with AuMoClip and pretrained weights\n\n# ⚒️ Installation\n\n## Clone the repository\n\n```shell\ngit clone https:\u002F\u002Fgithub.com\u002FCyberAgentAILab\u002FTANGO.git\ncd TANGO\n```\n\n## Build Environment\n\nFor inference and training CLIP part, we recommend a python version `==3.10.16` and cuda version `==11.8`. Now HuggingFace Space version is py310 version:\n\n```shell\n# [Optional] Create a virtual env\nconda create -n tango_py310 python==3.10.16\nconda activate tango_py310\n# Install with pip:\npython -m pip install -r .\u002Fpre-requirements.txt\npython -m pip install -r .\u002Frequirements.txt\n```\n\n# 🚀 Training and Inference\n\n## Inference\n\nHere is the command for running inference scripts under the path `\u003Cyour root>\u002FTANGO\u002F`, it will take around 3 min to generate two 8s videos. You can visualize by directly check the video or check the result .npz files via blender using our blender addon in [EMAGE](https:\u002F\u002Fgithub.com\u002FPantoMatrix\u002FPantoMatrix).\n\n_Necessary checkpoints and pre-computed graphs will be automatically downloaded during the first run. Please ensure that at least 10GB of disk space is available._\n\n```shell\n# inference \npython inference.py --audio_path .\u002Fdatasets\u002Fcached_audio\u002Fexample_male_voice_9_seconds.wav --character_name .\u002Fdatasets\u002Fcached_audio\u002Fspeaker9_o7Ik1OB4TaE_00-00-38.15_00-00-42.33.mp4\n\n# start gradio app like hugging face space\npython app.py\n```\n\n## Training JointEmbedding (CLIP)\n\n```shell\n# download the training data from https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F11ZQI8mB7mP8OtlIdcjtxKvg7OxVZ4t7d\u002Fview?usp=drive_link\n\ntorchrun --nproc_per_node=1 train_high_env0.py --config .\u002Fconfigs\u002Fbaseline_high_env0.yaml\n```\n\n### Create the graph for custom character\n\nFor building a motion graph, we recommend a python version `==3.9.20` and cuda version `==11.8` to support `mmcv` and `mmpose`. \n\n```shell\n# [Optional] Create a virtual env\nconda create -n tango_py39 python==3.9.20\nconda activate tango_py39\n# Install with pip:\npython -m pip install -r .\u002Fpre-requirements_py39.txt\npython -m pip install -r .\u002Frequirements_py39.txt\n```\n\n```shell\n# set up the py39\npython create_graph.py\n```\n\n# Copyright Information\n\nWe thank the open-source project [Wav2Lip](https:\u002F\u002Fgithub.com\u002FRudrabha\u002FWav2Lip), [FiLM](https:\u002F\u002Fgithub.com\u002Fcaffeinism\u002FFiLM-pytorch), [SMPLerX](https:\u002F\u002Fgithub.com\u002Fcaizhongang\u002FSMPLer-X).\n\nCheck out our previous works for Co-Speech 3D motion Generation \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FPantoMatrix\u002FPantoMatrix\">DisCo, BEAT, EMAGE\u003C\u002Fa>.\n\nThis project is only for research or education purposes, and not freely available for commercial use or redistribution. The script is available only under the terms of the [Attribution-NonCommercial 4.0 International](https:\u002F\u002Fcreativecommons.org\u002Flicenses\u002Fby-nc\u002F4.0\u002Flegalcode) (CC BY-NC 4.0) license.\n","\u003Cdiv align=\"center\">\n\u003C!-- \u003Cp align=\"center\"> \u003Cimg src=\".\u002Fassets\u002FEMAGE_2024\u002F1711449143651.jpg\" width=\"100px\"> \u003C\u002Fp> -->\n\u003Ch2>TANGO：基于分层音频-运动嵌入与扩散插值的共言语手势视频重现\u003C\u002Fh2>\n\n\u003Ca href='https:\u002F\u002Fpantomatrix.github.io\u002FTANGO\u002F'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject-TANGO-blue' alt='Project'>\u003C\u002Fa>\n\u003Ca href='https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=_DfsA11puBc'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FYouTube-TANGO-rgb(255, 0, 0)' alt='Youtube'>\u003C\u002Fa>\n\u003Ca href='https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FH-Liu1997\u002FTANGO'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Spaces-blue'>\u003C\u002Fa>\n\u003Ca href='https:\u002F\u002Farxiv.org\u002Fabs\u002F2410.04221'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPaper-ArXiv-yellow' alt='Project'>\u003C\u002Fa>\n\n\u003C\u002Fdiv>\n\n# 新闻\n\n欢迎各位贡献者！请随时提交拉取请求！\n\n- **[2024\u002F10]** 欢迎在 Hugging Face Space 上试用我们的 [TANGO](\u003C(https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FH-Liu1997\u002FTANGO)!)！\n- **[2024\u002F10]** 手势图生成代码现已可用。\n- **[2024\u002F10]** 视频数据下载链接 [Google Drive](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1-A_Bb_L7UMLvckbHmZRltnb7jgaLzd6D?usp=sharing)（show-oliver 和 harward business）\n\n\u003Cp align=center>\n\u003Cimg src =\".\u002Fassets\u002Fhg.png\" width=\"60%\" >\n\u003C\u002Fp>\n\n# 结果视频\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FCyberAgentAILab_TANGO_readme_c23989f32ea1.gif\" width=\"32%\" alt=\"demo0\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FCyberAgentAILab_TANGO_readme_58671b376c84.gif\" width=\"32%\" alt=\"demo1\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FCyberAgentAILab_TANGO_readme_a8bfc8129b3d.gif\" width=\"32%\" alt=\"demo2\">\n\u003C\u002Fp>\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FCyberAgentAILab_TANGO_readme_488bd59c2510.gif\" width=\"32%\" alt=\"demo3\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FCyberAgentAILab_TANGO_readme_542e4998ab99.gif\" width=\"32%\" alt=\"demo5\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FCyberAgentAILab_TANGO_readme_39189db4e0a9.gif\" width=\"32%\" alt=\"demo6\">\n\u003C\u002Fp>\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FCyberAgentAILab_TANGO_readme_fcb6935d5870.gif\" width=\"32%\" alt=\"demo7\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FCyberAgentAILab_TANGO_readme_cfbad4ed30d1.gif\" width=\"32%\" alt=\"demo8\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FCyberAgentAILab_TANGO_readme_c3841d6c2bb4.gif\" width=\"32%\" alt=\"demo9\">\n\u003C\u002Fp>\n\n# 演示视频（在 YouTube 上）\n\n\u003Cp align=center>\n    \u003Ca href=\"https:\u002F\u002Fyoutu.be\u002FxuhD_-tMH1w?si=Tr6jHAhOR1fxWIjb\">\n    \u003Cimg  width=\"68%\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FCyberAgentAILab_TANGO_readme_05ff885f5909.png\">\n    \u003C\u002Fa>\n\u003C\u002Fp>\n\n# 📝 发布计划\n\n- [x] AuMoClip 的训练代码\n- [x] 处理后的 YouTube 商业视频数据（非常小，约 15 分钟）\n- [x] 手势图生成脚本\n- [x] 带有 AuMoClip 和预训练权重的推理代码\n\n# ⚒️ 安装\n\n## 克隆仓库\n\n```shell\ngit clone https:\u002F\u002Fgithub.com\u002FCyberAgentAILab\u002FTANGO.git\ncd TANGO\n```\n\n## 构建环境\n\n对于推理和 CLIP 部分的训练，我们推荐使用 Python 版本 `==3.10.16` 和 CUDA 版本 `==11.8`。目前 Hugging Face Space 版本为 py310 版本：\n\n```shell\n# [可选] 创建虚拟环境\nconda create -n tango_py310 python==3.10.16\nconda activate tango_py310\n# 使用 pip 安装：\npython -m pip install -r .\u002Fpre-requirements.txt\npython -m pip install -r .\u002Frequirements.txt\n```\n\n# 🚀 训练与推理\n\n## 推理\n\n以下是运行 `\u003Cyour root>\u002FTANGO\u002F` 路径下推理脚本的命令，大约需要 3 分钟生成两个 8 秒的视频。您可以通过直接查看视频或使用我们在 [EMAGE](https:\u002F\u002Fgithub.com\u002FPantoMatrix\u002FPantoMatrix) 中提供的 Blender 插件，通过 Blender 查看 .npz 格式的输出结果。\n\n_必要的检查点和预计算图将在首次运行时自动下载。请确保至少有 10GB 的磁盘空间可用。_\n\n```shell\n# 推理 \npython inference.py --audio_path .\u002Fdatasets\u002Fcached_audio\u002Fexample_male_voice_9_seconds.wav --character_name .\u002Fdatasets\u002Fcached_audio\u002Fspeaker9_o7Ik1OB4TaE_00-00-38.15_00-00-42.33.mp4\n\n# 启动类似于 Hugging Face Space 的 Gradio 应用程序\npython app.py\n```\n\n## 训练 JointEmbedding (CLIP)\n\n```shell\n# 从 https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F11ZQI8mB7mP8OtlIdcjtxKvg7OxVZ4t7d\u002Fview?usp=drive_link 下载训练数据\n\ntorchrun --nproc_per_node=1 train_high_env0.py --config .\u002Fconfigs\u002Fbaseline_high_env0.yaml\n```\n\n### 为自定义角色创建图\n\n为了构建运动图，我们建议使用 Python 版本 `==3.9.20` 和 CUDA 版本 `==11.8`，以支持 `mmcv` 和 `mmpose`。\n\n```shell\n# [可选] 创建虚拟环境\nconda create -n tango_py39 python==3.9.20\nconda activate tango_py39\n# 使用 pip 安装：\npython -m pip install -r .\u002Fpre-requirements_py39.txt\npython -m pip install -r .\u002Frequirements_py39.txt\n```\n\n```shell\n# 设置 py39 环境\npython create_graph.py\n```\n\n# 版权信息\n\n我们感谢开源项目 [Wav2Lip](https:\u002F\u002Fgithub.com\u002FRudrabha\u002FWav2Lip)、[FiLM](https:\u002F\u002Fgithub.com\u002Fcaffeinism\u002FFiLM-pytorch) 和 [SMPLerX](https:\u002F\u002Fgithub.com\u002Fcaizhongang\u002FSMPLer-X)。\n\n请查看我们之前关于共言语 3D 运动生成的工作：\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FPantoMatrix\u002FPantoMatrix\">DisCo、BEAT、EMAGE\u003C\u002Fa>。\n\n本项目仅用于研究或教育目的，不得用于商业用途或重新分发。该脚本仅根据 [署名-非商业性使用 4.0 国际](https:\u002F\u002Fcreativecommons.org\u002Flicenses\u002Fby-nc\u002F4.0\u002Flegalcode)（CC BY-NC 4.0）许可协议提供。","# TANGO 快速上手指南\n\nTANGO 是一个基于分层音频 - 运动嵌入和扩散插值的共语音手势视频重演工具。本指南将帮助你快速在本地部署并运行推理。\n\n## 1. 环境准备\n\n在开始之前，请确保你的系统满足以下要求：\n\n*   **操作系统**: Linux (推荐)\n*   **Python 版本**: `3.10.16` (用于推理和训练 CLIP 部分)\n*   **CUDA 版本**: `11.8`\n*   **磁盘空间**: 至少预留 **10GB** 空间（首次运行时会自动下载检查点和预计算图）\n*   **硬件**: 支持 CUDA 的 NVIDIA GPU\n\n> **注意**：如果你需要为自定义角色构建运动图（Motion Graph），则需要单独创建一个 Python `3.9.20` 的环境以支持 `mmcv` 和 `mmpose`。本指南主要聚焦于核心的推理功能。\n\n## 2. 安装步骤\n\n### 2.1 克隆仓库\n```shell\ngit clone https:\u002F\u002Fgithub.com\u002FCyberAgentAILab\u002FTANGO.git\ncd TANGO\n```\n\n### 2.2 创建虚拟环境并安装依赖\n推荐使用 Conda 创建隔离环境，以确保依赖版本一致。\n\n```shell\n# 创建名为 tango_py310 的虚拟环境，指定 Python 版本\nconda create -n tango_py310 python==3.10.16\nconda activate tango_py310\n\n# 安装前置依赖\npython -m pip install -r .\u002Fpre-requirements.txt\n\n# 安装项目依赖\n# 提示：国内用户可添加 -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple 加速下载\npython -m pip install -r .\u002Frequirements.txt\n```\n\n## 3. 基本使用\n\n安装完成后，你可以直接运行推理脚本或启动 Web 界面。首次运行时，程序会自动下载必要的模型权重和预计算数据。\n\n### 3.1 命令行推理\n以下命令将使用示例音频和角色视频生成两个时长约 8 秒的手势视频（耗时约 3 分钟）。\n\n```shell\npython inference.py --audio_path .\u002Fdatasets\u002Fcached_audio\u002Fexample_male_voice_9_seconds.wav --character_name .\u002Fdatasets\u002Fcached_audio\u002Fspeaker9_o7Ik1OB4TaE_00-00-38.15_00-00-42.33.mp4\n```\n*   **输出结果**：生成的视频文件可直接播放，或通过在 [EMAGE](https:\u002F\u002Fgithub.com\u002FPantoMatrix\u002FPantoMatrix) 项目中提供的 Blender 插件查看 `.npz` 结果文件。\n\n### 3.2 启动 Web 界面 (Gradio)\n如果你更喜欢图形化界面操作，可以启动类似 Hugging Face Space 的本地应用：\n\n```shell\npython app.py\n```\n启动后，终端会显示本地访问地址（通常为 `http:\u002F\u002F127.0.0.1:7860`），在浏览器中打开即可上传音频和视频进行生成。\n\n---\n*注：本项目仅用于研究或教育目的，遵循 CC BY-NC 4.0 许可协议，禁止商业用途。*","某数字人内容创作团队正在为一家跨国企业制作多语言产品宣讲视频，需要让同一位虚拟讲师根据中、英、日三种语言的录音，自动生成自然且符合语境的肢体动作。\n\n### 没有 TANGO 时\n- **动作僵硬脱节**：传统方法生成的手势往往与语音节奏不匹配，出现“嘴在动但手静止”或动作机械重复的现象，缺乏真实感。\n- **多语言适配困难**：针对不同语言的音频，需要重新手动调整动作参数或训练多个专用模型，开发周期长且成本高昂。\n- **细节丢失严重**：细微的情感表达（如强调语气时的挥手、思考时的停顿）难以被捕捉，导致虚拟人物显得呆板，无法传递演讲者的情绪感染力。\n- **后期修补繁琐**：生成视频后常需人工逐帧修正动作轨迹，耗时耗力，严重拖慢项目交付进度。\n\n### 使用 TANGO 后\n- **音动高度同步**：TANGO 利用分层音频 - 运动嵌入技术，能精准捕捉语音中的韵律和情感，自动生成与说话节奏完美契合的流畅手势。\n- **跨语言通用性强**：只需替换音频文件，无需重新训练模型，TANGO 即可让同一虚拟角色自然地演绎不同语言的演讲，大幅降低多语言内容制作门槛。\n- **情感细节丰富**：基于扩散插值技术，TANGO 能还原细腻的过渡动作和微表情，使虚拟讲师的肢体语言生动自然，极具感染力。\n- **全流程自动化**：从音频输入到视频输出仅需几分钟，彻底省去了人工关键帧调整环节，让团队能将精力集中在创意策划上。\n\nTANGO 通过深层音动协同技术，将多语言数字人视频的制作效率提升了数倍，同时实现了电影级的自然交互效果。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FCyberAgentAILab_TANGO_eb7172ee.png","CyberAgentAILab","CyberAgent AI Lab","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FCyberAgentAILab_887a29fb.png","",null,"cyberagent_ai","https:\u002F\u002Fcyberagent.ai\u002Failab\u002F","https:\u002F\u002Fgithub.com\u002FCyberAgentAILab",[85,89],{"name":86,"color":87,"percentage":88},"Python","#3572A5",96.9,{"name":90,"color":91,"percentage":92},"Jupyter Notebook","#DA5B0B",3.1,1147,149,"2026-04-14T06:50:03","NOASSERTION","Linux","必需 NVIDIA GPU，CUDA 11.8（用于推理、训练 CLIP 部分及构建动作图）","未说明",{"notes":101,"python":102,"dependencies":105},"项目分为两个主要环境：推理和训练推荐使用 Python 3.10.16 + CUDA 11.8；若要为自定义角色构建动作图（依赖 mmcv 和 mmpose），则需单独创建 Python 3.9.20 + CUDA 11.8 的环境。首次运行推理时会自动下载必要的检查点和预计算图，请确保磁盘空间至少剩余 10GB。该项目仅限科研或教育用途，禁止商业使用。",[103,104],"3.10.16 (推理与训练)","3.9.20 (构建动作图)",[106,107,108,109,110],"torch","mmcv","mmpose","gradio","blender (用于可视化结果)",[16,31,29],"2026-03-27T02:49:30.150509","2026-04-20T04:05:08.760557",[115,120,125,130,135,140,145],{"id":116,"question_zh":117,"answer_zh":118,"source_url":119},43245,"本地部署该项目需要多少显存（VRAM）？","在 Colab T4 (16GB) 上测试过，可以正常运行。建议至少准备 16GB 显存。","https:\u002F\u002Fgithub.com\u002FCyberAgentAILab\u002FTANGO\u002Fissues\u002F6",{"id":121,"question_zh":122,"answer_zh":123,"source_url":124},43246,"可以在 MacBook 或非 NVIDIA 显卡的设备上运行吗？","不可以，目前该项目仅支持 NVIDIA GPU。","https:\u002F\u002Fgithub.com\u002FCyberAgentAILab\u002FTANGO\u002Fissues\u002F41",{"id":126,"question_zh":127,"answer_zh":128,"source_url":129},43247,"生成的视频唇形不同步或效果不如 Demo 好怎么办？","0-3 秒沉默时段未做特殊处理属于正常现象；若追求更高精度的唇形同步，项目默认使用开源的 wav2lip 进行口型生成，如果不满意可以在 app.py 中替换为其他对口型算法。此外，如果是分辨率问题或肢体动作同步问题，可参考相关 Issue #1 进行优化。","https:\u002F\u002Fgithub.com\u002FCyberAgentAILab\u002FTANGO\u002Fissues\u002F32",{"id":131,"question_zh":132,"answer_zh":133,"source_url":134},43248,"为什么生成的视频中手部或身体部位在过渡帧消失？ACInterp 模块是否已开放？","目前的 Demo 使用的是 FiLM（一个开源的非扩散模型）来生成过渡帧，而不是 ACInterp 模块。如果使用 ACInterp，过渡部分的手部或身体消失问题会得到改善。如果测试数据中没有出现此类问题，添加 ACInterp 可能不会有额外收益。目前推理代码和权重尚未完全公开用于此特定模块的独立调用。","https:\u002F\u002Fgithub.com\u002FCyberAgentAILab\u002FTANGO\u002Fissues\u002F7",{"id":136,"question_zh":137,"answer_zh":138,"source_url":139},43249,"运行 create_graph 或相关脚本时报错（如 FileNotFoundError 或版本冲突）如何解决？","如果是 numpy 版本兼容性问题，请尝试执行命令：pip install numpy==1.23.5。如果是缺少文件（如 save_video.json），请确保按照 README 正确克隆了仓库并完成了所有子模块的下载步骤，不要跳过仓库克隆环节。","https:\u002F\u002Fgithub.com\u002FCyberAgentAILab\u002FTANGO\u002Fissues\u002F35",{"id":141,"question_zh":142,"answer_zh":143,"source_url":144},43250,"图构建（Graph Construction）中的节点是由单帧还是多帧组成的？输入视频如何处理？","代码最终验证发现，每个节点由单帧图像组成效果更好。关于输入视频，create_graph.py 支持输入一个包含多个视频的文件夹，示例视频通常来自多个不同的视频源，而非单个视频分割。","https:\u002F\u002Fgithub.com\u002FCyberAgentAILab\u002FTANGO\u002Fissues\u002F17",{"id":146,"question_zh":147,"answer_zh":148,"source_url":149},43251,"从 Hugging Face 下载模型时提示缺少 inference.py 文件怎么办？","这通常是因为没有完整克隆仓库。请确保执行了 README 中提到的完整克隆步骤（包括子模块），检查链接：https:\u002F\u002Fgithub.com\u002FCyberAgentAILab\u002FTANGO?tab=readme-ov-file#clone-the-repository，不要只下载部分文件。","https:\u002F\u002Fgithub.com\u002FCyberAgentAILab\u002FTANGO\u002Fissues\u002F45",[]]