[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-sebastianstarke--AI4Animation":3,"tool-sebastianstarke--AI4Animation":65},[4,23,32,40,49,57],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":22},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",85267,2,"2026-04-18T11:00:28",[13,14,15,16,17,18,19,20,21],"图像","数据工具","视频","插件","Agent","其他","语言模型","开发框架","音频","ready",{"id":24,"name":25,"github_repo":26,"description_zh":27,"stars":28,"difficulty_score":29,"last_commit_at":30,"category_tags":31,"status":22},5784,"funNLP","fighting41love\u002FfunNLP","funNLP 是一个专为中文自然语言处理（NLP）打造的超级资源库，被誉为\"NLP 民工的乐园”。它并非单一的软件工具，而是一个汇集了海量开源项目、数据集、预训练模型和实用代码的综合性平台。\n\n面对中文 NLP 领域资源分散、入门门槛高以及特定场景数据匮乏的痛点，funNLP 提供了“一站式”解决方案。这里不仅涵盖了分词、命名实体识别、情感分析、文本摘要等基础任务的标准工具，还独特地收录了丰富的垂直领域资源，如法律、医疗、金融行业的专用词库与数据集，甚至包含古诗词生成、歌词创作等趣味应用。其核心亮点在于极高的全面性与实用性，从基础的字典词典到前沿的 BERT、GPT-2 模型代码，再到高质量的标注数据和竞赛方案，应有尽有。\n\n无论是刚刚踏入 NLP 领域的学生、需要快速验证想法的算法工程师，还是从事人工智能研究的学者，都能在这里找到急需的“武器弹药”。对于开发者而言，它能大幅减少寻找数据和复现模型的时间；对于研究者，它提供了丰富的基准测试资源和前沿技术参考。funNLP 以开放共享的精神，极大地降低了中文自然语言处理的开发与研究成本，是中文 AI 社区不可或缺的宝藏仓库。",79857,1,"2026-04-08T20:11:31",[19,14,18],{"id":33,"name":34,"github_repo":35,"description_zh":36,"stars":37,"difficulty_score":29,"last_commit_at":38,"category_tags":39,"status":22},5773,"cs-video-courses","Developer-Y\u002Fcs-video-courses","cs-video-courses 是一个精心整理的计算机科学视频课程清单，旨在为自学者提供系统化的学习路径。它汇集了全球知名高校（如加州大学伯克利分校、新南威尔士大学等）的完整课程录像，涵盖从编程基础、数据结构与算法，到操作系统、分布式系统、数据库等核心领域，并深入延伸至人工智能、机器学习、量子计算及区块链等前沿方向。\n\n面对网络上零散且质量参差不齐的教学资源，cs-video-courses 解决了学习者难以找到成体系、高难度大学级别课程的痛点。该项目严格筛选内容，仅收录真正的大学层级课程，排除了碎片化的简短教程或商业广告，确保用户能接触到严谨的学术内容。\n\n这份清单特别适合希望夯实计算机基础的开发者、需要补充特定领域知识的研究人员，以及渴望像在校生一样系统学习计算机科学的自学者。其独特的技术亮点在于分类极其详尽，不仅包含传统的软件工程与网络安全，还细分了生成式 AI、大语言模型、计算生物学等新兴学科，并直接链接至官方视频播放列表，让用户能一站式获取高质量的教育资源，免费享受世界顶尖大学的课堂体验。",79792,"2026-04-08T22:03:59",[18,13,14,20],{"id":41,"name":42,"github_repo":43,"description_zh":44,"stars":45,"difficulty_score":46,"last_commit_at":47,"category_tags":48,"status":22},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,3,"2026-04-04T04:44:48",[17,13,20,19,18],{"id":50,"name":51,"github_repo":52,"description_zh":53,"stars":54,"difficulty_score":46,"last_commit_at":55,"category_tags":56,"status":22},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",75992,"2026-04-20T11:17:26",[19,13,20,18],{"id":58,"name":59,"github_repo":60,"description_zh":61,"stars":62,"difficulty_score":29,"last_commit_at":63,"category_tags":64,"status":22},3215,"awesome-machine-learning","josephmisiti\u002Fawesome-machine-learning","awesome-machine-learning 是一份精心整理的机器学习资源清单，汇集了全球优秀的机器学习框架、库和软件工具。面对机器学习领域技术迭代快、资源分散且难以甄选的痛点，这份清单按编程语言（如 Python、C++、Go 等）和应用场景（如计算机视觉、自然语言处理、深度学习等）进行了系统化分类，帮助使用者快速定位高质量项目。\n\n它特别适合开发者、数据科学家及研究人员使用。无论是初学者寻找入门库，还是资深工程师对比不同语言的技术选型，都能从中获得极具价值的参考。此外，清单还延伸提供了免费书籍、在线课程、行业会议、技术博客及线下聚会等丰富资源，构建了从学习到实践的全链路支持体系。\n\n其独特亮点在于严格的维护标准：明确标记已停止维护或长期未更新的项目，确保推荐内容的时效性与可靠性。作为机器学习领域的“导航图”，awesome-machine-learning 以开源协作的方式持续更新，旨在降低技术探索门槛，让每一位从业者都能高效地站在巨人的肩膀上创新。",72149,"2026-04-03T21:50:24",[20,18],{"id":66,"github_repo":67,"name":68,"description_en":69,"description_zh":70,"ai_summary_zh":71,"readme_en":72,"readme_zh":73,"quickstart_zh":74,"use_case_zh":75,"hero_image_url":76,"owner_login":77,"owner_name":78,"owner_avatar_url":79,"owner_bio":80,"owner_company":81,"owner_location":82,"owner_email":83,"owner_twitter":84,"owner_website":85,"owner_url":86,"languages":87,"stars":120,"forks":121,"last_commit_at":122,"license":81,"difficulty_score":46,"env_os":123,"env_gpu":124,"env_ram":125,"env_deps":126,"category_tags":132,"github_topics":81,"view_count":10,"oss_zip_url":81,"oss_zip_packed_at":81,"status":22,"created_at":133,"updated_at":134,"faqs":135,"releases":136},10162,"sebastianstarke\u002FAI4Animation","AI4Animation","Bringing Characters to Life with Computer Brains in Unity","AI4Animation 是一个基于深度学习的角色动画与控制框架，旨在利用“计算机大脑”让虚拟角色在 Unity 或 Python 环境中拥有自然、灵动的动作表现。它主要解决了传统游戏开发中角色动作生硬、难以实时响应复杂环境交互的难题，通过数据驱动的方式，让双足行走、四足奔跑、体育竞技乃至格斗动作都能根据场景自动调整，实现高度逼真的物理反馈。\n\n这套工具特别适合游戏开发者、动画研究人员以及从事 AR\u002FVR 化身设计的专业人士使用。其核心亮点在于提供了一套完整的流水线，涵盖从动作捕捉数据处理、神经网络训练到运行时控制的全过程。2026 年推出的 Python 重构版（AI4AnimationPy）更是移除了对 Unity 的强依赖，基于 NumPy 和 PyTorch 构建，支持在统一环境中完成训练与可视化，极大简化了研究流程。此外，它还集成了实时逆向运动学（IK）、风格化运动控制器以及最新的“分类代码本匹配”技术，能够精准地将真实用户的动作迁移到虚拟化身之上，为元宇宙应用提供了强大的技术支撑。无论是制作交互式演示还是探索前沿学术课题，AI4Animation 都能提供灵活且高效的解决方","AI4Animation 是一个基于深度学习的角色动画与控制框架，旨在利用“计算机大脑”让虚拟角色在 Unity 或 Python 环境中拥有自然、灵动的动作表现。它主要解决了传统游戏开发中角色动作生硬、难以实时响应复杂环境交互的难题，通过数据驱动的方式，让双足行走、四足奔跑、体育竞技乃至格斗动作都能根据场景自动调整，实现高度逼真的物理反馈。\n\n这套工具特别适合游戏开发者、动画研究人员以及从事 AR\u002FVR 化身设计的专业人士使用。其核心亮点在于提供了一套完整的流水线，涵盖从动作捕捉数据处理、神经网络训练到运行时控制的全过程。2026 年推出的 Python 重构版（AI4AnimationPy）更是移除了对 Unity 的强依赖，基于 NumPy 和 PyTorch 构建，支持在统一环境中完成训练与可视化，极大简化了研究流程。此外，它还集成了实时逆向运动学（IK）、风格化运动控制器以及最新的“分类代码本匹配”技术，能够精准地将真实用户的动作迁移到虚拟化身之上，为元宇宙应用提供了强大的技术支撑。无论是制作交互式演示还是探索前沿学术课题，AI4Animation 都能提供灵活且高效的解决方案。","AI4Animation: Deep Learning for Character Control\n============\n\nThis repository explores the opportunities of deep learning for character animation and control. It aims to be a comprehensive framework for data-driven character animation, including data processing, neural network training and runtime control. The various projects below demonstrate such capabilities using neural networks for animating biped locomotion, quadruped locomotion, and character-scene interactions with objects and the environment, plus sports and fighting games, as well as embodied avatar motions in AR\u002FVR. Further advances on this research will continue being added to this project.\n\n------------\n**2026 - Python Remake (AI4AnimationPy)**\u003Cbr \u002F>\n**[View repository  →](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fai4animationpy)**\u003Cbr >\n\u003Csub>\n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fpaul-starke-0787211b4\u002F\">Paul Starke\u003C\u002Fa>, \n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fsebastian-starke-b281a6148\u002F\">Sebastian Starke\u003C\u002Fa>\n\u003Csub>\n------------\n\nThis version brings AI4Animation to Python — removing the Unity dependency for data-processing, feature-extraction, inference, and post-processing while keeping similar game-engine-style architecture (ECS, update loops, rendering pipeline). Everything runs on NumPy or PyTorch, so training, inference, and visualization happen in one unified environment which helps streamlining the research process.\n\u003Cp align=\"center\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsebastianstarke_AI4Animation_readme_fcd4572a0e54.png\" width=\"75%\" alt=\"Framework Workflow\">\n\u003C\u002Fp>\nBelow are some examples generated in AI4AnimationPy which can be directly run from the demos folder and supposed to give an idea what can be done with the framework:\n\n| | |\n|---|---|\n| ![Locomotion Demo](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsebastianstarke_AI4Animation_readme_578b0e6fbe11.gif) | ![Quadruped Demo](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsebastianstarke_AI4Animation_readme_644d5736f8da.gif) |\n| **Stylized Biped Locomotion Controller** trained on style100 | **Quadruped Locomotion Controller** — Interactive dog locomotion with gait transitions and action poses |\n| ![Training Demo](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsebastianstarke_AI4Animation_readme_5de30be02099.gif) | ![ECS Demo](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsebastianstarke_AI4Animation_readme_7573aad3bed7.gif) |\n| **Future Motion Anticipation** with Interactive model training visualization | **ECS** — Entity hierarchy and component system |\n| ![IK Demo](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsebastianstarke_AI4Animation_readme_5a9b419f6a32.gif) | ![MocapImport Demo](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsebastianstarke_AI4Animation_readme_886c1bef2335.gif) |\n| **Inverse Kinematics** — Real-time IK solving | **Motion Capture Import** — GLB\u002FFBX\u002FBVH\u002FNPZ loading |\n| ![MotionEditor Demo](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsebastianstarke_AI4Animation_readme_c78cf8368a72.gif) | |\n| **Motion Editor** — animation browsing and feature visualization| |\n\n\u003Cdiv align=\"center\">\u003Ca href=\"https:\u002F\u002Fpaulstarke-ai4animationpy.hf.space\u002F\" style=\"display: inline-block; padding: 12px 24px; background-color: #0366d6; color: white; text-decoration: none; border-radius: 6px; font-weight: 600; margin-top: 20px;\">Play Web Demos\u003C\u002Fa> \u003Cbr> \u003Cbr>\n\n\u003Cp align=\"left\">\n    \u003Ca href=\"https:\u002F\u002Fyoutu.be\u002FLKl7MzFENUs\">\n    \u003Cimg  width=\"47%\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsebastianstarke_AI4Animation_readme_888ac53db403.png\">\n    \u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fyoutu.be\u002FqifmLpNzVzI?si=DmKrpsNhBO3vsCbW\">\n    \u003Cimg align=\"right\" width=\"47%\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsebastianstarke_AI4Animation_readme_a31e784b8ddf.png\">\n    \u003C\u002Fa>\n\u003C\u002Fp>\n\n------------\n**SIGGRAPH 2024**\u003Cbr \u002F>\n**Categorical Codebook Matching for Embodied Character Controllers**\u003Cbr >\n\u003Csub>\n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fsebastian-starke-b281a6148\u002F\">Sebastian Starke\u003C\u002Fa>, \n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fpaul-starke-0787211b4\u002F\">Paul Starke\u003C\u002Fa>, \n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fnicky-sijia-he-92240590\u002F\">Nicky He\u003C\u002Fa>, \n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Ftaku-komura-571b32b\u002F\">Taku Komura\u003C\u002Fa>,\n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fyuting-ye-77a75332\u002F\">Yuting Ye\u003C\u002Fa>, \nACM Trans. Graph. 43, 4, Article 142.\n\u003Csub>\n------------\n\u003Cimg src =\"Media\u002FSIGGRAPH_2024\u002FTeaser.png\" width=\"100%\">\n\n\n\u003Cp align=\"center\">\nTranslating motions from a real user onto a virtual embodied avatar is a key challenge for character animation in the metaverse. In this work, we present a novel generative framework that enables mapping from a set of sparse sensor signals to a full body avatar motion in real-time while faithfully preserving the motion context of the user. In contrast to existing techniques that require training a motion prior and its mapping from control to motion separately, our framework is able to learn the motion manifold as well as how to sample from it at the same time in an end-to-end manner. To achieve that, we introduce a technique called codebook matching which matches the probability distribution between two categorical codebooks for the inputs and outputs for synthesizing the character motions. We demonstrate this technique can successfully handle ambiguity in motion generation and produce high quality character controllers from unstructured motion capture data. Our method is especially useful for interactive applications like virtual reality or video games where high accuracy and responsiveness are needed.\n\u003C\u002Fp>\n\n\n\u003Cp align=\"center\" style=\"font-size:1.25em;\">\n-\n\u003Ca href=\"https:\u002F\u002Fyoutu.be\u002FNyLRcY0c0p4\">Video\u003C\u002Fa>\n-\n\u003Ca href=\"Media\u002FSIGGRAPH_2024\u002FPaper.pdf\">Paper\u003C\u002Fa>\n-\n\u003Ca href=\"https:\u002F\u002Fstarke-consult.de\u002FAI4Animation\u002FSIGGRAPH_2024\u002FCranberry_Dataset.zip\">Dataset\u003C\u002Fa>\n-\n\u003Ca href=\"AI4Animation\u002FSIGGRAPH_2024\u002F\">Code\u003C\u002Fa>\n-\n\u003Ca href=\"https:\u002F\u002Fstarke-consult.de\u002FAI4Animation\u002FSIGGRAPH_2024\u002FVR Demo.zip\">VR Demo\u003C\u002Fa>\n-\n\u003Ca href=\"https:\u002F\u002Fstarke-consult.de\u002FAI4Animation\u002FSIGGRAPH_2024\u002FDemo_Win.zip\">Windows Demo\u003C\u002Fa>\n-\n\u003Ca href=\"https:\u002F\u002Fstarke-consult.de\u002FAI4Animation\u002FSIGGRAPH_2024\u002FDemo_Mac.zip\">Mac Demo\u003C\u002Fa>\n-\n\u003Ca href=\"AI4Animation\u002FSIGGRAPH_2024\u002FReadMe.md\">ReadMe\u003C\u002Fa>\n-\n\u003C\u002Fp>\n\n\u003Cimg src =\"Media\u002FSIGGRAPH_2024\u002FArchitecture.png\">\n\n\nUnlike existing methods for kinematic character control that learn a direct mapping between inputs and outputs or utilize a motion prior that is trained on the motion data alone, our framework learns from both the inputs and outputs simultaneously to form a motion manifold that is informed about the control signals.\nTo learn such setup in a supervised manner, we propose a technique that we call Codebook Matching which enforces similarity\nbetween both latent probability distributions $Z_𝑋$ and $Z_𝑌$.\nIn the context of motion generation, instead of directly predicting the motions outputs from the control inputs, we only predict their probabilities for each of them to appear.\nBy introducing a matching loss between both categorical probability distributions, our codebook matching technique allows to substitute $Z_𝑌$ by $Z_𝑋$ during test time.\n\n```math\nTraining:\n\\begin{cases}\n    Y \\rightarrow Z_Y \\rightarrow Y\n    \\\\\n    X \\rightarrow Z_X\n    \\\\\n    Z_X \\sim Z_Y\n\\end{cases}\n\nInference: \nX \\rightarrow Z_X \\rightarrow Y\n```\n\nOur method is not limited to three-point inputs but we can also use it to generate embodied character movements with additional joystick or button controls by what we call hybrid control mode. In this setting, the user, engineer or artist can additionally tell the character where to go via a simple goal location while preserving the original context of motion from three-point tracking signals. This changes the scope of applications we can address by walking \u002F running \u002F crouching in the virtual world while standing or even sitting in the real world.\n\n\u003Cimg src =\"Media\u002FSIGGRAPH_2024\u002FCollection.png\">\n\nFurthermore, our codebook matching architecture shares many similarities with motion matching and is able to learn a similar structure in an end-to-end manner. While motion matching can bypass ambiguity in the mapping from control to motion by selecting among candidates with similar query distances, our setup selects possible outcomes from predicted probabilities and naturally projects against valid output motions if their probabilities are similar. However, in contrast to database searches, our codebook matching is able to effectively compress the motion data where same motions map to same codes, and can bypass ambiguity issues which existing learning-based methods such as standard feed-forward networks (MLP) or variational models (CVAE) may struggle with. We demonstrate such capabilities by reconstructing the ambiguous toy example functions in the figure below.\n\n\u003Cimg src =\"Media\u002FSIGGRAPH_2024\u002FToyExample.png\">\n\n\u003Cp align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fyoutu.be\u002FNyLRcY0c0p4\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsebastianstarke_AI4Animation_readme_064bec424ae5.png\", width=100%>\n    \u003C\u002Fa>\n\u003C\u002Fp>\n\n------------\n**SIGGRAPH 2022**\u003Cbr \u002F>\n**DeepPhase: Periodic Autoencoders for Learning Motion Phase Manifolds**\u003Cbr >\n\u003Csub>\n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fsebastian-starke-b281a6148\u002F\">Sebastian Starke\u003C\u002Fa>, \n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fian-mason-134197105\u002F\">Ian Mason\u003C\u002Fa>, \n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Ftaku-komura-571b32b\u002F\">Taku Komura\u003C\u002Fa>, \nACM Trans. Graph. 41, 4, Article 136.\n\u003Csub>\n------------\n\u003Cimg src =\"Media\u002FSIGGRAPH_2022\u002FTeaser.png\" width=\"100%\">\n\n\u003Cp align=\"center\">\nLearning the spatial-temporal structure of body movements is a fundamental problem for character motion synthesis. In this work, we propose a novel neural network architecture called the Periodic Autoencoder that can learn periodic features from large unstructured motion datasets in an unsupervised manner. The character movements are decomposed into multiple latent channels that capture the non-linear periodicity of different body segments while progressing forward in time. Our method extracts a multi-dimensional phase space from full-body motion data, which effectively clusters animations and produces a manifold in which computed feature distances provide a better similarity measure than in the original motion space to achieve better temporal and spatial alignment. We demonstrate that the learned periodic embedding can significantly help to improve neural motion synthesis in a number of tasks, including diverse locomotion skills, style-based movements, dance motion synthesis from music, synthesis of dribbling motions in football, and motion query for matching poses within large animation databases.\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n\u003Cimg src =\"Media\u002FSIGGRAPH_2022\u002FManifolds.png\" width=\"100%\">\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n-\n\u003Ca href=\"https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=YhH4PYEkVnY\">Video\u003C\u002Fa>\n-\n\u003Ca href=\"Media\u002FSIGGRAPH_2022\u002FPaper.pdf\">Paper\u003C\u002Fa>\n-\n\u003Ca href=\"AI4Animation\u002FSIGGRAPH_2022\u002FPyTorch\">PAE Code & Demo\u003C\u002Fa>\n-\n\u003Ca href=\"AI4Animation\u002FSIGGRAPH_2022\u002FUnity\">Animation Code & Demo\u003C\u002Fa>\n-\n\u003Ca href=\"https:\u002F\u002Fwww.ianxmason.com\u002Fposts\u002FPAE\u002F\">Explanation and Addendum\u003C\u002Fa>\n-\n\u003Ca href=\"https:\u002F\u002Fyoutu.be\u002F3ASGrxNDd0k\">Tutorial\u003C\u002Fa>\n-\n\u003C\u002Fp>\n\n\u003Cp align=\"left\">\n    \u003Ca href=\"https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=YhH4PYEkVnY\">\n    \u003Cimg  width=\"47%\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsebastianstarke_AI4Animation_readme_c906402145a5.png\">\n    \u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=3ASGrxNDd0k\">\n    \u003Cimg align=\"right\" width=\"47%\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsebastianstarke_AI4Animation_readme_d69504c48de9.png\">\n    \u003C\u002Fa>\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n-\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fpauzii\u002FPhaseBetweener\">Motion In-Betweening System\u003C\u002Fa>\n-\n\u003C\u002Fp>\n\u003Cimg src =\"https:\u002F\u002Fgithub.com\u002Fpauzii\u002FPhaseBetweener\u002Fraw\u002Fmain\u002FMedia\u002FTeaser.png\" width=\"100%\">\n\n------------\n**SIGGRAPH 2021**\u003Cbr \u002F>\n**Neural Animation Layering for Synthesizing Martial Arts Movements**\u003Cbr >\n\u003Csub>\n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fsebastian-starke-b281a6148\u002F\">Sebastian Starke\u003C\u002Fa>, \n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fevan-yiwei-zhao-18584a105\u002F\">Yiwei Zhao\u003C\u002Fa>, \n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Ffabio-zinno-1a77331\u002F\">Fabio Zinno\u003C\u002Fa>, \n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Ftaku-komura-571b32b\u002F\">Taku Komura\u003C\u002Fa>, \nACM Trans. Graph. 40, 4, Article 92.\n\u003Csub>\n------------\n\u003Cimg src =\"Media\u002FSIGGRAPH_2021\u002FTeaser.jpg\" width=\"100%\">\n\n\u003Cp align=\"center\">\n\u003Cimg src =\"Media\u002FSIGGRAPH_2021\u002FLayering.png\" width=\"80%\">\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\nInteractively synthesizing novel combinations and variations of character movements from different motion skills is a key problem in computer animation. In this research, we propose a deep learning framework to produce a large variety of martial arts movements in a controllable manner from raw motion capture data. Our method imitates animation layering using neural networks with the aim to overcome typical challenges when mixing, blending and editing movements from unaligned motion sources. The system can be used for offline and online motion generation alike, provides an intuitive interface to integrate with animator workflows, and is relevant for real-time applications such as computer games.\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n-\n\u003Ca href=\"https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=SkJNxLYNwN0\">Video\u003C\u002Fa>\n-\n\u003Ca href=\"Media\u002FSIGGRAPH_2021\u002FPaper.pdf\">Paper\u003C\u002Fa>\n-\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n\u003Ca href=\"https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=SkJNxLYNwN0\">\n\u003Cimg width=\"60%\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsebastianstarke_AI4Animation_readme_573314a42e89.jpg\">\n\u003C\u002Fa>\n\u003C\u002Fp>\n\n------------\n**SIGGRAPH 2020**\u003Cbr \u002F>\n**Local Motion Phases for Learning Multi-Contact Character Movements**\u003Cbr >\n\u003Csub>\n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fsebastian-starke-b281a6148\u002F\">Sebastian Starke\u003C\u002Fa>, \n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fevan-yiwei-zhao-18584a105\u002F\">Yiwei Zhao\u003C\u002Fa>, \n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Ftaku-komura-571b32b\u002F\">Taku Komura\u003C\u002Fa>, \n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fkazizaman\u002F\">Kazi Zaman\u003C\u002Fa>.\nACM Trans. Graph. 39, 4, Article 54.\n\u003Csub>\n------------\n\u003Cimg src =\"Media\u002FSIGGRAPH_2020\u002FTeaser.png\" width=\"100%\">\n\n\u003Cp align=\"center\">\nNot sure how to align complex character movements? Tired of phase labeling? Unclear how to squeeze everything into a single phase variable? Don't worry, a solution exists!\n\u003C\u002Fp>\n\u003Cp align=\"center\">\n\u003Cimg src =\"Media\u002FSIGGRAPH_2020\u002FCourt.jpg\" width=\"60%\">\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\nControlling characters to perform a large variety of dynamic, fast-paced and quickly changing movements is a key challenge in character animation. In this research, we present a deep \nlearning framework to interactively synthesize such animations in high quality, both from unstructured motion data and without any manual labeling. We introduce the concept of local \nmotion phases, and show our system being able to produce various motion skills, such as ball dribbling and professional maneuvers in basketball plays, shooting, catching, avoidance, \nmultiple locomotion modes as well as different character and object interactions, all generated under a unified framework.\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n-\n\u003Ca href=\"https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=Rzj3k3yerDk\">Video\u003C\u002Fa>\n-\n\u003Ca href=\"Media\u002FSIGGRAPH_2020\u002FPaper.pdf\">Paper\u003C\u002Fa>\n-\n\u003Ca href=\"AI4Animation\u002FSIGGRAPH_2020\">Code\u003C\u002Fa>\n-\n\u003Ca href=\"https:\u002F\u002Fstarke-consult.de\u002FAI4Animation\u002FSIGGRAPH_2020\u002FDemo_Windows.zip\">Windows Demo\u003C\u002Fa>\n-\n\u003Ca href=\"AI4Animation\u002FSIGGRAPH_2020\u002FReadMe.md\">ReadMe\u003C\u002Fa>\n-\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n\u003Ca href=\"https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=Rzj3k3yerDk\">\n\u003Cimg width=\"60%\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsebastianstarke_AI4Animation_readme_9237523e24d0.jpg\">\n\u003C\u002Fa>\n\u003C\u002Fp>\n\n------------\n**SIGGRAPH Asia 2019**\u003Cbr \u002F>\n**Neural State Machine for Character-Scene Interactions**\u003Cbr >\n\u003Csub>\n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fsebastian-starke-b281a6148\u002F\">Sebastian Starke\u003C\u002Fa>\u003Csup>+\u003C\u002Fsup>, \n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fhe-zhang-148467165\u002F\">He Zhang\u003C\u002Fa>\u003Csup>+\u003C\u002Fsup>, \n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Ftaku-komura-571b32b\u002F\">Taku Komura\u003C\u002Fa>, \n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fjun-saito\u002F\">Jun Saito\u003C\u002Fa>. \nACM Trans. Graph. 38, 6, Article 178.\n\u003C\u002Fsub>\u003Cbr \u002F>\u003Csub>\u003Csup>(+Joint First Authors)\u003C\u002Fsup>\n\u003Csub>\n------------\n\u003Cimg src =\"Media\u002FSIGGRAPH_Asia_2019\u002FTeaser.jpg\" width=\"100%\">\n\n\u003Cp align=\"center\">\nAnimating characters can be an easy or difficult task - interacting with objects is one of the latter.\nIn this research, we present the Neural State Machine, a data-driven deep learning framework for character-scene interactions. The difficulty in such animations is that they require complex planning of periodic as well as aperiodic movements to complete a given task. Creating them in a production-ready quality is not straightforward and often very time-consuming. Instead, our system can synthesize different movements and scene interactions from motion capture data, and allows the user to seamlessly control the character in real-time from simple control commands. Since our model directly learns from the geometry, the motions can naturally adapt to variations in the scene. We show that our system can generate a large variety of movements, icluding locomotion, sitting on chairs, carrying boxes, opening doors and avoiding obstacles, all from a single model. The model is responsive, compact and scalable, and is the first of such frameworks to handle scene interaction tasks for data-driven character animation.\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n-\n\u003Ca href=\"https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=7c6oQP1u2eQ\">Video\u003C\u002Fa>\n-\n\u003Ca href=\"Media\u002FSIGGRAPH_Asia_2019\u002FPaper.pdf\">Paper\u003C\u002Fa>\n-\n\u003Ca href=\"AI4Animation\u002FSIGGRAPH_Asia_2019\">Code & Demo\u003C\u002Fa>\n-\n\u003Ca href=\"https:\u002F\u002Fstarke-consult.de\u002FAI4Animation\u002FSIGGRAPH_Asia_2019\u002FMotionCapture.zip\">Mocap Data\u003C\u002Fa>\n-\n\u003Ca href=\"AI4Animation\u002FSIGGRAPH_Asia_2019\u002FReadMe.md\">ReadMe\u003C\u002Fa>\n-\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n\u003Ca href=\"https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=7c6oQP1u2eQ\">\n\u003Cimg width=\"60%\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsebastianstarke_AI4Animation_readme_f6190b84fce8.jpg\">\n\u003C\u002Fa>\n\u003C\u002Fp>\n\n------------\n**SIGGRAPH 2018**\u003Cbr \u002F>\n**Mode-Adaptive Neural Networks for Quadruped Motion Control**\u003Cbr >\n\u003Csub>\n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fhe-zhang-148467165\u002F\">He Zhang\u003C\u002Fa>\u003Csup>+\u003C\u002Fsup>, \n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fsebastian-starke-b281a6148\u002F\">Sebastian Starke\u003C\u002Fa>\u003Csup>+\u003C\u002Fsup>, \n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Ftaku-komura-571b32b\u002F\">Taku Komura\u003C\u002Fa>, \n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fjun-saito\u002F\">Jun Saito\u003C\u002Fa>. \nACM Trans. Graph. 37, 4, Article 145.\n\u003C\u002Fsub>\u003Cbr \u002F>\u003Csub>\u003Csup>(+Joint First Authors)\u003C\u002Fsup>\n\u003Csub>\n------------\n\u003Cimg src =\"Media\u002FSIGGRAPH_2018\u002FTeaser.png\" width=\"100%\">\n\n\u003Cp align=\"center\">\nAnimating characters can be a pain, especially those four-legged monsters!\nThis year, we will be presenting our recent research on quadruped animation and character control at the SIGGRAPH 2018 in Vancouver. The system can produce natural animations from real motion data using a novel neural network architecture, called Mode-Adaptive Neural Networks. Instead of optimising a fixed group of weights, the system learns to dynamically blend a group of weights into a further neural network, based on the current state of the character. That said, the system does not require labels for the phase or locomotion gaits, but can learn from unstructured motion capture data in an end-to-end fashion.\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n-\n\u003Ca href=\"https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=uFJvRYtjQ4c\">Video\u003C\u002Fa>\n-\n\u003Ca href=\"Media\u002FSIGGRAPH_2018\u002FPaper.pdf\">Paper\u003C\u002Fa>\n-\n\u003Ca href=\"AI4Animation\u002FSIGGRAPH_2018\">Code\u003C\u002Fa>\n-\n\u003Ca href=\"https:\u002F\u002Fstarke-consult.de\u002FAI4Animation\u002FSIGGRAPH_2018\u002FMotionCapture.zip\">Mocap Data\u003C\u002Fa>\n-\n\u003Ca href=\"https:\u002F\u002Fstarke-consult.de\u002FAI4Animation\u002FSIGGRAPH_2018\u002FDemo_Windows.zip\">Windows Demo\u003C\u002Fa>\n-\n\u003Ca href=\"https:\u002F\u002Fstarke-consult.de\u002FAI4Animation\u002FSIGGRAPH_2018\u002FDemo_Linux.zip\">Linux Demo\u003C\u002Fa>\n-\n\u003Ca href=\"https:\u002F\u002Fstarke-consult.de\u002FAI4Animation\u002FSIGGRAPH_2018\u002FDemo_Mac.zip\">Mac Demo\u003C\u002Fa>\n-\n\u003Ca href=\"AI4Animation\u002FSIGGRAPH_2018\u002FReadMe.md\">ReadMe\u003C\u002Fa>\n-\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n\u003Ca href=\"https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=uFJvRYtjQ4c\">\n\u003Cimg width=\"60%\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsebastianstarke_AI4Animation_readme_aa27a38b879c.png\">\n\u003C\u002Fa>\n\u003C\u002Fp>\n\n\n\u003Cp align=\"center\">\n-\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fpauzii\u002FAnimationAuthoring\">Animation Authoring Tool\u003C\u002Fa>\n-\n\u003C\u002Fp>\n\u003Cimg src =\"https:\u002F\u002Fgithub.com\u002Fpauzii\u002FAnimationAuthoring\u002Fraw\u002Fmain\u002FMedia\u002FTeaser.png\" width=\"100%\">\n\n------------\n**SIGGRAPH 2017**\u003Cbr \u002F>\n**Phase-Functioned Neural Networks for Character Control**\u003Cbr >\n\u003Csub>\n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fdaniel-holden-300b871b\u002F\">Daniel Holden\u003C\u002Fa>,\n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Ftaku-komura-571b32b\u002F\">Taku Komura\u003C\u002Fa>, \n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fjun-saito\u002F\">Jun Saito\u003C\u002Fa>. \nACM Trans. Graph. 36, 4, Article 42.\n\u003C\u002Fsub>\n------------\n\u003Cimg src =\"Media\u002FSIGGRAPH_2017\u002FAdam.png\" width=\"100%\">\n\n\u003Cp align=\"center\">\nThis work continues the recent work on PFNN (Phase-Functioned Neural Networks) for character control.\nA demo in Unity3D using the original weights for terrain-adaptive locomotion is contained in the Assets\u002FDemo\u002FSIGGRAPH_2017\u002FOriginal folder.\nAnother demo on flat ground using the Adam character is contained in the Assets\u002FDemo\u002FSIGGRAPH_2017\u002FAdam folder.\nIn order to run them, you need to download the neural network weights from the link provided in the Link.txt file, extract them into the \u002FNN folder, \nand store the parameters via the custom inspector button.\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n-\n\u003Ca href=\"https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=Ul0Gilv5wvY\">Video\u003C\u002Fa>\n-\n\u003Ca href=\"http:\u002F\u002Ftheorangeduck.com\u002Fmedia\u002Fuploads\u002Fother_stuff\u002Fphasefunction.pdf\">Paper\u003C\u002Fa>\n-\n\u003Ca href=\"AI4Animation\u002FSIGGRAPH_2017\">Code (Unity)\u003C\u002Fa>\n-\n\u003Ca href=\"https:\u002F\u002Fstarke-consult.de\u002FAI4Animation\u002FSIGGRAPH_2017\u002FDemo_Windows.zip\">Windows Demo\u003C\u002Fa>\n-\n\u003Ca href=\"https:\u002F\u002Fstarke-consult.de\u002FAI4Animation\u002FSIGGRAPH_2017\u002FDemo_Linux.zip\">Linux Demo\u003C\u002Fa>\n-\n\u003Ca href=\"https:\u002F\u002Fstarke-consult.de\u002FAI4Animation\u002FSIGGRAPH_2017\u002FDemo_Mac.zip\">Mac Demo\u003C\u002Fa>\n-\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n\u003Ca href=\"https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=Ul0Gilv5wvY\">\n\u003Cimg width=\"60%\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsebastianstarke_AI4Animation_readme_28eb5b267336.jpg\">\n\u003C\u002Fa>\n\u003C\u002Fp>\n\n------------\n\nThesis Fast Forward Presentation from SIGGRAPH 2020\n============\n\u003Cp align=\"center\">\n\u003Ca href=\"https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=wNqpSk4FhSw\">\n\u003Cimg width=\"100%\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsebastianstarke_AI4Animation_readme_f85f45ddc030.jpg\">\n\u003C\u002Fa>\n\u003C\u002Fp>\n\nCopyright Information\n============\nThis project is only for research or education purposes, and not freely available for commercial use or redistribution. The motion capture data is available only under the terms of the [Attribution-NonCommercial 4.0 International](https:\u002F\u002Fcreativecommons.org\u002Flicenses\u002Fby-nc\u002F4.0\u002Flegalcode) (CC BY-NC 4.0) license.\n","AI4Animation：用于角色控制的深度学习\n============\n\n本仓库探索了深度学习在角色动画和控制领域的应用机会。它旨在成为一个全面的数据驱动角色动画框架，涵盖数据处理、神经网络训练和运行时控制。以下各个项目展示了利用神经网络实现双足行走、四足行走以及角色与场景中物体和环境交互的能力，还包括体育和格斗游戏，以及AR\u002FVR中的具身化虚拟形象动作。未来关于该研究的更多进展将继续添加到此项目中。\n\n------------\n**2026年——Python重制版（AI4AnimationPy）**\u003Cbr \u002F>\n**[查看仓库  →](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fai4animationpy)**\u003Cbr >\n\u003Csub>\n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fpaul-starke-0787211b4\u002F\">保罗·斯塔克\u003C\u002Fa>, \n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fsebastian-starke-b281a6148\u002F\">塞巴斯蒂安·斯塔克\u003C\u002Fa>\n\u003Csub>\n------------\n\n这一版本将AI4Animation移植到Python中——去除了Unity在数据处理、特征提取、推理和后处理方面的依赖，同时保留了类似游戏引擎风格的架构（ECS、更新循环、渲染管线）。所有操作均基于NumPy或PyTorch，因此训练、推理和可视化可以在一个统一的环境中完成，从而简化研究流程。\n\u003Cp align=\"center\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsebastianstarke_AI4Animation_readme_fcd4572a0e54.png\" width=\"75%\" alt=\"框架工作流\">\n\u003C\u002Fp>\n以下是AI4AnimationPy生成的一些示例，可以直接从demos文件夹运行，以帮助理解该框架的功能：\n\n| | |\n|---|---|\n| ![行走演示](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsebastianstarke_AI4Animation_readme_578b0e6fbe11.gif) | ![四足演示](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsebastianstarke_AI4Animation_readme_644d5736f8da.gif) |\n| **风格化双足行走控制器**，基于style100数据集训练 | **四足行走控制器**——可交互的狗狗行走，支持步态切换和动作姿态 |\n| ![训练演示](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsebastianstarke_AI4Animation_readme_5de30be02099.gif) | ![ECS演示](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsebastianstarke_AI4Animation_readme_7573aad3bed7.gif) |\n| **未来运动预测**，附带交互式模型训练可视化 | **ECS**——实体层次结构与组件系统 |\n| ![逆向运动学演示](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsebastianstarke_AI4Animation_readme_5a9b419f6a32.gif) | ![动作捕捉导入演示](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsebastianstarke_AI4Animation_readme_886c1bef2335.gif) |\n| **逆向运动学**——实时IK求解 | **动作捕捉导入**——支持GLB\u002FFBX\u002FBVH\u002FNPZ等格式加载 |\n| ![动作编辑器演示](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsebastianstarke_AI4Animation_readme_c78cf8368a72.gif) | |\n| **动作编辑器**——动画浏览与特征可视化| |\n\n\u003Cdiv align=\"center\">\u003Ca href=\"https:\u002F\u002Fpaulstarke-ai4animationpy.hf.space\u002F\" style=\"display: inline-block; padding: 12px 24px; background-color: #0366d6; color: white; text-decoration: none; border-radius: 6px; font-weight: 600; margin-top: 20px;\">体验网页演示\u003C\u002Fa> \u003Cbr> \u003Cbr>\n\n\u003Cp align=\"left\">\n    \u003Ca href=\"https:\u002F\u002Fyoutu.be\u002FLKl7MzFENUs\">\n    \u003Cimg  width=\"47%\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsebastianstarke_AI4Animation_readme_888ac53db403.png\">\n    \u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fyoutu.be\u002FqifmLpNzVzI?si=DmKrpsNhBO3vsCbW\">\n    \u003Cimg align=\"right\" width=\"47%\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsebastianstarke_AI4Animation_readme_a31e784b8ddf.png\">\n    \u003C\u002Fa>\n\u003C\u002Fp>\n\n------------\n**SIGGRAPH 2024**\u003Cbr \u002F>\n**面向具身化角色控制器的分类码本匹配**\u003Cbr >\n\u003Csub>\n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fsebastian-starke-b281a6148\u002F\">塞巴斯蒂安·斯塔克\u003C\u002Fa>, \n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fpaul-starke-0787211b4\u002F\">保罗·斯塔克\u003C\u002Fa>, \n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fnicky-sijia-he-92240590\u002F\">妮琪·何\u003C\u002Fa>, \n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Ftaku-komura-571b32b\u002F\">拓夫·小村\u003C\u002Fa>,\n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fyuting-ye-77a75332\u002F\">于婷·叶\u003C\u002Fa>, \nACM Trans. Graph. 43, 4, Article 142.\n\u003Csub>\n------------\n\u003Cimg src =\"Media\u002FSIGGRAPH_2024\u002FTeaser.png\" width=\"100%\">\n\n\n\u003Cp align=\"center\">\n将真实用户的动作迁移到虚拟具身化化身是元宇宙中角色动画面临的关键挑战。在本工作中，我们提出了一种新颖的生成式框架，能够在实时条件下将一组稀疏的传感器信号映射为全身化身的动作，同时忠实地保留用户动作的上下文信息。与现有技术需要分别训练运动先验及其从控制信号到动作的映射不同，我们的框架能够以端到端的方式同时学习运动流形以及如何从中采样。为此，我们引入了一种称为“码本匹配”的技术，通过匹配输入和输出两个分类码本之间的概率分布来合成角色动作。我们证明了该技术可以成功处理动作生成中的歧义，并能从非结构化的动作捕捉数据中生成高质量的角色控制器。我们的方法尤其适用于虚拟现实或视频游戏等需要高精度和快速响应的交互式应用。\n\u003C\u002Fp>\n\n\n\u003Cp align=\"center\" style=\"font-size:1.25em;\">\n-\n\u003Ca href=\"https:\u002F\u002Fyoutu.be\u002FNyLRcY0c0p4\">视频\u003C\u002Fa>\n-\n\u003Ca href=\"Media\u002FSIGGRAPH_2024\u002FPaper.pdf\">论文\u003C\u002Fa>\n-\n\u003Ca href=\"https:\u002F\u002Fstarke-consult.de\u002FAI4Animation\u002FSIGGRAPH_2024\u002FCranberry_Dataset.zip\">数据集\u003C\u002Fa>\n-\n\u003Ca href=\"AI4Animation\u002FSIGGRAPH_2024\u002F\">代码\u003C\u002Fa>\n-\n\u003Ca href=\"https:\u002F\u002Fstarke-consult.de\u002FAI4Animation\u002FSIGGRAPH_2024\u002FVR Demo.zip\">VR演示\u003C\u002Fa>\n-\n\u003Ca href=\"https:\u002F\u002Fstarke-consult.de\u002FAI4Animation\u002FSIGGRAPH_2024\u002FDemo_Win.zip\">Windows演示\u003C\u002Fa>\n-\n\u003Ca href=\"https:\u002F\u002Fstarke-consult.de\u002FAI4Animation\u002FSIGGRAPH_2024\u002FDemo_Mac.zip\">Mac演示\u003C\u002Fa>\n-\n\u003Ca href=\"AI4Animation\u002FSIGGRAPH_2024\u002FReadMe.md\">使用说明\u003C\u002Fa>\n-\n\u003C\u002Fp>\n\n\u003Cimg src =\"Media\u002FSIGGRAPH_2024\u002FArchitecture.png\">\n\n\n与现有的基于运动学的角色控制方法不同——那些方法要么直接学习输入与输出之间的映射，要么仅利用基于运动数据单独训练的运动先验——我们的框架同时从输入和输出中学习，从而形成一个受控制信号指导的运动流形。\n为了以监督方式实现这种设置，我们提出了一种名为“码本匹配”的技术，该技术强制使两个潜在概率分布$Z_X$和$Z_Y$保持相似性。\n在动作生成的背景下，我们不是直接根据控制输入预测动作输出，而是仅预测每种可能输出出现的概率。\n通过在两个分类概率分布之间引入匹配损失，我们的码本匹配技术允许在测试时用$Z_X$替代$Z_Y$。\n\n```math\n训练：\n\\begin{cases}\n    Y \\rightarrow Z_Y \\rightarrow Y\n    \\\\\n    X \\rightarrow Z_X\n    \\\\\n    Z_X \\sim Z_Y\n\\end{cases}\n\n推理： \nX \\rightarrow Z_X \\rightarrow Y\n```\n\n我们的方法不仅限于三点输入，还可以通过我们称为混合控制模式的方式，结合操纵杆或按钮等额外控制手段，生成具身化角色的动作。在这种设置下，用户、工程师或艺术家可以通过简单的目标位置指示角色的移动方向，同时保留来自三点追踪信号的原始运动上下文。这样一来，我们在虚拟世界中实现行走、跑步、蹲伏等动作时，无需在现实世界中做出相应的身体姿态，甚至可以在站立或坐着的状态下完成这些操作。\n\n\u003Cimg src =\"Media\u002FSIGGRAPH_2024\u002FCollection.png\">\n\n此外，我们的码本匹配架构与运动匹配技术有许多相似之处，并且能够以端到端的方式学习类似的结构。运动匹配通过从查询距离相近的候选动作中进行选择来避免控制到运动映射中的歧义问题，而我们的方案则是根据预测的概率来选取可能的结果，当不同结果的概率相近时，自然会倾向于选择合法的动作输出。然而，与基于数据库的搜索不同，我们的码本匹配能够有效地压缩运动数据，使得相同的动作映射到相同的编码，从而避免了现有基于学习的方法（如标准前馈神经网络或变分模型）可能遇到的歧义问题。我们通过重构下图中的歧义玩具示例函数来展示这一能力。\n\n\u003Cimg src =\"Media\u002FSIGGRAPH_2024\u002FToyExample.png\">\n\n\u003Cp align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fyoutu.be\u002FNyLRcY0c0p4\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsebastianstarke_AI4Animation_readme_064bec424ae5.png\", width=100%>\n    \u003C\u002Fa>\n\u003C\u002Fp>\n\n------------\n**SIGGRAPH 2022**\u003Cbr \u002F>\n**DeepPhase：用于学习运动相位流形的周期性自编码器**\u003Cbr >\n\u003Csub>\n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fsebastian-starke-b281a6148\u002F\">塞巴斯蒂安·施塔克\u003C\u002Fa>, \n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fian-mason-134197105\u002F\">伊恩·梅森\u003C\u002Fa>, \n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Ftaku-komura-571b32b\u002F\">小村拓\u003C\u002Fa>, \nACM Trans. Graph. 41, 4, Article 136。\n\u003Csub>\n------------\n\u003Cimg src =\"Media\u002FSIGGRAPH_2022\u002FTeaser.png\" width=\"100%\">\n\n\u003Cp align=\"center\">\n学习人体运动的时空结构是角色动画合成中的一个基本问题。在本工作中，我们提出了一种名为周期性自编码器的新颖神经网络架构，能够以无监督的方式从大规模非结构化运动数据集中学习周期性特征。该方法将角色动作分解为多个潜在通道，这些通道捕捉了身体不同部位随时间推进的非线性周期性特征。我们的方法从全身运动数据中提取出多维相空间，有效地对动画进行聚类，并生成一个流形，在其中计算得到的特征距离比原始运动空间中的距离更能准确地衡量相似性，从而实现更好的时空对齐。我们证明了所学到的周期性嵌入可以显著提升多种任务中的神经网络运动合成效果，包括多样化的运动技能、基于风格的动作、根据音乐合成舞蹈动作、足球运球动作的合成，以及在大型动画数据库中进行姿势匹配的运动查询。\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n\u003Cimg src =\"Media\u002FSIGGRAPH_2022\u002FManifolds.png\" width=\"100%\">\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n-\n\u003Ca href=\"https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=YhH4PYEkVnY\">视频\u003C\u002Fa>\n-\n\u003Ca href=\"Media\u002FSIGGRAPH_2022\u002FPaper.pdf\">论文\u003C\u002Fa>\n-\n\u003Ca href=\"AI4Animation\u002FSIGGRAPH_2022\u002FPyTorch\">PAE代码及演示\u003C\u002Fa>\n-\n\u003Ca href=\"AI4Animation\u002FSIGGRAPH_2022\u002FUnity\">动画代码及演示\u003C\u002Fa>\n-\n\u003Ca href=\"https:\u002F\u002Fwww.ianxmason.com\u002Fposts\u002FPAE\u002F\">解释与补充\u003C\u002Fa>\n-\n\u003Ca href=\"https:\u002F\u002Fyoutu.be\u002F3ASGrxNDd0k\">教程\u003C\u002Fa>\n-\n\u003C\u002Fp>\n\n\u003Cp align=\"left\">\n    \u003Ca href=\"https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=YhH4PYEkVnY\">\n    \u003Cimg  width=\"47%\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsebastianstarke_AI4Animation_readme_c906402145a5.png\">\n    \u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=3ASGrxNDd0k\">\n    \u003Cimg align=\"right\" width=\"47%\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsebastianstarke_AI4Animation_readme_d69504c48de9.png\">\n    \u003C\u002Fa>\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n-\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fpauzii\u002FPhaseBetweener\">运动中间帧生成系统\u003C\u002Fa>\n-\n\u003C\u002Fp>\n\u003Cimg src =\"https:\u002F\u002Fgithub.com\u002Fpauzii\u002FPhaseBetweener\u002Fraw\u002Fmain\u002FMedia\u002FTeaser.png\" width=\"100%\">\n\n------------\n**SIGGRAPH 2021**\u003Cbr \u002F>\n**用于合成武术动作的神经网络动画分层**\u003Cbr >\n\u003Csub>\n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fsebastian-starke-b281a6148\u002F\">塞巴斯蒂安·施塔克\u003C\u002Fa>, \n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fevan-yiwei-zhao-18584a105\u002F\">赵一伟\u003C\u002Fa>, \n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Ffabio-zinno-1a77331\u002F\">法比奥·津诺\u003C\u002Fa>, \n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Ftaku-komura-571b32b\u002F\">小村拓\u003C\u002Fa>, \nACM Trans. Graph. 40, 4, Article 92。\n\u003Csub>\n------------\n\u003Cimg src =\"Media\u002FSIGGRAPH_2021\u002FTeaser.jpg\" width=\"100%\">\n\n\u003Cp align=\"center\">\n\u003Cimg src =\"Media\u002FSIGGRAPH_2021\u002FLayering.png\" width=\"80%\">\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n交互式地从不同的运动技能中合成新颖的角色动作组合和变体，是计算机动画领域的一个关键问题。在这项研究中，我们提出了一套深度学习框架，能够从原始动作捕捉数据中可控地生成各种武术动作。我们的方法利用神经网络模拟动画分层技术，旨在克服在混合、融合和编辑来自不一致来源的动作时常见的挑战。该系统既可用于离线也可用于在线运动生成，提供了一个直观的界面，便于与动画师的工作流程集成，并且适用于计算机游戏等实时应用。\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n-\n\u003Ca href=\"https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=SkJNxLYNwN0\">视频\u003C\u002Fa>\n-\n\u003Ca href=\"Media\u002FSIGGRAPH_2021\u002FPaper.pdf\">论文\u003C\u002Fa>\n-\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n\u003Ca href=\"https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=SkJNxLYNwN0\">\n\u003Cimg width=\"60%\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsebastianstarke_AI4Animation_readme_573314a42e89.jpg\">\n\u003C\u002Fa>\n\u003C\u002Fp>\n\n------------\n**SIGGRAPH 2020**\u003Cbr \u002F>\n**用于学习多接触角色动作的局部运动相位**\u003Cbr >\n\u003Csub>\n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fsebastian-starke-b281a6148\u002F\">塞巴斯蒂安·施塔克\u003C\u002Fa>, \n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fevan-yiwei-zhao-18584a105\u002F\">赵一伟\u003C\u002Fa>, \n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Ftaku-komura-571b32b\u002F\">小村拓\u003C\u002Fa>, \n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fkazizaman\u002F\">卡济·扎曼\u003C\u002Fa>。\nACM Trans. Graph. 39, 4, Article 54。\n\u003Csub>\n------------\n\u003Cimg src =\"Media\u002FSIGGRAPH_2020\u002FTeaser.png\" width=\"100%\">\n\n\u003Cp align=\"center\">\n不知道如何对复杂角色动作进行对齐？厌倦了手动标注相位？又不清楚该如何把所有内容塞进一个单一的相位变量中？别担心，解决方案就在这里！\n\u003C\u002Fp>\n\u003Cp align=\"center\">\n\u003Cimg src =\"Media\u002FSIGGRAPH_2020\u002FCourt.jpg\" width=\"60%\">\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n控制角色执行种类繁多、动态性强、节奏快且变化迅速的动作，是角色动画中的关键挑战。在本研究中，我们提出了一种深度学习框架，能够以高质量交互式地合成此类动画，既可以从非结构化的运动数据中生成，又无需任何手动标注。我们引入了局部运动相位的概念，并展示了我们的系统能够生成多种运动技能，例如篮球运球和专业动作、投篮、接球、躲避、多种移动方式以及不同角色与物体的交互，所有这些都在一个统一的框架下完成。\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n-\n\u003Ca href=\"https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=Rzj3k3yerDk\">视频\u003C\u002Fa>\n-\n\u003Ca href=\"Media\u002FSIGGRAPH_2020\u002FPaper.pdf\">论文\u003C\u002Fa>\n-\n\u003Ca href=\"AI4Animation\u002FSIGGRAPH_2020\">代码\u003C\u002Fa>\n-\n\u003Ca href=\"https:\u002F\u002Fstarke-consult.de\u002FAI4Animation\u002FSIGGRAPH_2020\u002FDemo_Windows.zip\">Windows演示\u003C\u002Fa>\n-\n\u003Ca href=\"AI4Animation\u002FSIGGRAPH_2020\u002FReadMe.md\">使用说明\u003C\u002Fa>\n-\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n\u003Ca href=\"https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=Rzj3k3yerDk\">\n\u003Cimg width=\"60%\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsebastianstarke_AI4Animation_readme_9237523e24d0.jpg\">\n\u003C\u002Fa>\n\u003C\u002Fp>\n\n------------\n**SIGGRAPH Asia 2019**\u003Cbr \u002F>\n**用于角色与场景交互的神经状态机**\u003Cbr >\n\u003Csub>\n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fsebastian-starke-b281a6148\u002F\">Sebastian Starke\u003C\u002Fa>\u003Csup>+\u003C\u002Fsup>, \n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fhe-zhang-148467165\u002F\">He Zhang\u003C\u002Fa>\u003Csup>+\u003C\u002Fsup>, \n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Ftaku-komura-571b32b\u002F\">Taku Komura\u003C\u002Fa>, \n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fjun-saito\u002F\">Jun Saito\u003C\u002Fa>. \nACM Trans. Graph. 38, 6, Article 178.\n\u003C\u002Fsub>\u003Cbr \u002F>\u003Csub>\u003Csup>(+共同第一作者)\u003C\u002Fsup>\n\u003Csub>\n------------\n\u003Cimg src =\"Media\u002FSIGGRAPH_Asia_2019\u002FTeaser.jpg\" width=\"100%\">\n\n\u003Cp align=\"center\">\n为角色制作动画可能既简单又复杂，而与物体的交互则属于后者。在本次研究中，我们提出了神经状态机这一数据驱动的深度学习框架，用于处理角色与场景的交互。这类动画的难点在于，它们需要对周期性和非周期性运动进行复杂的规划，才能完成特定任务。以生产级质量实现这些动画并不容易，通常非常耗时。相比之下，我们的系统能够从动作捕捉数据中合成不同的运动和场景交互，并允许用户通过简单的控制指令实时无缝地操控角色。由于我们的模型直接从几何体中学习，因此运动可以自然适应场景的变化。我们证明了该系统能够从单一模型中生成多种运动，包括行走、坐在椅子上、搬运箱子、开门以及避开障碍物等。该模型响应迅速、体积小巧且可扩展，是首个能够处理数据驱动角色动画中场景交互任务的框架。\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n-\n\u003Ca href=\"https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=7c6oQP1u2eQ\">视频\u003C\u002Fa>\n-\n\u003Ca href=\"Media\u002FSIGGRAPH_Asia_2019\u002FPaper.pdf\">论文\u003C\u002Fa>\n-\n\u003Ca href=\"AI4Animation\u002FSIGGRAPH_Asia_2019\">代码与演示\u003C\u002Fa>\n-\n\u003Ca href=\"https:\u002F\u002Fstarke-consult.de\u002FAI4Animation\u002FSIGGRAPH_Asia_2019\u002FMotionCapture.zip\">动捕数据\u003C\u002Fa>\n-\n\u003Ca href=\"AI4Animation\u002FSIGGRAPH_Asia_2019\u002FReadMe.md\">使用说明\u003C\u002Fa>\n-\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n\u003Ca href=\"https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=7c6oQP1u2eQ\">\n\u003Cimg width=\"60%\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsebastianstarke_AI4Animation_readme_f6190b84fce8.jpg\">\n\u003C\u002Fa>\n\u003C\u002Fp>\n\n------------\n**SIGGRAPH 2018**\u003Cbr \u002F>\n**用于四足动物运动控制的模式自适应神经网络**\u003Cbr >\n\u003Csub>\n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fhe-zhang-148467165\u002F\">He Zhang\u003C\u002Fa>\u003Csup>+\u003C\u002Fsup>, \n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fsebastian-starke-b281a6148\u002F\">Sebastian Starke\u003C\u002Fa>\u003Csup>+\u003C\u002Fsup>, \n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Ftaku-komura-571b32b\u002F\">Taku Komura\u003C\u002Fa>, \n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fjun-saito\u002F\">Jun Saito\u003C\u002Fa>. \nACM Trans. Graph. 37, 4, Article 145.\n\u003C\u002Fsub>\u003Cbr \u002F>\u003Csub>\u003Csup>(+共同第一作者)\u003C\u002Fsup>\n\u003Csub>\n------------\n\u003Cimg src =\"Media\u002FSIGGRAPH_2018\u002FTeaser.png\" width=\"100%\">\n\n\u003Cp align=\"center\">\n为角色制作动画有时真的很麻烦，尤其是那些四足怪物！今年，我们将在温哥华举行的SIGGRAPH 2018上展示我们在四足动物动画和角色控制方面的最新研究成果。该系统利用一种名为模式自适应神经网络的新颖神经网络架构，可以从真实的运动数据中生成自然的动画。与优化一组固定的权重不同，该系统会根据角色的当前状态，动态地将一组权重混合到另一个神经网络中。值得一提的是，该系统不需要为运动阶段或步态提供标签，而是能够以端到端的方式从非结构化动作捕捉数据中学习。\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n-\n\u003Ca href=\"https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=uFJvRYtjQ4c\">视频\u003C\u002Fa>\n-\n\u003Ca href=\"Media\u002FSIGGRAPH_2018\u002FPaper.pdf\">论文\u003C\u002Fa>\n-\n\u003Ca href=\"AI4Animation\u002FSIGGRAPH_2018\">代码\u003C\u002Fa>\n-\n\u003Ca href=\"https:\u002F\u002Fstarke-consult.de\u002FAI4Animation\u002FSIGGRAPH_2018\u002FMotionCapture.zip\">动捕数据\u003C\u002Fa>\n-\n\u003Ca href=\"https:\u002F\u002Fstarke-consult.de\u002FAI4Animation\u002FSIGGRAPH_2018\u002FDemo_Windows.zip\">Windows演示\u003C\u002Fa>\n-\n\u003Ca href=\"https:\u002F\u002Fstarke-consult.de\u002FAI4Animation\u002FSIGGRAPH_2018\u002FDemo_Linux.zip\">Linux演示\u003C\u002Fa>\n-\n\u003Ca href=\"https:\u002F\u002Fstarke-consult.de\u002FAI4Animation\u002FSIGGRAPH_2018\u002FDemo_Mac.zip\">Mac演示\u003C\u002Fa>\n-\n\u003Ca href=\"AI4Animation\u002FSIGGRAPH_2018\u002FReadMe.md\">使用说明\u003C\u002Fa>\n-\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n\u003Ca href=\"https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=uFJvRYtjQ4c\">\n\u003Cimg width=\"60%\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsebastianstarke_AI4Animation_readme_aa27a38b879c.png\">\n\u003C\u002Fa>\n\u003C\u002Fp>\n\n\n\u003Cp align=\"center\">\n-\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fpauzii\u002FAnimationAuthoring\">动画创作工具\u003C\u002Fa>\n-\n\u003C\u002Fp>\n\u003Cimg src =\"https:\u002F\u002Fgithub.com\u002Fpauzii\u002FAnimationAuthoring\u002Fraw\u002Fmain\u002FMedia\u002FTeaser.png\" width=\"100%\">\n\n------------\n**SIGGRAPH 2017**\u003Cbr \u002F>\n**用于角色控制的相位函数神经网络**\u003Cbr >\n\u003Csub>\n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fdaniel-holden-300b871b\u002F\">Daniel Holden\u003C\u002Fa>,\n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Ftaku-komura-571b32b\u002F\">Taku Komura\u003C\u002Fa>, \n\u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fjun-saito\u002F\">Jun Saito\u003C\u002Fa>. \nACM Trans. Graph. 36, 4, Article 42.\n\u003C\u002Fsub>\n------------\n\u003Cimg src =\"Media\u002FSIGGRAPH_2017\u002FAdam.png\" width=\"100%\">\n\n\u003Cp align=\"center\">\n这项工作延续了近期关于PFNN（相位函数神经网络）在角色控制方面的研究。\n其中，Assets\u002FDemo\u002FSIGGRAPH_2017\u002FOriginal文件夹内包含了一个使用原始权重实现地形自适应行走的Unity3D演示；而Assets\u002FDemo\u002FSIGGRAPH_2017\u002FAdam文件夹内则有一个基于平坦地面、使用Adam角色的演示。要运行这些演示，您需要从Link.txt文件中提供的链接下载神经网络权重，将其解压到\u002FNN文件夹中，并通过自定义检视器按钮保存参数。\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n-\n\u003Ca href=\"https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=Ul0Gilv5wvY\">视频\u003C\u002Fa>\n-\n\u003Ca href=\"http:\u002F\u002Ftheorangeduck.com\u002Fmedia\u002Fuploads\u002Fother_stuff\u002Fphasefunction.pdf\">论文\u003C\u002Fa>\n-\n\u003Ca href=\"AI4Animation\u002FSIGGRAPH_2017\">代码（Unity）\u003C\u002Fa>\n-\n\u003Ca href=\"https:\u002F\u002Fstarke-consult.de\u002FAI4Animation\u002FSIGGRAPH_2017\u002FDemo_Windows.zip\">Windows 演示\u003C\u002Fa>\n-\n\u003Ca href=\"https:\u002F\u002Fstarke-consult.de\u002FAI4Animation\u002FSIGGRAPH_2017\u002FDemo_Linux.zip\">Linux 演示\u003C\u002Fa>\n-\n\u003Ca href=\"https:\u002F\u002Fstarke-consult.de\u002FAI4Animation\u002FSIGGRAPH_2017\u002FDemo_Mac.zip\">Mac 演示\u003C\u002Fa>\n-\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n\u003Ca href=\"https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=Ul0Gilv5wvY\">\n\u003Cimg width=\"60%\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsebastianstarke_AI4Animation_readme_28eb5b267336.jpg\">\n\u003C\u002Fa>\n\u003C\u002Fp>\n\n------------\n\nSIGGRAPH 2020 论文速览演示\n============\n\u003Cp align=\"center\">\n\u003Ca href=\"https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=wNqpSk4FhSw\">\n\u003Cimg width=\"100%\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsebastianstarke_AI4Animation_readme_f85f45ddc030.jpg\">\n\u003C\u002Fa>\n\u003C\u002Fp>\n\n版权信息\n============\n本项目仅用于科研或教育目的，不得用于商业用途或随意再分发。动作捕捉数据仅在 [署名-非商业性使用 4.0 国际](https:\u002F\u002Fcreativecommons.org\u002Flicenses\u002Fby-nc\u002F4.0\u002Flegalcode)（CC BY-NC 4.0）许可协议的条款下提供。","# AI4Animation 快速上手指南\n\nAI4Animation 是一个基于深度学习的角色动画与控制框架，支持双足\u002F四足运动、人机交互及虚拟化身动作生成。本指南基于最新的 **Python 重构版 (AI4AnimationPy)**，该版本移除了 Unity 依赖，完全基于 NumPy 和 PyTorch 运行，适合研究与快速原型开发。\n\n## 1. 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**: Windows, Linux 或 macOS\n*   **Python 版本**: Python 3.8 或更高版本\n*   **核心依赖**:\n    *   `PyTorch`: 用于神经网络训练与推理\n    *   `NumPy`: 用于数据处理\n    *   `Matplotlib` \u002F `PyQt5`: 用于可视化演示（可选，但推荐）\n*   **硬件建议**: 推荐使用配备 NVIDIA GPU 的环境以加速训练过程（CPU 亦可运行推理和部分小型训练）。\n\n> **国内开发者提示**：建议配置清华或中科大镜像源以加速 `pip` 包的安装。\n> ```bash\n> pip config set global.index-url https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n> ```\n\n## 2. 安装步骤\n\n### 克隆仓库\n首先从 GitHub 获取 **AI4AnimationPy** 源代码：\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fai4animationpy.git\ncd ai4animationpy\n```\n\n### 安装依赖\n在项目根目录下创建虚拟环境并安装所需依赖：\n\n```bash\n# 创建虚拟环境 (可选)\npython -m venv venv\nsource venv\u002Fbin\u002Factivate  # Linux\u002FmacOS\n# venv\\Scripts\\activate   # Windows\n\n# 安装基础依赖\npip install -r requirements.txt\n```\n\n*注：如果 `requirements.txt` 未明确列出所有视觉化依赖，可能需要手动安装：*\n```bash\npip install torch numpy matplotlib scipy\n```\n\n## 3. 基本使用\n\nAI4AnimationPy 采用类似游戏引擎的架构（ECS），所有训练、推理和可视化均在统一的 Python 环境中完成。\n\n### 运行演示示例\n项目 `demos` 文件夹中包含了多个预训练好的模型示例，可直接运行以体验框架功能。\n\n**示例 1：风格化双足运动控制器 (Biped Locomotion)**\n运行以下命令启动双足行走演示，展示基于风格数据的运动控制：\n\n```bash\npython demos\u002Fbiped_locomotion.py\n```\n\n**示例 2：四足动物运动控制器 (Quadruped Locomotion)**\n运行以下命令启动交互式狗的运动演示，包含步态切换和动作姿态：\n\n```bash\npython demos\u002Fquadruped_locomotion.py\n```\n\n**示例 3：实时逆向动力学 (Inverse Kinematics)**\n测试实时的 IK 求解功能：\n\n```bash\npython demos\u002Fik_solver.py\n```\n\n### 简单训练流程\n若需使用自定义动捕数据（支持 `.glb`, `.fbx`, `.bvh`, `.npz` 格式）进行训练，基本流程如下：\n\n1.  **数据导入**：使用内置工具将动捕数据转换为框架所需的 `.npz` 格式。\n    ```bash\n    python tools\u002Fmocap_import.py --input data\u002Fmy_motion.bvh --output data\u002Fmy_motion.npz\n    ```\n\n2.  **模型训练**：调用训练脚本（具体参数需参考对应 demo 的配置）。\n    ```bash\n    python train.py --config configs\u002Fmy_config.yaml --data data\u002Fmy_motion.npz\n    ```\n\n3.  **推理与可视化**：训练完成后，加载模型权重进行推理测试。\n    ```bash\n    python infer.py --model checkpoints\u002Fmy_model.pt --visualize\n    ```\n\n### Web 端体验\n如果您暂时不想配置本地环境，可以直接访问官方托管的 Web Demo 进行在线体验：\n[点击前往 Web Demos](https:\u002F\u002Fpaulstarke-ai4animationpy.hf.space\u002F)","某独立游戏工作室正在开发一款支持 VR 全身互动的奇幻冒险游戏，需要让虚拟角色实时复刻玩家的动作并自然适应复杂地形。\n\n### 没有 AI4Animation 时\n- **动作僵硬断裂**：传统状态机难以处理数百种动作状态的平滑过渡，角色在奔跑转跳跃时经常出现滑步或模型穿插。\n- **开发周期漫长**：动画师需手动为每种新地形（如斜坡、楼梯）制作专门的适配动画，耗时数周且难以覆盖所有边缘情况。\n- **VR 映射失真**：直接将动捕数据映射到不同体型的虚拟化身时，常出现脚部悬空或手部穿透物体的尴尬现象，破坏沉浸感。\n- **调试成本高昂**：调整物理反馈逻辑需要反复修改代码并重新编译，无法实时预览神经网络对运动策略的优化效果。\n\n### 使用 AI4Animation 后\n- **动态自然流畅**：利用深度学习控制器，角色能根据输入指令自动生成连贯的双足或四足步态，实现无脚本的平滑风格迁移。\n- **环境自适应强**：训练好的模型可自动推断地形特征，角色无需额外动画资源即可智能调整步伐跨越障碍或在湿滑地面保持平衡。\n- **实时逆向解算**：内置的实时逆向运动学（IK）模块能瞬间修正虚拟肢体的末端位置，确保不同体型化身在 VR 中精准贴合地面与物体。\n- **研发效率飞跃**：基于 Python 的统一架构允许开发者在单一环境中完成从数据导入、模型训练到可视化调试的全流程，迭代速度提升数倍。\n\nAI4Animation 通过将数据驱动的深度学习引入角色控制，彻底解决了传统动画管线中灵活性差与适配成本高的难题，让虚拟角色真正拥有了“大脑”。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsebastianstarke_AI4Animation_7573aad3.gif","sebastianstarke","Sebastian Starke","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fsebastianstarke_7031398a.jpg","Research Scientist @ Meta, PhD @ UoE. Formerly @ Electronic Arts, Adobe Research. Enjoying coffee and life in no particular order.",null,"London, UK","Sebastian.Starke@mail.de","blacksquirrel__","http:\u002F\u002Fsebastianxstarke.com\u002F","https:\u002F\u002Fgithub.com\u002Fsebastianstarke",[88,92,96,100,104,108,112,116],{"name":89,"color":90,"percentage":91},"C++","#f34b7d",60.5,{"name":93,"color":94,"percentage":95},"C#","#178600",31.9,{"name":97,"color":98,"percentage":99},"HLSL","#aace60",3.4,{"name":101,"color":102,"percentage":103},"ShaderLab","#222c37",2.2,{"name":105,"color":106,"percentage":107},"Python","#3572A5",1.1,{"name":109,"color":110,"percentage":111},"C","#555555",0.8,{"name":113,"color":114,"percentage":115},"Java","#b07219",0.1,{"name":117,"color":118,"percentage":119},"CMake","#DA3434",0,8600,1119,"2026-04-20T00:09:35","Windows, macOS","未说明 (基于 PyTorch\u002FNumPy，通常建议 NVIDIA GPU 以加速训练，但 README 未明确指定型号或显存)","未说明",{"notes":127,"python":128,"dependencies":129},"该项目包含多个子项目（如 SIGGRAPH 2024, 2022, 2021 等），具体依赖可能因子项目而异。2026 年的 Python 重写版 (AI4AnimationPy) 移除了 Unity 依赖，所有数据处理、训练和推理均在纯 Python (PyTorch\u002FNumPy) 环境中运行。部分旧版本或演示可能需要 Unity 引擎。SIGGRAPH 2024 部分提供了 Windows 和 Mac 的预编译演示包。","未说明 (提及为 Python 重写版本，需 Python 环境)",[130,131],"PyTorch","NumPy",[18],"2026-03-27T02:49:30.150509","2026-04-20T19:32:47.561645",[],[]]