[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-see2023--Bert-VITS2-ext":3,"tool-see2023--Bert-VITS2-ext":64},[4,17,27,36,44,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",141543,2,"2026-04-06T11:32:54",[13,14,15],"开发框架","Agent","语言模型","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,3,"2026-04-06T11:19:32",[15,26,14,13],"图像",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},4292,"Deep-Live-Cam","hacksider\u002FDeep-Live-Cam","Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。\n\n这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。\n\n其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。",88924,"2026-04-06T03:28:53",[13,26,14,35],"视频",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":10,"last_commit_at":42,"category_tags":43,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,15],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":10,"last_commit_at":50,"category_tags":51,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",85013,"2026-04-06T11:09:19",[26,52,35,53,14,54,15,13,55],"数据工具","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":23,"last_commit_at":62,"category_tags":63,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[14,26,13,15,54],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":77,"owner_avatar_url":78,"owner_bio":77,"owner_company":77,"owner_location":77,"owner_email":77,"owner_twitter":77,"owner_website":77,"owner_url":79,"languages":80,"stars":97,"forks":98,"last_commit_at":99,"license":100,"difficulty_score":101,"env_os":102,"env_gpu":103,"env_ram":102,"env_deps":104,"category_tags":111,"github_topics":112,"view_count":10,"oss_zip_url":77,"oss_zip_packed_at":77,"status":16,"created_at":121,"updated_at":122,"faqs":123,"releases":144},4660,"see2023\u002FBert-VITS2-ext","Bert-VITS2-ext","基于Bert-VITS2做的表情、动画测试.  Animation testing based on Bert-VITS2.","Bert-VITS2-ext 是一款基于 Bert-VITS2 语音合成模型开发的扩展工具，旨在让虚拟角色在说话时同步生成自然的面部表情与身体动作。它解决了传统 TTS 技术仅能输出音频、缺乏情感表现力的问题，通过从语音生成的隐变量中直接推导面部参数（兼容 Live Link Face），实现了音画高度同步的驱动效果。\n\n该项目不仅支持纯语音驱动表情，还探索了结合 MotionGPT 等模型，根据语义内容生成匹配的身体动画，甚至能与虚幻引擎（UE）中的 MetaHuman 数字人实时联动。技术亮点在于其独特的网络架构改进：将输入从一维序列升级为二维频谱图，采用 Conv2D 替代 Conv1D 以增强特征提取能力，并移除了高耗能的 Transformer 模块，显著提升了推理效率。此外，它还尝试适配 CosyVoice 和 GPT-SoVITS 等其他主流语音模型。\n\nBert-VITS2-ext 主要面向具备一定编程基础的开发者、AI 研究人员以及数字人内容创作者。如果你希望为虚拟主播、游戏 NPC 或动画角色赋予更生动的演绎能力，且熟悉 Python 环境与深度学习训练流程，这款开","Bert-VITS2-ext 是一款基于 Bert-VITS2 语音合成模型开发的扩展工具，旨在让虚拟角色在说话时同步生成自然的面部表情与身体动作。它解决了传统 TTS 技术仅能输出音频、缺乏情感表现力的问题，通过从语音生成的隐变量中直接推导面部参数（兼容 Live Link Face），实现了音画高度同步的驱动效果。\n\n该项目不仅支持纯语音驱动表情，还探索了结合 MotionGPT 等模型，根据语义内容生成匹配的身体动画，甚至能与虚幻引擎（UE）中的 MetaHuman 数字人实时联动。技术亮点在于其独特的网络架构改进：将输入从一维序列升级为二维频谱图，采用 Conv2D 替代 Conv1D 以增强特征提取能力，并移除了高耗能的 Transformer 模块，显著提升了推理效率。此外，它还尝试适配 CosyVoice 和 GPT-SoVITS 等其他主流语音模型。\n\nBert-VITS2-ext 主要面向具备一定编程基础的开发者、AI 研究人员以及数字人内容创作者。如果你希望为虚拟主播、游戏 NPC 或动画角色赋予更生动的演绎能力，且熟悉 Python 环境与深度学习训练流程，这款开源项目将提供强大的技术支持与灵活的定制空间。","# 简介\n\n- 本项目的目的是拓展[Bert-VITS2](https:\u002F\u002Fgithub.com\u002Ffishaudio\u002FBert-VITS2)的使用边界，比如 TTS 同步产生脸部表情数据。\n- 效果参见\n  - Demo [哔哩哔哩](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV16V411Q7LM\u002F) [Youtube](https:\u002F\u002Fyoutu.be\u002FPvnqmk0cd_4)\n  - [TTS with Audio2PhotoReal --> MetaHuman](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1dg4y1m7sX\u002F)\n  - [从歌声生成表情测试；与 Azure TTS 说话时的表情对比](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV16W4y1P73h\u002F)\n  - [TTS 生成表情初版，与 MotionGPT 拟合](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1s64y1H7ij\u002F)\n\n# 2025.8 改进\n\n- 输入从 1D 变为 2D：旧模型输入是  [B, C, T]  的一维序列，而新模型输入是  [B, H, W, C]  即  [批次, 频率, 时间, 1]  的二维数据\n- 用  Conv2D  替代了  Conv1D  作为特征提取的起点\n- 移除了计算量巨大的 Transformer 模块\n- 参考[Improvement_2025.md](.\u002FImprovement_2025.md)\n- [Demo 2025](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1yUtVzNEtw\u002F)\n\n# 扩展到 CosyVoice\n\n- [CosyVoice 表情测试](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1srsxeMERA\u002F)\n\n# 扩展到 GPT-SoVITS\n\n- [GPT-SoVITS 表情测试](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1GD42177B9\u002F)\n  - 直接在 [GPT-SoVITS](https:\u002F\u002Fgithub.com\u002FRVC-Boss\u002FGPT-SoVITS)上重新训练，实测结果比较糟糕\n  - 暂时使用的方法是从 Bert-VITS2-ext 里直接把后验部分以及表情生成部分模型复制到 GPT-SoVITS 里测试。\n  - 这会导致一次重复的计算，以及更多的预测变差\n\n# TTS\n\n- TTS 代码源自 [Bert-VITS2](https:\u002F\u002Fgithub.com\u002Ffishaudio\u002FBert-VITS2) v2.3 Final Release [ Dec 20, 2023]\n\n  - https:\u002F\u002Fgithub.com\u002Ffishaudio\u002FBert-VITS2\u002Fcommit\u002F7ebc1aa28a055608f7e31da93928cf295fdffeba\n\n- 测试下来，个人感觉纯中文素材的训练效果 2.1-2.3 版本略微不如 1.0，纯中文需求可以考虑降低版本或混合使用。\n\n- TTS 本身的训练方法见原文(每个版本都有所不同)\n  - 1.0 版本推荐参考 https:\u002F\u002Fgithub.com\u002FYYuX-1145\u002FBert-VITS2-Integration-package\n\n# TTS 同步输出表情\n\n## 思路\n\n- 参考[VITS](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2106.06103.pdf)论文的网络结构图(非 bert-vits2，但大体结构是一样的)，获取文本编码及变换后、解码前的隐变量 z，从旁路输出表情值(Live Link Face 数值)\n  - 冻结原网络的参数，单独增加一路 LSTM 和 MLP 处理，完成 z 到表情的 seq2seq 生成与映射\n  - 当然如果有高质量的表情数据，也可以把表情也加入原始 TTS 网络训练，应该能提高音频质量\n\n![网络结构](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsee2023_Bert-VITS2-ext_readme_fe63bbd6a9a1.png)\n\n## 数据采集\n\n- 设置 Live Link Face 的 Targets 为本机 IP，端口默认 11111\n- 同步采集语音和对应的 Live Link 输出的表情值，分别存入到 records 文件夹\n  - 执行一下脚本采集，每次 20 秒\n  - 音频默认为 44100 Hz\n  - 音频、表情的采集可能有偏移\n  - 可对比验证集的损失找到同一数据源的最佳偏移位置\n\n```\npython .\u002Fmotion\u002Frecord.py\n```\n\n- 查看数据是否正常\n\n  - [预览 npy 中的 weight 数值曲线](.\u002Fmotion\u002Fdata.ipynb)\n\n- 测试数据\n  - 将录下的 bs 数据通过 live link 发给 UE 中的 MetaHuman，同步播放语音，检查是否匹配\n\n```\npython .\u002Fmotion\u002Ftts2ue.py --bs_npy_file  .\u002Frecords\u002F2023-12-23-17-19-54.npy --wav_file .\u002Frecords\u002F2023-12-23-17-19-54.wav  --fps 60\n```\n\n## 数据预处理\n\n- 读取 records 中的所有音频文件，利用后验编码器，把音频编码后的隐变量 z 存入 \\*.z.npy\n- 写入训练和验证用的文件列表\n  - filelists\u002Fval_visemes.list\n  - filelists\u002Ftrain_visemes.list\n\n```\npython .\u002Fmotion\u002Fprepare_visemes.py\n```\n\n## 训练\n\n- 在 train_ms.py 后加上--visemes 来区别和主网的训练\n\n```\npython train_ms.py  -m OUTPUT_MODEL --config .\u002Fconfigs\u002Fconfig.json --visemes\n```\n\n## 推理\n\n- 在 webui.py 执行时，将输出的音频、隐变量、动画数据写入当前目录，可用 tts2ue.py 来查看生成效果\n- 生成的动画默认的 fps 是和隐变量一样的 86.1328125\n  - 44100\u002F86.1328125 = 512，刚好整除，这是 Bert-VITS2 音频采样频率、网络结构和 hidden_channels 决定的\n\n```\npython .\u002Fmotion\u002Ftts2ue.py --bs_npy_file .\u002Ftmp.npy --wav_file .\u002Ftmp.wav --delay_ms 700\n```\n\n# 声音到表情\n\n- 利用后验编码器，把声音转换成 z，然后再把 z 转成表情\n  - 音频需转成 44100hz 的 wav 文件，并只保留一个通道(ffmpeg)\n\n```\n# 音频截取转换\nffmpeg -i input_file -ss 00:00:00 -t 00:00:10 -ar 44100 -f wav test.wav\n\n# 保留通道1\nffmpeg -i test.wav -map_channel 0.0.0 output.wav\n\npython  .\u002Fmotion\u002Fwav_to_visemes.py output.wav\n```\n\n# 身体动画\n\n## MotionGPT\n\n- 有了语音和表情后，还可以在 LLM 驱动下产生与之匹配的动作描述，然后用 text to motion 模型生成与说话内容匹配的身体动画，甚至和场景、他人进行交互。\n- text to motion 测试采用的项目是 [MotionGPT](https:\u002F\u002Fgithub.com\u002FOpenMotionLab\u002FMotionGPT)\n  - 暂未做动画过度处理，看介绍模型是支持的 [motion in-between](https:\u002F\u002Fmotion-gpt.github.io\u002F)\n  - MotionGPT 用的 flan-t5-base，不能理解中文，所以无法用说话的文本产生同步度很高的动画(翻译成英文后语序多少有些变化)\n    - 是否可以用说话的文本或隐变量 z 来指导动作生成暂未可知\n- MotionGPT 输出的是骨骼位置，与 UE 的骨骼动画不能直接对接\n  - 目前用了简化方法估算运动数值，会有不小的位置损失\n    - 计算出骨骼相对父节点的旋转变化量(四元数)\n      - 参考 [代码](motion\u002Fvmc_cli.py)\n    - 通过 OSC 协议发送给 [VMCtoMOP](https:\u002F\u002Fgithub.com\u002FHAL9HARUKU\u002FVMCtoMOP)程序，可预览动画，并做协议转换\n    - 借助[Mop 插件](https:\u002F\u002Fgithub.com\u002FHAL9HARUKU\u002FMopUE4)将 MOP 数据映射给 MetaHuman\n      - 测试版本是 UE5.3\n\n## audio2photoreal\n\n- 在原项目的基础上修改，Web 界面推理时导出动画数据到本地文件\n  - [导出过程](https:\u002F\u002Fgithub.com\u002Fsee2023\u002Faudio2photoreal\u002Fblob\u002Fmain\u002Ftest.ipynb)\n  - 代码 https:\u002F\u002Fgithub.com\u002Fsee2023\u002Faudio2photoreal\n\n# Bert-VITS2 原版声明\n\n\u003Cdiv align=\"center\">\n\n\u003Cimg alt=\"LOGO\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsee2023_Bert-VITS2-ext_readme_aa0c6027828e.png\" width=\"256\" height=\"256\" \u002F>\n\nVITS2 Backbone with multilingual bert\n\nFor quick guide, please refer to `webui_preprocess.py`.\n\n简易教程请参见 `webui_preprocess.py`。\n\n## 请注意，本项目核心思路来源于[anyvoiceai\u002FMassTTS](https:\u002F\u002Fgithub.com\u002Fanyvoiceai\u002FMassTTS) 一个非常好的 tts 项目\n\n## MassTTS 的演示 demo 为[ai 版峰哥锐评峰哥本人,并找回了在金三角失落的腰子](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1w24y1c7z9)\n\n[\u002F\u002F]: # \"## 本项目与[PlayVoice\u002Fvits_chinese](https:\u002F\u002Fgithub.com\u002FPlayVoice\u002Fvits_chinese) 没有任何关系\"\n[\u002F\u002F]: #\n[\u002F\u002F]: # \"本仓库来源于之前朋友分享了ai峰哥的视频，本人被其中的效果惊艳，在自己尝试MassTTS以后发现fs在音质方面与vits有一定差距，并且training的pipeline比vits更复杂，因此按照其思路将bert\"\n\n## 成熟的旅行者\u002F开拓者\u002F舰长\u002F博士\u002Fsensei\u002F猎魔人\u002F喵喵露\u002FV 应当参阅代码自己学习如何训练。\n\n### 严禁将此项目用于一切违反《中华人民共和国宪法》，《中华人民共和国刑法》，《中华人民共和国治安管理处罚法》和《中华人民共和国民法典》之用途。\n\n### 严禁用于任何政治相关用途。\n\n#### Video:https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1hp4y1K78E\n\n#### Demo:https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1TF411k78w\n\n## References\n\n- [anyvoiceai\u002FMassTTS](https:\u002F\u002Fgithub.com\u002Fanyvoiceai\u002FMassTTS)\n- [jaywalnut310\u002Fvits](https:\u002F\u002Fgithub.com\u002Fjaywalnut310\u002Fvits)\n- [p0p4k\u002Fvits2_pytorch](https:\u002F\u002Fgithub.com\u002Fp0p4k\u002Fvits2_pytorch)\n- [svc-develop-team\u002Fso-vits-svc](https:\u002F\u002Fgithub.com\u002Fsvc-develop-team\u002Fso-vits-svc)\n- [PaddlePaddle\u002FPaddleSpeech](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleSpeech)\n- [emotional-vits](https:\u002F\u002Fgithub.com\u002Finnnky\u002Femotional-vits)\n- [fish-speech](https:\u002F\u002Fgithub.com\u002Ffishaudio\u002Ffish-speech)\n- [Bert-VITS2-UI](https:\u002F\u002Fgithub.com\u002Fjiangyuxiaoxiao\u002FBert-VITS2-UI)\n\n## 感谢所有贡献者作出的努力\n\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffishaudio\u002FBert-VITS2\u002Fgraphs\u002Fcontributors\" target=\"_blank\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsee2023_Bert-VITS2-ext_readme_c6f591db9295.png\"\u002F>\n\u003C\u002Fa>\n","# 简介\n\n- 本项目的目的是拓展[Bert-VITS2](https:\u002F\u002Fgithub.com\u002Ffishaudio\u002FBert-VITS2)的使用边界，比如 TTS 同步产生脸部表情数据。\n- 效果参见\n  - Demo [哔哩哔哩](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV16V411Q7LM\u002F) [Youtube](https:\u002F\u002Fyoutu.be\u002FPvnqmk0cd_4)\n  - [TTS with Audio2PhotoReal --> MetaHuman](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1dg4y1m7sX\u002F)\n  - [从歌声生成表情测试；与 Azure TTS 说话时的表情对比](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV16W4y1P73h\u002F)\n  - [TTS 生成表情初版，与 MotionGPT 拟合](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1s64y1H7ij\u002F)\n\n# 2025.8 改进\n\n- 输入从 1D 变为 2D：旧模型输入是  [B, C, T]  的一维序列，而新模型输入是  [B, H, W, C]  即  [批次, 频率, 时间, 1]  的二维数据\n- 用  Conv2D  替代了  Conv1D  作为特征提取的起点\n- 移除了计算量巨大的 Transformer 模块\n- 参考[Improvement_2025.md](.\u002FImprovement_2025.md)\n- [Demo 2025](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1yUtVzNEtw\u002F)\n\n# 扩展到 CosyVoice\n\n- [CosyVoice 表情测试](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1srsxeMERA\u002F)\n\n# 扩展到 GPT-SoVITS\n\n- [GPT-SoVITS 表情测试](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1GD42177B9\u002F)\n  - 直接在 [GPT-SoVITS](https:\u002F\u002Fgithub.com\u002FRVC-Boss\u002FGPT-SoVITS)上重新训练，实测结果比较糟糕\n  - 暂时使用的方法是从 Bert-VITS2-ext 里直接把后验部分以及表情生成部分模型复制到 GPT-SoVITS 里测试。\n  - 这会导致一次重复的计算，以及更多的预测变差\n\n# TTS\n\n- TTS 代码源自 [Bert-VITS2](https:\u002F\u002Fgithub.com\u002Ffishaudio\u002FBert-VITS2) v2.3 Final Release [ Dec 20, 2023]\n\n  - https:\u002F\u002Fgithub.com\u002Ffishaudio\u002FBert-VITS2\u002Fcommit\u002F7ebc1aa28a055608f7e31da93928cf295fdffeba\n\n- 测试下来，个人感觉纯中文素材的训练效果 2.1-2.3 版本略微不如 1.0，纯中文需求可以考虑降低版本或混合使用。\n\n- TTS 本身的训练方法见原文(每个版本都有所不同)\n  - 1.0 版本推荐参考 https:\u002F\u002Fgithub.com\u002FYYuX-1145\u002FBert-VITS2-Integration-package\n\n# TTS 同步输出表情\n\n## 思路\n\n- 参考[VITS](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2106.06103.pdf)论文的网络结构图(非 bert-vits2，但大体结构是一样的)，获取文本编码及变换后、解码前的隐变量 z，从旁路输出表情值(Live Link Face 数值)\n  - 冻结原网络的参数，单独增加一路 LSTM 和 MLP 处理，完成 z 到表情的 seq2seq 生成与映射\n  - 当然如果有高质量的表情数据，也可以把表情也加入原始 TTS 网络训练，应该能提高音频质量\n\n![网络结构](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsee2023_Bert-VITS2-ext_readme_fe63bbd6a9a1.png)\n\n## 数据采集\n\n- 设置 Live Link Face 的 Targets 为本机 IP，端口默认 11111\n- 同步采集语音和对应的 Live Link 输出的表情值，分别存入到 records 文件夹\n  - 执行一下脚本采集，每次 20 秒\n  - 音频默认为 44100 Hz\n  - 音频、表情的采集可能有偏移\n  - 可对比验证集的损失找到同一数据源的最佳偏移位置\n\n```\npython .\u002Fmotion\u002Frecord.py\n```\n\n- 查看数据是否正常\n\n  - [预览 npy 中的 weight 数值曲线](.\u002Fmotion\u002Fdata.ipynb)\n\n- 测试数据\n  - 将录下的 bs 数据通过 live link 发给 UE 中的 MetaHuman，同步播放语音，检查是否匹配\n\n```\npython .\u002Fmotion\u002Ftts2ue.py --bs_npy_file  .\u002Frecords\u002F2023-12-23-17-19-54.npy --wav_file .\u002Frecords\u002F2023-12-23-17-19-54.wav  --fps 60\n```\n\n## 数据预处理\n\n- 读取 records 中的所有音频文件，利用后验编码器，把音频编码后的隐变量 z 存入 \\*.z.npy\n- 写入训练和验证用的文件列表\n  - filelists\u002Fval_visemes.list\n  - filelists\u002Ftrain_visemes.list\n\n```\npython .\u002Fmotion\u002Fprepare_visemes.py\n```\n\n## 训练\n\n- 在 train_ms.py 后加上--visemes 来区别和主网的训练\n\n```\npython train_ms.py  -m OUTPUT_MODEL --config .\u002Fconfigs\u002Fconfig.json --visemes\n```\n\n## 推理\n\n- 在 webui.py 执行时，将输出的音频、隐变量、动画数据写入当前目录，可用 tts2ue.py 来查看生成效果\n- 生成的动画默认的 fps 是和隐变量一样的 86.1328125\n  - 44100\u002F86.1328125 = 512，刚好整除，这是 Bert-VITS2 音频采样频率、网络结构和 hidden_channels 决定的\n\n```\npython .\u002Fmotion\u002Ftts2ue.py --bs_npy_file .\u002Ftmp.npy --wav_file .\u002Ftmp.wav --delay_ms 700\n```\n\n# 声音到表情\n\n- 利用后验编码器，把声音转换成 z，然后再把 z 转成表情\n  - 音频需转成 44100hz 的 wav 文件，并只保留一个通道(ffmpeg)\n\n```\n# 音频截取转换\nffmpeg -i input_file -ss 00:00:00 -t 00:00:10 -ar 44100 -f wav test.wav\n\n# 保留通道1\nffmpeg -i test.wav -map_channel 0.0.0 output.wav\n\npython  .\u002Fmotion\u002Fwav_to_visemes.py output.wav\n```\n\n# 身体动画\n\n## MotionGPT\n\n- 有了语音和表情后，还可以在 LLM 驱动下产生与之匹配的动作描述，然后用 text to motion 模型生成与说话内容匹配的身体动画，甚至和场景、他人进行交互。\n- text to motion 测试采用的项目是 [MotionGPT](https:\u002F\u002Fgithub.com\u002FOpenMotionLab\u002FMotionGPT)\n  - 暂未做动画过度处理，看介绍模型是支持的 [motion in-between](https:\u002F\u002Fmotion-gpt.github.io\u002F)\n  - MotionGPT 用的 flan-t5-base，不能理解中文，所以无法用说话的文本产生同步度很高的动画(翻译成英文后语序多少有些变化)\n    - 是否可以用说话的文本或隐变量 z 来指导动作生成暂未可知\n- MotionGPT 输出的是骨骼位置，与 UE 的骨骼动画不能直接对接\n  - 目前用了简化方法估算运动数值，会有不小的位置损失\n    - 计算出骨骼相对父节点的旋转变化量(四元数)\n      - 参考 [代码](motion\u002Fvmc_cli.py)\n    - 通过 OSC 协议发送给 [VMCtoMOP](https:\u002F\u002Fgithub.com\u002FHAL9HARUKU\u002FVMCtoMOP)程序，可预览动画，并做协议转换\n    - 借助[Mop 插件](https:\u002F\u002Fgithub.com\u002FHAL9HARUKU\u002FMopUE4)将 MOP 数据映射给 MetaHuman\n      - 测试版本是 UE5.3\n\n## audio2photoreal\n\n- 在原项目的基础上修改，Web 界面推理时导出动画数据到本地文件\n  - [导出过程](https:\u002F\u002Fgithub.com\u002Fsee2023\u002Faudio2photoreal\u002Fblob\u002Fmain\u002Ftest.ipynb)\n  - 代码 https:\u002F\u002Fgithub.com\u002Fsee2023\u002Faudio2photoreal\n\n# Bert-VITS2 原版声明\n\n\u003Cdiv align=\"center\">\n\n\u003Cimg alt=\"LOGO\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsee2023_Bert-VITS2-ext_readme_aa0c6027828e.png\" width=\"256\" height=\"256\" \u002F>\n\nVITS2 Backbone with multilingual bert\n\nFor quick guide, please refer to `webui_preprocess.py`.\n\n简易教程请参见 `webui_preprocess.py`。\n\n## 请注意，本项目核心思路来源于[anyvoiceai\u002FMassTTS](https:\u002F\u002Fgithub.com\u002Fanyvoiceai\u002FMassTTS) 一个非常好的 tts 项目\n\n## MassTTS 的演示 demo 为[ai 版峰哥锐评峰哥本人,并找回了在金三角失落的腰子](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1w24y1c7z9)\n\n[\u002F\u002F]: # \"## 本项目与[PlayVoice\u002Fvits_chinese](https:\u002F\u002Fgithub.com\u002FPlayVoice\u002Fvits_chinese) 没有任何关系\"\n[\u002F\u002F]: #\n[\u002F\u002F]: # \"本仓库来源于之前朋友分享了ai峰哥的视频，本人被其中的效果惊艳，在自己尝试MassTTS以后发现fs在音质方面与vits有一定差距，并且training的pipeline比vits更复杂，因此按照其思路将bert\"\n\n## 成熟的旅行者\u002F开拓者\u002F舰长\u002F博士\u002Fsensei\u002F猎魔人\u002F喵喵露\u002FV 应当参阅代码自己学习如何训练。\n\n### 严禁将此项目用于一切违反《中华人民共和国宪法》，《中华人民共和国刑法》，《中华人民共和国治安管理处罚法》和《中华人民共和国民法典》之用途。\n\n### 严禁用于任何政治相关用途。\n\n#### Video:https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1hp4y1K78E\n\n#### Demo:https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1TF411k78w\n\n## References\n\n- [anyvoiceai\u002FMassTTS](https:\u002F\u002Fgithub.com\u002Fanyvoiceai\u002FMassTTS)\n- [jaywalnut310\u002Fvits](https:\u002F\u002Fgithub.com\u002Fjaywalnut310\u002Fvits)\n- [p0p4k\u002Fvits2_pytorch](https:\u002F\u002Fgithub.com\u002Fp0p4k\u002Fvits2_pytorch)\n- [svc-develop-team\u002Fso-vits-svc](https:\u002F\u002Fgithub.com\u002Fsvc-develop-team\u002Fso-vits-svc)\n- [PaddlePaddle\u002FPaddleSpeech](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleSpeech)\n- [emotional-vits](https:\u002F\u002Fgithub.com\u002Finnnky\u002Femotional-vits)\n- [fish-speech](https:\u002F\u002Fgithub.com\u002Ffishaudio\u002Ffish-speech)\n- [Bert-VITS2-UI](https:\u002F\u002Fgithub.com\u002Fjiangyuxiaoxiao\u002FBert-VITS2-UI)\n\n## 感谢所有贡献者作出的努力\n\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffishaudio\u002FBert-VITS2\u002Fgraphs\u002Fcontributors\" target=\"_blank\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsee2023_Bert-VITS2-ext_readme_c6f591db9295.png\"\u002F>\n\u003C\u002Fa>","# Bert-VITS2-ext 快速上手指南\n\nBert-VITS2-ext 是 [Bert-VITS2](https:\u002F\u002Fgithub.com\u002Ffishaudio\u002FBert-VITS2) 的扩展项目，核心功能是在进行 TTS（语音合成）的同时，同步生成面部表情数据（Live Link Face 格式），可直接驱动 Unreal Engine 中的 MetaHuman 角色。\n\n## 1. 环境准备\n\n### 系统要求\n- **操作系统**: Windows 10\u002F11 或 Linux (推荐 Ubuntu 20.04+)\n- **GPU**: NVIDIA 显卡 (建议显存 8GB 以上)，需安装对应的 CUDA 驱动\n- **Python**: 3.8 - 3.10 (推荐 3.9)\n- **额外软件**:\n  - **FFmpeg**: 用于音频预处理\n  - **Unreal Engine 5.3+** (可选): 如需预览 MetaHuman 动画效果\n  - **Live Link Face App**: iOS 设备用于采集真实表情数据\n\n### 前置依赖\n确保已安装 Git 和 Python。建议使用 `conda` 创建独立虚拟环境。\n\n```bash\n# 创建虚拟环境\nconda create -n bert-vits2-ext python=3.9\nconda activate bert-vits2-ext\n\n# 安装 PyTorch (根据 CUDA 版本选择，国内用户推荐使用清华源)\npip install torch torchvision torchaudio --index-url https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n\n# 安装其他基础依赖\npip install numpy scipy librosa soundfile matplotlib tqdm\n```\n\n## 2. 安装步骤\n\n克隆项目代码并安装项目特定依赖：\n\n```bash\n# 克隆仓库\ngit clone https:\u002F\u002Fgithub.com\u002Fsee2023\u002FBert-VITS2-ext.git\ncd Bert-VITS2-ext\n\n# 安装项目 requirements\n# 注意：若下载速度慢，可手动编辑 requirements.txt 替换为国内镜像源\npip install -r requirements.txt\n```\n\n> **提示**：本项目基于 Bert-VITS2 v2.3 修改。如果是纯中文训练需求，原作者反馈 v2.1-v2.3 效果略逊于 v1.0，可根据实际需求调整底座版本。\n\n## 3. 基本使用流程\n\n本指南演示从**数据采集**到**推理生成**的核心流程。\n\n### 3.1 数据采集 (录制对齐数据)\n需同步录制音频和对应的面部表情数据（通过 Live Link Face）。\n\n1. 配置 Live Link Face App，将 Target IP 设为本机 IP，端口默认 `11111`。\n2. 运行录制脚本（每次录制约 20 秒）：\n\n```bash\npython .\u002Fmotion\u002Frecord.py\n```\n*生成的数据将保存在 `records` 文件夹中（包含 `.wav` 音频和 `.npy` 表情数据）。*\n\n3. **验证数据**：检查生成的 npy 文件曲线是否正常，并可测试回放至 UE：\n```bash\n# 预览数据曲线 (需在 Jupyter Notebook 中运行)\n# .\u002Fmotion\u002Fdata.ipynb\n\n# 测试回放：将录制的表情数据发送给 UE 中的 MetaHuman\npython .\u002Fmotion\u002Ftts2ue.py --bs_npy_file .\u002Frecords\u002F2023-12-23-17-19-54.npy --wav_file .\u002Frecords\u002F2023-12-23-17-19-54.wav --fps 60\n```\n\n### 3.2 数据预处理\n将音频编码为隐变量 `z` 并生成训练列表。\n\n```bash\npython .\u002Fmotion\u002Fprepare_visemes.py\n```\n*执行后将在 `filelists` 目录下生成 `train_visemes.list` 和 `val_visemes.list`。*\n\n### 3.3 模型训练\n使用 `--visemes` 参数启动表情分支的训练。\n\n```bash\npython train_ms.py -m OUTPUT_MODEL --config .\u002Fconfigs\u002Fconfig.json --visemes\n```\n\n### 3.4 推理与生成\n训练完成后，可通过 WebUI 或直接脚本进行推理。推理时会同时生成音频、隐变量和动画数据。\n\n#### 方式 A: 文本转语音 + 表情 (TTS)\n运行 WebUI 进行交互式生成（生成文件位于当前目录）：\n```bash\npython webui.py\n```\n*在 WebUI 中生成后，使用以下命令查看 UE 效果（注意调整 `delay_ms` 以对齐音画）：*\n```bash\npython .\u002Fmotion\u002Ftts2ue.py --bs_npy_file .\u002Ftmp.npy --wav_file .\u002Ftmp.wav --delay_ms 700\n```\n\n#### 方式 B: 现有音频转表情 (Audio to Visemes)\n将已有的 WAV 文件转换为表情数据：\n\n```bash\n# 1. 预处理音频：截取片段，采样率转为 44100Hz，转为单声道\nffmpeg -i input_file -ss 00:00:00 -t 00:00:10 -ar 44100 -f wav test.wav\nffmpeg -i test.wav -map_channel 0.0.0 output.wav\n\n# 2. 生成表情数据\npython .\u002Fmotion\u002Fwav_to_visemes.py output.wav\n```\n\n## 4. 进阶扩展 (可选)\n\n- **身体动画生成**: 结合 [MotionGPT](https:\u002F\u002Fgithub.com\u002FOpenMotionLab\u002FMotionGPT) 可根据文本生成身体动作，并通过 VMC 协议发送至 UE。\n- **其他模型适配**: 项目已尝试扩展至 CosyVoice 和 GPT-SoVITS，具体参见项目 README 中的测试链接，但目前主要通过复用后验网络实现，可能存在计算冗余。\n\n> **注意**: 生成的动画默认 FPS 为 86.1328125 (由 44100\u002F512 计算得出)，这是 Bert-VITS2 架构决定的固定值。","某独立游戏开发团队正在为一款剧情向 RPG 制作中文配音的 MetaHuman 角色，需要让 NPC 在说话时拥有自然的面部表情。\n\n### 没有 Bert-VITS2-ext 时\n- **表情与口型割裂**：开发者需先单独生成语音，再手动调整面部权重或依赖基础口型同步，导致角色说话时眼神呆滞、表情僵硬。\n- **工作流繁琐低效**：音频与动画数据分属不同管线，需人工对齐时间轴，每修改一句台词都要重新调整整套动画序列。\n- **情感表达缺失**：传统 TTS 仅输出音频，无法捕捉语调中隐含的情绪（如愤怒时的皱眉、悲伤时的嘴角下垂），角色缺乏生命力。\n- **多模型协作困难**：若尝试结合 MotionGPT 生成肢体动作，因缺乏统一的隐变量引导，身体动作与语音节奏往往不匹配。\n\n### 使用 Bert-VITS2-ext 后\n- **音画天然同步**：工具在生成语音的同时，直接通过隐变量 z 旁路输出高精度的 Live Link Face 表情数据，确保口型、眉眼动作与声音完美契合。\n- **一键式自动化流程**：只需输入文本，即可同时获得 WAV 音频和对应的表情序列文件，通过 `tts2ue.py` 脚本可直接驱动 UE5 中的 MetaHuman，大幅缩短制作周期。\n- **细腻的情感还原**：基于 BERT 的语义理解与声学特征，模型能根据语境自动生成微表情，让 NPC 在讲述悲伤故事时自然流露哀伤神情。\n- **扩展肢体动画潜力**：生成的统一隐变量可作为后续 MotionGPT 等模型的引导信号，为未来实现“语音 - 表情 - 肢体”全链路自动化打下基础。\n\nBert-VITS2-ext 通过将情感计算融入语音合成底层，实现了从“念稿机器”到“鲜活角色”的质变，极大降低了高保真虚拟人的制作门槛。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsee2023_Bert-VITS2-ext_3f7d25f8.png","see2023",null,"https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fsee2023_2897682c.png","https:\u002F\u002Fgithub.com\u002Fsee2023",[81,85,89,93],{"name":82,"color":83,"percentage":84},"Python","#3572A5",99.7,{"name":86,"color":87,"percentage":88},"Jupyter Notebook","#DA5B0B",0.2,{"name":90,"color":91,"percentage":92},"Shell","#89e051",0.1,{"name":94,"color":95,"percentage":96},"CSS","#663399",0,539,58,"2026-03-28T16:37:02","AGPL-3.0",4,"未说明","未说明 (项目涉及深度学习训练与推理，且原版 Bert-VITS2 通常依赖 NVIDIA GPU 和 CUDA，但本文档未明确具体型号或显存要求)",{"notes":105,"python":102,"dependencies":106},"1. 本项目是 Bert-VITS2 的扩展，主要功能是同步生成脸部表情数据 (Live Link Face) 及身体动画。\n2. 2025.8 版本更新了模型架构：输入变为 2D [B, H, W, C]，使用 Conv2D 替代 Conv1D，并移除了 Transformer 模块。\n3. 数据采集需配合 Unreal Engine 中的 MetaHuman 和 Live Link Face 插件，默认端口 11111。\n4. 身体动画生成可选配 MotionGPT (仅支持英文文本驱动) 或通过 audio2photoreal 方案。\n5. 推理生成的动画默认帧率为 86.1328125 FPS，可通过脚本转换为 UE 可用的格式。\n6. 原文提到纯中文素材训练在 v2.1-2.3 版本效果略逊于 v1.0，纯中文需求可考虑降级或混合使用。",[107,108,109,110],"torch (隐含)","transformers (隐含，因使用 Bert)","numpy (隐含，用于处理 .npy 文件)","ffmpeg (用于音频预处理)",[55,35,15],[113,114,115,116,117,118,119,120],"arkit","bert-vits2","metahuman","text-to-motion","tts","motiongpt","audio2photoreal","gpt-sovits","2026-03-27T02:49:30.150509","2026-04-07T06:37:07.936458",[124,129,134,139],{"id":125,"question_zh":126,"answer_zh":127,"source_url":128},21194,"训练报错，如何区分 TTS 模型和表情模型的训练文件及输出？","画框标注的通常是原本 TTS 部分的模型训练文件。表情相关的文件位于其下方两行，生成的名为 V_xxx.pth 的文件即为表情部分的模型。用户需要自行观察 loss 变化和实际生成效果，来判断训练多少步比较合适。","https:\u002F\u002Fgithub.com\u002Fsee2023\u002FBert-VITS2-ext\u002Fissues\u002F1",{"id":130,"question_zh":131,"answer_zh":132,"source_url":133},21195,"MotionGPT 输出的 3D 空间坐标数据对应 vmc_cli.py 中的哪个参数？另一个旋转参数如何获取？","MotionGPT 通常只能产出骨骼坐标，因此应对应 '--positions_files' 参数。关于旋转参数（'--a2p_rotations_files'），如果仅有坐标没有旋转，某些姿势（如手掌朝向）会显示异常。维护者曾尝试从 audio2photoreal 导出包含旋转变换的数据，但测试发现存在变换 Bug。目前建议用户仔细研究动画系统的变换方式，因为仅靠 AI 生成的简单 Avatar 动画在实用性上可能仍有差距。","https:\u002F\u002Fgithub.com\u002Fsee2023\u002FBert-VITS2-ext\u002Fissues\u002F4",{"id":135,"question_zh":136,"answer_zh":137,"source_url":138},21196,"声音到表情的数据集是公开的吗？还是需要自己制作？","目前没有公开的数据集。这是作者基于声音与表情可能存在关联的假设，自行使用 iOS 的 Live Link 录制的数据进行测试的。具体方法是运行项目中的 record.py 脚本，每 20 秒录制一次，共录制了几十次。但由于表情控制效果不够理想，因此未公开该数据集，用户可能需要自行制作。","https:\u002F\u002Fgithub.com\u002Fsee2023\u002FBert-VITS2-ext\u002Fissues\u002F3",{"id":140,"question_zh":141,"answer_zh":142,"source_url":143},21197,"从音频特征到表情数值的模型是否可以移植到其他 TTS 项目（如 GPT-SoVITS 或 CosyVoice）？","可以移植。已验证在 CosyVoice 上，从音频特征到表情数值的模型是可复制的。之前也测试过将 Bert-VITS2-ext 的后验部分及表情生成部分模型直接复制到 GPT-SoVITS 中，虽然会导致重复计算和预测偏差，但证明了可行性。最佳方案是在目标项目（如 GPT-SoVITS）内从头训练，实现从隐变量直接生成表情。","https:\u002F\u002Fgithub.com\u002Fsee2023\u002FBert-VITS2-ext\u002Fissues\u002F2",[]]