[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-yl4579--StarGANv2-VC":3,"tool-yl4579--StarGANv2-VC":64},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",140436,2,"2026-04-05T23:32:43",[13,15,26],"语言模型",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[13,14,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":23,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,26],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":23,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,51,52,53,15,54,26,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":10,"last_commit_at":62,"category_tags":63,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,26,54],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":77,"owner_avatar_url":78,"owner_bio":79,"owner_company":80,"owner_location":81,"owner_email":79,"owner_twitter":79,"owner_website":79,"owner_url":82,"languages":83,"stars":92,"forks":93,"last_commit_at":94,"license":95,"difficulty_score":96,"env_os":97,"env_gpu":98,"env_ram":99,"env_deps":100,"category_tags":113,"github_topics":114,"view_count":10,"oss_zip_url":79,"oss_zip_packed_at":79,"status":16,"created_at":122,"updated_at":123,"faqs":124,"releases":155},890,"yl4579\u002FStarGANv2-VC","StarGANv2-VC","StarGANv2-VC: A Diverse, Unsupervised, Non-parallel Framework for Natural-Sounding Voice Conversion","StarGANv2-VC 是一个基于生成对抗网络（GAN）的开源语音转换框架，能够将一个人的声音自然地转换为另一个人的声音，同时保持语音内容的语义不变。它采用无监督、非并行的学习方式，意味着训练时不需要成对的语音数据（即同一句话由不同人说出），大大降低了数据收集的难度。\n\n该框架解决了传统语音转换中需要大量对齐数据、转换结果单一或音质不自然等问题。通过结合对抗性源分类器损失和感知损失，StarGANv2-VC 不仅能实现高质量的多对多语音转换，还能跨语言应用，甚至将普通朗读语音转换为带有情感、假声等风格的语音，其音质接近基于文本合成（TTS）的先进方法，且无需依赖文本标注。\n\nStarGANv2-VC 适合人工智能、语音处理领域的研究人员和开发者使用，特别是那些从事语音合成、语音转换或跨模态生成任务的团队。它也适用于需要定制化语音转换技术的应用开发，例如虚拟偶像、语音助手个性化、娱乐或辅助通信工具等。\n\n其技术亮点包括：完全卷积的网络结构，支持实时语音转换；使用风格编码器实现多样化的声音风格控制；并且尽管仅用20位英语说话人训练，却展现出良好的泛化能力，可适用于唱歌转换等场景。该工作曾","StarGANv2-VC 是一个基于生成对抗网络（GAN）的开源语音转换框架，能够将一个人的声音自然地转换为另一个人的声音，同时保持语音内容的语义不变。它采用无监督、非并行的学习方式，意味着训练时不需要成对的语音数据（即同一句话由不同人说出），大大降低了数据收集的难度。\n\n该框架解决了传统语音转换中需要大量对齐数据、转换结果单一或音质不自然等问题。通过结合对抗性源分类器损失和感知损失，StarGANv2-VC 不仅能实现高质量的多对多语音转换，还能跨语言应用，甚至将普通朗读语音转换为带有情感、假声等风格的语音，其音质接近基于文本合成（TTS）的先进方法，且无需依赖文本标注。\n\nStarGANv2-VC 适合人工智能、语音处理领域的研究人员和开发者使用，特别是那些从事语音合成、语音转换或跨模态生成任务的团队。它也适用于需要定制化语音转换技术的应用开发，例如虚拟偶像、语音助手个性化、娱乐或辅助通信工具等。\n\n其技术亮点包括：完全卷积的网络结构，支持实时语音转换；使用风格编码器实现多样化的声音风格控制；并且尽管仅用20位英语说话人训练，却展现出良好的泛化能力，可适用于唱歌转换等场景。该工作曾获得 INTERSPEECH 2021 最佳论文奖，代码和预训练模型均已开源，方便社区复现和使用。","# StarGANv2-VC: A Diverse, Unsupervised, Non-parallel Framework for Natural-Sounding Voice Conversion\n\n## For Hifi-GAN and BIGVGAN support, please check out [this branch](https:\u002F\u002Fgithub.com\u002Fyl4579\u002FStarGANv2-VC\u002Ftree\u002FBIGVGAN). \n\n### Yinghao Aaron Li, Ali Zare, Nima Mesgarani\n\n> We present an unsupervised non-parallel many-to-many voice conversion (VC) method using a generative adversarial network (GAN) called StarGAN v2. Using a combination of adversarial source classifier loss and perceptual loss, our model significantly outperforms previous VC models. Although our model is trained only with 20 English speakers, it generalizes to a variety of voice conversion tasks, such as any-to-many, cross-lingual, and singing conversion. Using a style encoder, our framework can also convert plain reading speech into stylistic speech, such as emotional and falsetto speech. Subjective and objective evaluation experiments on a non-parallel many-to-many voice conversion task revealed that our model produces natural sounding voices, close to the sound quality of state-of-the-art text-tospeech (TTS) based voice conversion methods without the need for text labels. Moreover, our model is completely convolutional and with a faster-than-real-time vocoder such as Parallel WaveGAN can perform real-time voice conversion.\n\nPaper: https:\u002F\u002Farxiv.org\u002Fabs\u002F2107.10394\n\nAudio samples: https:\u002F\u002Fstarganv2-vc.github.io\u002F\n\n***Our work has been awarded [INTERSPEECH 2021 Best Paper Award](https:\u002F\u002Fwww.interspeech2021.org\u002Fbest-student-paper-awards)**\n\n## Pre-requisites\n1. Python >= 3.7\n2. Clone this repository:\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fyl4579\u002FStarGANv2-VC.git\ncd StarGANv2-VC\n```\n3. Install python requirements: \n```bash\npip install SoundFile torchaudio munch parallel_wavegan torch pydub pyyaml click librosa\n```\n4. Download and extract the [VCTK dataset](https:\u002F\u002Fdatashare.ed.ac.uk\u002Fhandle\u002F10283\u002F3443) \nand use [VCTK.ipynb](https:\u002F\u002Fgithub.com\u002Fyl4579\u002FStarGANv2-VC\u002Fblob\u002Fmain\u002FData\u002FVCTK.ipynb) to prepare the data (downsample to 24 kHz etc.). You can also [download the dataset](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1t7QQbu4YC_P1mv9puA_KgSomSFDsSzD6\u002Fview?usp=sharing) we have prepared and unzip it to the `Data` folder, use the provided `config.yml` to reproduce our models. \n\n## Training\n```bash\npython train.py --config_path .\u002FConfigs\u002Fconfig.yml\n```\nPlease specify the training and validation data in `config.yml` file. Change `num_domains` to the number of speakers in the dataset. The data list format needs to be `filename.wav|speaker_number`, see [train_list.txt](https:\u002F\u002Fgithub.com\u002Fyl4579\u002FStarGANv2-VC\u002Fblob\u002Fmain\u002FData\u002Ftrain_list.txt) as an example. \n\nCheckpoints and Tensorboard logs will be saved at `log_dir`. To speed up training, you may want to make `batch_size` as large as your GPU RAM can take. However, please note that `batch_size = 5` will take around 10G GPU RAM. \n\n## Inference\n\nPlease refer to [inference.ipynb](https:\u002F\u002Fgithub.com\u002Fyl4579\u002FStarGANv2-VC\u002Fblob\u002Fmain\u002FDemo\u002Finference.ipynb) for details. \n\nThe pretrained StarGANv2 and ParallelWaveGAN on VCTK corpus can be downloaded at [StarGANv2 Link](https:\u002F\u002Fhuggingface.co\u002Fyl4579\u002FStarGANv2-VC\u002Fblob\u002Fmain\u002FModels.zip) and [ParallelWaveGAN Link](https:\u002F\u002Fhuggingface.co\u002Fyl4579\u002FStarGANv2-VC\u002Fblob\u002Fmain\u002FVocoder.zip). Please unzip to `Models` and `Vocoder` respectivey and run each cell in the notebook.\n\n## ASR & F0 Models\n\nThe pretrained F0 and ASR models are provided under the `Utils` folder. Both the F0 and ASR models are trained with melspectrograms preprocessed using [meldataset.py](https:\u002F\u002Fgithub.com\u002Fyl4579\u002FStarGANv2-VC\u002Fblob\u002Fmain\u002Fmeldataset.py), and both models are trained on speech data only. \n\nThe ASR model is trained on English corpus, but it appears to work when training StarGANv2 models in other languages such as Japanese. The F0 model also appears to work with singing data. For the best performance, however, training your own ASR and F0 models is encouraged for non-English and non-speech data. \n\nYou can edit the [meldataset.py](https:\u002F\u002Fgithub.com\u002Fyl4579\u002FStarGANv2-VC\u002Fblob\u002Fmain\u002Fmeldataset.py) with your own melspectrogram preprocessing, but the provided pretrained models will no longer work. You will need to train your own ASR and F0 models with the new preprocessing. \n\nThe code for training new ASR models is available [here](https:\u002F\u002Fgithub.com\u002Fyl4579\u002FAuxiliaryASR) and that for training new F0 models is available [here](https:\u002F\u002Fgithub.com\u002Fyl4579\u002FPitchExtractor).\n\n## References\n- [clovaai\u002Fstargan-v2](https:\u002F\u002Fgithub.com\u002Fclovaai\u002Fstargan-v2)\n- [kan-bayashi\u002FParallelWaveGAN](https:\u002F\u002Fgithub.com\u002Fkan-bayashi\u002FParallelWaveGAN)\n- [tosaka-m\u002Fjapanese_realtime_tts](https:\u002F\u002Fgithub.com\u002Ftosaka-m\u002Fjapanese_realtime_tts)\n- [keums\u002FmelodyExtraction_JDC](https:\u002F\u002Fgithub.com\u002Fkeums\u002FmelodyExtraction_JDC)\n\n## Acknowledgement\nThe author would like to thank [@tosaka-m](https:\u002F\u002Fgithub.com\u002Ftosaka-m) for his great repository and valuable discussions.\n","# StarGANv2-VC：一个多样化、无监督、非并行的自然语音转换框架\n\n## 如需 Hifi-GAN 和 BIGVGAN 支持，请查看[此分支](https:\u002F\u002Fgithub.com\u002Fyl4579\u002FStarGANv2-VC\u002Ftree\u002FBIGVGAN)。\n\n### Yinghao Aaron Li, Ali Zare, Nima Mesgarani\n\n> 我们提出了一种使用生成对抗网络（GAN）的无监督非并行多对多语音转换（VC）方法，称为 StarGAN v2。通过结合对抗性源分类器损失和感知损失，我们的模型显著优于以往的 VC 模型。尽管我们的模型仅使用 20 位英语说话者进行训练，但它能泛化到各种语音转换任务，例如任意对多、跨语言和歌唱转换。通过使用风格编码器，我们的框架还可以将普通朗读语音转换为风格化语音，例如情感语音和假声音乐。在非并行多对多语音转换任务上的主观和客观评估实验表明，我们的模型能产生听起来自然的语音，其音质接近基于文本到语音（TTS）的最先进语音转换方法，且无需文本标签。此外，我们的模型完全基于卷积神经网络，结合比实时更快的声码器（如 Parallel WaveGAN）可以实现实时语音转换。\n\n论文：https:\u002F\u002Farxiv.org\u002Fabs\u002F2107.10394\n\n音频样本：https:\u002F\u002Fstarganv2-vc.github.io\u002F\n\n***我们的工作荣获 [INTERSPEECH 2021 最佳论文奖](https:\u002F\u002Fwww.interspeech2021.org\u002Fbest-student-paper-awards)**\n\n## 先决条件\n1. Python >= 3.7\n2. 克隆此仓库：\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fyl4579\u002FStarGANv2-VC.git\ncd StarGANv2-VC\n```\n3. 安装 Python 依赖：\n```bash\npip install SoundFile torchaudio munch parallel_wavegan torch pydub pyyaml click librosa\n```\n4. 下载并解压 [VCTK 数据集](https:\u002F\u002Fdatashare.ed.ac.uk\u002Fhandle\u002F10283\u002F3443)，然后使用 [VCTK.ipynb](https:\u002F\u002Fgithub.com\u002Fyl4579\u002FStarGANv2-VC\u002Fblob\u002Fmain\u002FData\u002FVCTK.ipynb) 准备数据（如下采样至 24 kHz 等）。你也可以[下载我们准备好的数据集](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1t7QQbu4YC_P1mv9puA_KgSomSFDsSzD6\u002Fview?usp=sharing)并解压到 `Data` 文件夹，使用提供的 `config.yml` 来复现我们的模型。\n\n## 训练\n```bash\npython train.py --config_path .\u002FConfigs\u002Fconfig.yml\n```\n请在 `config.yml` 文件中指定训练和验证数据。将 `num_domains` 更改为数据集中的说话者数量。数据列表格式需为 `filename.wav|speaker_number`，参见 [train_list.txt](https:\u002F\u002Fgithub.com\u002Fyl4579\u002FStarGANv2-VC\u002Fblob\u002Fmain\u002FData\u002Ftrain_list.txt) 作为示例。\n\n检查点和 Tensorboard 日志将保存在 `log_dir` 中。为了加速训练，你可能希望将 `batch_size` 设置为 GPU RAM 所能承受的最大值。但请注意，`batch_size = 5` 将占用约 10G GPU RAM。\n\n## 推理\n\n详情请参考 [inference.ipynb](https:\u002F\u002Fgithub.com\u002Fyl4579\u002FStarGANv2-VC\u002Fblob\u002Fmain\u002FDemo\u002Finference.ipynb)。\n\n在 VCTK 语料库上预训练的 StarGANv2 和 ParallelWaveGAN 可从以下链接下载：[StarGANv2 链接](https:\u002F\u002Fhuggingface.co\u002Fyl4579\u002FStarGANv2-VC\u002Fblob\u002Fmain\u002FModels.zip) 和 [ParallelWaveGAN 链接](https:\u002F\u002Fhuggingface.co\u002Fyl4579\u002FStarGANv2-VC\u002Fblob\u002Fmain\u002FVocoder.zip)。请分别解压到 `Models` 和 `Vocoder` 文件夹，并运行笔记本中的每个单元格。\n\n## ASR 和 F0 模型\n\n预训练的 F0 和 ASR 模型在 `Utils` 文件夹下提供。F0 和 ASR 模型均使用 [meldataset.py](https:\u002F\u002Fgithub.com\u002Fyl4579\u002FStarGANv2-VC\u002Fblob\u002Fmain\u002Fmeldataset.py) 预处理的梅尔频谱图进行训练，且两个模型都仅使用语音数据训练。\n\nASR 模型是在英语语料库上训练的，但在训练其他语言（如日语）的 StarGANv2 模型时似乎也能工作。F0 模型在处理歌唱数据时也表现良好。然而，为了获得最佳性能，鼓励为非英语和非语音数据训练你自己的 ASR 和 F0 模型。\n\n你可以使用自己的梅尔频谱图预处理方式编辑 [meldataset.py](https:\u002F\u002Fgithub.com\u002Fyl4579\u002FStarGANv2-VC\u002Fblob\u002Fmain\u002Fmeldataset.py)，但提供的预训练模型将不再适用。你将需要使用新的预处理方式训练自己的 ASR 和 F0 模型。\n\n训练新 ASR 模型的代码可在[此处](https:\u002F\u002Fgithub.com\u002Fyl4579\u002FAuxiliaryASR)获取，训练新 F0 模型的代码可在[此处](https:\u002F\u002Fgithub.com\u002Fyl4579\u002FPitchExtractor)获取。\n\n## 参考文献\n- [clovaai\u002Fstargan-v2](https:\u002F\u002Fgithub.com\u002Fclovaai\u002Fstargan-v2)\n- [kan-bayashi\u002FParallelWaveGAN](https:\u002F\u002Fgithub.com\u002Fkan-bayashi\u002FParallelWaveGAN)\n- [tosaka-m\u002Fjapanese_realtime_tts](https:\u002F\u002Fgithub.com\u002Ftosaka-m\u002Fjapanese_realtime_tts)\n- [keums\u002FmelodyExtraction_JDC](https:\u002F\u002Fgithub.com\u002Fkeums\u002FmelodyExtraction_JDC)\n\n## 致谢\n作者感谢 [@tosaka-m](https:\u002F\u002Fgithub.com\u002Ftosaka-m) 提供的优秀仓库和有价值的讨论。","# StarGANv2-VC 快速上手指南\n\nStarGANv2-VC 是一个基于生成对抗网络（GAN）的非并行、无监督语音转换框架，支持多对多、跨语言和歌唱语音转换。\n\n## 环境准备\n\n### 系统要求\n- Python >= 3.7\n- 支持 CUDA 的 GPU（推荐用于训练）\n\n### 前置依赖\n1. 克隆仓库：\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fyl4579\u002FStarGANv2-VC.git\ncd StarGANv2-VC\n```\n\n2. 安装 Python 依赖：\n```bash\npip install SoundFile torchaudio munch parallel_wavegan torch pydub pyyaml click librosa\n```\n\n## 安装步骤\n\n### 数据准备\n1. 下载 [VCTK 数据集](https:\u002F\u002Fdatashare.ed.ac.uk\u002Fhandle\u002F10283\u002F3443)\n2. 使用 `Data\u002FVCTK.ipynb` 脚本预处理数据（降采样至 24 kHz 等）\n3. 或直接下载[已预处理的数据集](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1t7QQbu4YC_P1mv9puA_KgSomSFDsSzD6\u002Fview)，解压到 `Data` 文件夹\n\n### 配置调整\n编辑 `Configs\u002Fconfig.yml` 文件：\n- 指定训练和验证数据路径\n- 设置 `num_domains` 为数据集中说话人数量\n- 数据列表格式应为：`filename.wav|speaker_number`\n\n## 基本使用\n\n### 训练模型\n```bash\npython train.py --config_path .\u002FConfigs\u002Fconfig.yml\n```\n- 检查点和 Tensorboard 日志将保存在 `log_dir`\n- 建议根据 GPU 显存调整 `batch_size`（batch_size=5 约需 10G 显存）\n\n### 推理转换\n1. 下载预训练模型：\n   - [StarGANv2 模型](https:\u002F\u002Fhuggingface.co\u002Fyl4579\u002FStarGANv2-VC\u002Fblob\u002Fmain\u002FModels.zip)\n   - [ParallelWaveGAN 声码器](https:\u002F\u002Fhuggingface.co\u002Fyl4579\u002FStarGANv2-VC\u002Fblob\u002Fmain\u002FVocoder.zip)\n\n2. 分别解压到 `Models` 和 `Vocoder` 文件夹\n\n3. 运行 `Demo\u002Finference.ipynb` 笔记本进行语音转换\n\n### 辅助模型\n- ASR 和 F0 预训练模型位于 `Utils` 文件夹\n- 对于非英语数据，建议重新训练 ASR 和 F0 模型\n- ASR 模型训练代码：[AuxiliaryASR](https:\u002F\u002Fgithub.com\u002Fyl4579\u002FAuxiliaryASR)\n- F0 模型训练代码：[PitchExtractor](https:\u002F\u002Fgithub.com\u002Fyl4579\u002FPitchExtractor)\n\n## 注意事项\n- 修改 `meldataset.py` 中的梅尔频谱预处理后，需重新训练 ASR 和 F0 模型\n- 框架支持实时语音转换（配合 Parallel WaveGAN 声码器）\n- 可应用于情感语音、假声等风格化语音转换任务","**场景背景**：一家小型有声书制作公司，需要将一位因喉炎暂时无法录音的畅销书作者的过往朗读音频，转换为另一位备用配音员的声音，以按时完成一部新小说的有声书制作，同时保持作者声音的品牌辨识度。\n\n### 没有 StarGANv2-VC 时\n- **音质损失严重**：传统的语音转换方法依赖于平行语料（同一句话由两个人朗读），但无法获取备用配音员朗读作者全部文本的音频，导致转换后的声音机械、不自然，有明显电子音。\n- **制作周期漫长**：需要组织配音员模仿并录制大量样本，进行复杂的对齐和参数调整，一个章节的转换就需要音频工程师数天的手工处理。\n- **风格单一呆板**：转换后的语音语调单一，无法保留原作者朗读时独特的情感起伏、强调和节奏感，使得有声书失去了原有的叙事魅力。\n- **无法处理特殊片段**：作者过往音频中包含一些情感化的叹气或轻笑声，传统方法在处理这些非标准语音时效果极差，往往直接扭曲或忽略。\n\n### 使用 StarGANv2-VC 后\n- **获得自然音质**：利用其非平行数据训练能力，直接学习作者和备用配音员的语音特征，生成的声音清晰、自然，接近真人录音，听众几乎察觉不到是转换后的声音。\n- **实现高效转换**：只需分别提供作者和配音员少量的无标注语音数据，模型即可自动学习并完成批量转换。原本数天的工作缩短到几小时内，保障了项目按时交付。\n- **保持丰富风格**：模型的风格编码器能够捕捉并迁移原作者语音中的情感和韵律特征，备用配音员的声音也能呈现出与原作者相似的讲述节奏和情感色彩。\n- **兼容多样语音**：框架对非标准语音（如情感语音、气声）具有良好的泛化能力，能较好地保留并转换这些细微的听觉元素，使旁白更生动。\n\nStarGANv2-VC 的核心价值在于，它让高质量、保风格的语音转换摆脱了对平行语料库的依赖，在紧急情况下也能快速生成自然且富有表现力的替代语音，解决了内容制作中的关键产能和连续性难题。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fyl4579_StarGANv2-VC_5405cd6d.png","yl4579","Aaron (Yinghao) Li","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fyl4579_11fe7b6e.png",null,"Columbia University","New York, US","https:\u002F\u002Fgithub.com\u002Fyl4579",[84,88],{"name":85,"color":86,"percentage":87},"Python","#3572A5",93.8,{"name":89,"color":90,"percentage":91},"Jupyter Notebook","#DA5B0B",6.2,519,111,"2026-03-31T17:15:27","MIT",4,"Linux, macOS, Windows","需要 NVIDIA GPU（训练时 batch_size=5 约需 10GB 显存），支持 CUDA 的 PyTorch","未说明",{"notes":101,"python":102,"dependencies":103},"需下载 VCTK 数据集（约 10GB），预训练模型需从 Hugging Face 下载。支持实时语音转换，可使用 ParallelWaveGAN 作为声码器。非英语数据建议训练自定义 ASR 和 F0 模型。",">=3.7",[104,105,106,107,108,109,110,111,112],"torch","torchaudio","librosa","SoundFile","parallel_wavegan","pydub","pyyaml","click","munch",[13,14,55],[115,116,117,118,119,120,121],"voice-conversion","speech-synthesis","gan","deep-learning","speech","stargan-v2","interspeech2021","2026-03-27T02:49:30.150509","2026-04-06T08:40:10.512246",[125,130,135,140,145,150],{"id":126,"question_zh":127,"answer_zh":128,"source_url":129},3856,"如何获取ASR和F0网络的训练代码？","ASR和F0模型的训练代码已分别发布在独立的仓库中。\n- **ASR训练代码**: https:\u002F\u002Fgithub.com\u002Fyl4579\u002FAuxiliaryASR\n- **F0提取器训练代码**: https:\u002F\u002Fgithub.com\u002Fyl4579\u002FPitchExtractor\n你可以使用这些仓库中的代码，用自己的数据集重新训练模型。","https:\u002F\u002Fgithub.com\u002Fyl4579\u002FStarGANv2-VC\u002Fissues\u002F9",{"id":131,"question_zh":132,"answer_zh":133,"source_url":134},3857,"是否有预训练的HiFi-Gan声码器模型？","关于HiFi-Gan声码器的训练，如果你希望使用与本仓库相同的预处理方式，可以尝试将HiFi-Gan仓库中的`meldataset.py`文件替换为特定的预处理脚本（具体代码片段见Issue评论）。此外，在训练HiFi-Gan时，你可能需要根据模型输出尺寸不匹配的问题，参考社区解决方案修改`model.py`代码，例如应用`cutoff (conv_in_size * u) after each transposed convolution`这类修复。建议在专门的声码器仓库（如 https:\u002F\u002Fgithub.com\u002Fkan-bayashi\u002FParallelWaveGAN ）讨论训练细节。","https:\u002F\u002Fgithub.com\u002Fyl4579\u002FStarGANv2-VC\u002Fissues\u002F59",{"id":136,"question_zh":137,"answer_zh":138,"source_url":139},3858,"如何改进多语言歌声转换效果？","对于歌声转换效果不理想的问题，一种方案是专门针对你的歌声数据集从头开始训练HiFi-Gan声码器，而不是仅仅进行微调。有用户表示，从预训练模型微调50k步后效果不佳，转而使用自己的数据集从头训练HiFi-Gan取得了更好的结果。这涉及到调整HiFi-Gan的训练配置和预处理流程。","https:\u002F\u002Fgithub.com\u002Fyl4579\u002FStarGANv2-VC\u002Fissues\u002F48",{"id":141,"question_zh":142,"answer_zh":143,"source_url":144},3859,"如何在Windows上实现实时推理？","实现实时推理的一个挑战是音频块拼接时的相位不匹配导致的爆音问题。一种解决方案是：\n1.  转换约1秒的音频（包含新块及历史数据）。\n2.  将转换后的音频裁剪回新块的大小。\n3.  将新块与之前已转换的块进行拼接，并在拼接处使用约16毫秒的交叉淡入淡出来混合波形，以消除因波形端点不连续而产生的爆裂声。\n这种方法使用`noisereduce`等Python模块，在保证音质连贯的前提下，延迟可以降低到约50毫秒。","https:\u002F\u002Fgithub.com\u002Fyl4579\u002FStarGANv2-VC\u002Fissues\u002F62",{"id":146,"question_zh":147,"answer_zh":148,"source_url":149},3860,"梅尔频谱图的采样率不一致会影响结果吗？（16000 vs 24000）","不会产生负面影响。虽然原始音频是24kHz，但梅尔频谱计算使用了16kHz的尺度（即映射到0-8kHz范围）。这是因为ParallelWaveGAN这类声码器具备上采样能力，即使输入的梅尔频谱图是基于较低采样率计算的，它也能合成出较高采样率（如24kHz）的音频波形，因此对生成的音频质量几乎没有影响。","https:\u002F\u002Fgithub.com\u002Fyl4579\u002FStarGANv2-VC\u002Fissues\u002F10",{"id":151,"question_zh":152,"answer_zh":153,"source_url":154},3861,"如何训练与StarGANv2-VC兼容的自定义声码器检查点？","StarGANv2-VC输出的梅尔频谱图在预处理（如对数底数、归一化方式）上与标准ParallelWaveGAN训练设置不同，导致直接使用其他检查点不兼容。\n关键是要确保声码器训练时使用的**预处理流程与StarGANv2-VC生成梅尔频谱图的流程完全一致**。这包括梅尔尺度的参数、对数变换的底数（可能是自然对数`log`而非`log10`）以及归一化方法。你需要根据本仓库的预处理代码（可参考Issue #8中的讨论）来调整声码器训练的数据处理部分，以确保输入特征匹配。","https:\u002F\u002Fgithub.com\u002Fyl4579\u002FStarGANv2-VC\u002Fissues\u002F8",[]]