[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-lifeiteng--vall-e":3,"tool-lifeiteng--vall-e":65},[4,17,27,35,48,57],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",149489,2,"2026-04-10T11:32:46",[13,14,15],"开发框架","Agent","语言模型","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,3,"2026-04-06T11:19:32",[15,26,14,13],"图像",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":10,"last_commit_at":33,"category_tags":34,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":10,"last_commit_at":41,"category_tags":42,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",85092,"2026-04-10T11:13:16",[26,43,44,45,14,46,15,13,47],"数据工具","视频","插件","其他","音频",{"id":49,"name":50,"github_repo":51,"description_zh":52,"stars":53,"difficulty_score":54,"last_commit_at":55,"category_tags":56,"status":16},5784,"funNLP","fighting41love\u002FfunNLP","funNLP 是一个专为中文自然语言处理（NLP）打造的超级资源库，被誉为\"NLP 民工的乐园”。它并非单一的软件工具，而是一个汇集了海量开源项目、数据集、预训练模型和实用代码的综合性平台。\n\n面对中文 NLP 领域资源分散、入门门槛高以及特定场景数据匮乏的痛点，funNLP 提供了“一站式”解决方案。这里不仅涵盖了分词、命名实体识别、情感分析、文本摘要等基础任务的标准工具，还独特地收录了丰富的垂直领域资源，如法律、医疗、金融行业的专用词库与数据集，甚至包含古诗词生成、歌词创作等趣味应用。其核心亮点在于极高的全面性与实用性，从基础的字典词典到前沿的 BERT、GPT-2 模型代码，再到高质量的标注数据和竞赛方案，应有尽有。\n\n无论是刚刚踏入 NLP 领域的学生、需要快速验证想法的算法工程师，还是从事人工智能研究的学者，都能在这里找到急需的“武器弹药”。对于开发者而言，它能大幅减少寻找数据和复现模型的时间；对于研究者，它提供了丰富的基准测试资源和前沿技术参考。funNLP 以开放共享的精神，极大地降低了中文自然语言处理的开发与研究成本，是中文 AI 社区不可或缺的宝藏仓库。",79857,1,"2026-04-08T20:11:31",[15,43,46],{"id":58,"name":59,"github_repo":60,"description_zh":61,"stars":62,"difficulty_score":23,"last_commit_at":63,"category_tags":64,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[14,26,13,15,46],{"id":66,"github_repo":67,"name":68,"description_en":69,"description_zh":70,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":77,"owner_avatar_url":78,"owner_bio":79,"owner_company":80,"owner_location":81,"owner_email":82,"owner_twitter":83,"owner_website":84,"owner_url":85,"languages":86,"stars":99,"forks":100,"last_commit_at":101,"license":102,"difficulty_score":103,"env_os":104,"env_gpu":105,"env_ram":106,"env_deps":107,"category_tags":120,"github_topics":121,"view_count":10,"oss_zip_url":80,"oss_zip_packed_at":80,"status":16,"created_at":128,"updated_at":129,"faqs":130,"releases":161},6280,"lifeiteng\u002Fvall-e","vall-e","PyTorch implementation of VALL-E(Zero-Shot Text-To-Speech), Reproduced Demo https:\u002F\u002Flifeiteng.github.io\u002Fvalle\u002Findex.html","VALL-E 是一个基于 PyTorch 实现的开源文本转语音（TTS）项目，复现了微软提出的 VALL-E 神经编解码语言模型。它的核心能力是“零样本”语音合成：只需提供一段短短几秒的参考人声录音，就能让 AI 模仿该说话人的音色、语调和情感来朗读任意新文本，而无需针对特定人物进行重新训练。\n\n这一技术突破了传统 TTS 模型需要大量特定用户数据才能定制声音的局限，极大地降低了高保真语音合成的门槛。VALL-E 将语音生成任务转化为类似自然语言处理的序列预测问题，利用神经编解码器捕捉极其细腻的声学特征，从而生成自然度极高的语音。\n\n该项目特别适合人工智能研究人员、语音技术开发者以及高校学生使用。它不仅提供了完整的训练与推理代码，还详细展示了如何在单张消费级显卡（24GB 显存）上完成模型训练，并支持英文和中文数据集的实战示例。对于希望深入理解前沿语音合成架构、进行二次开发或学术探索的用户来说，VALL-E 是一个极具价值的参考实现。需要注意的是，由于该技术能高度还原说话人身份，项目方出于伦理安全考虑，未提供预训练好的成品模型，旨在鼓励用户在合规前提下进行研究与应用。","Language : 🇺🇸 | [🇨🇳](.\u002FREADME.zh-CN.md)\n\nAn unofficial PyTorch implementation of VALL-E([Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers](https:\u002F\u002Farxiv.org\u002Fabs\u002F2301.02111)).\n\nWe can train the VALL-E model on one GPU.\n\n![model](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Flifeiteng_vall-e_readme_e96a91103675.jpg)\n\n## Demo\n\n* [official demo](https:\u002F\u002Fvalle-demo.github.io\u002F)\n* [reproduced demo](https:\u002F\u002Flifeiteng.github.io\u002Fvalle\u002Findex.html)\n\n\u003Ca href=\"https:\u002F\u002Fwww.buymeacoffee.com\u002Ffeiteng\" target=\"_blank\">\u003Cimg src=\"https:\u002F\u002Fcdn.buymeacoffee.com\u002Fbuttons\u002Fv2\u002Fdefault-blue.png\" alt=\"Buy Me A Coffee\" style=\"height: 40px !important;width: 145px !important;\" >\u003C\u002Fa>\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Flifeiteng_vall-e_readme_57f9c9e63f96.png\" width=\"500\" height=\"400\">\n\n\n## Broader impacts\n\n> Since VALL-E could synthesize speech that maintains speaker identity, it may carry potential risks in misuse of the model, such as spoofing voice identification or impersonating a specific speaker.\n\nTo avoid abuse, Well-trained models and services will not be provided.\n\n## Install Deps\n\nTo get up and running quickly just follow the steps below:\n\n```\n# PyTorch\npip install torch==1.13.1 torchaudio==0.13.1 --extra-index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu116\npip install torchmetrics==0.11.1\n# fbank\npip install librosa==0.8.1\n\n# phonemizer pypinyin\napt-get install espeak-ng\n## OSX: brew install espeak\npip install phonemizer==3.2.1 pypinyin==0.48.0\n\n# lhotse update to newest version\n# https:\u002F\u002Fgithub.com\u002Flhotse-speech\u002Flhotse\u002Fpull\u002F956\n# https:\u002F\u002Fgithub.com\u002Flhotse-speech\u002Flhotse\u002Fpull\u002F960\npip uninstall lhotse\npip uninstall lhotse\npip install git+https:\u002F\u002Fgithub.com\u002Flhotse-speech\u002Flhotse\n\n# k2\n# find the right version in https:\u002F\u002Fhuggingface.co\u002Fcsukuangfj\u002Fk2\npip install https:\u002F\u002Fhuggingface.co\u002Fcsukuangfj\u002Fk2\u002Fresolve\u002Fmain\u002Fcuda\u002Fk2-1.23.4.dev20230224+cuda11.6.torch1.13.1-cp310-cp310-linux_x86_64.whl\n\n# icefall\ngit clone https:\u002F\u002Fgithub.com\u002Fk2-fsa\u002Ficefall\ncd icefall\npip install -r requirements.txt\nexport PYTHONPATH=`pwd`\u002F..\u002Ficefall:$PYTHONPATH\necho \"export PYTHONPATH=`pwd`\u002F..\u002Ficefall:\\$PYTHONPATH\" >> ~\u002F.zshrc\necho \"export PYTHONPATH=`pwd`\u002F..\u002Ficefall:\\$PYTHONPATH\" >> ~\u002F.bashrc\ncd -\nsource ~\u002F.zshrc\n\n# valle\ngit clone https:\u002F\u002Fgithub.com\u002Flifeiteng\u002Fvalle.git\ncd valle\npip install -e .\n```\n\n\n## Training&Inference\n* #### English example [examples\u002Flibritts\u002FREADME.md](egs\u002Flibritts\u002FREADME.md)\n* #### Chinese example [examples\u002Faishell1\u002FREADME.md](egs\u002Faishell1\u002FREADME.md)\n* ### Prefix Mode 0 1 2 4 for NAR Decoder\n  **Paper Chapter 5.1** \"The average length of the waveform in LibriLight is 60 seconds. During\ntraining, we randomly crop the waveform to a random length between 10 seconds and 20 seconds. For the NAR acoustic prompt tokens, we select a random segment waveform of 3 seconds from the same utterance.\"\n  * **0**: no acoustic prompt tokens\n  * **1**: random prefix of current batched utterances **(This is recommended)**\n  * **2**: random segment of current batched utterances\n  * **4**: same as the paper (As they randomly crop the long waveform to multiple utterances, so the same utterance means pre or post utterance in the same long waveform.)\n    ```\n    # If train NAR Decoders with prefix_mode 4\n    python3 bin\u002Ftrainer.py --prefix_mode 4 --dataset libritts --input-strategy PromptedPrecomputedFeatures ...\n    ```\n\n#### [LibriTTS demo](https:\u002F\u002Flifeiteng.github.io\u002Fvalle\u002Findex.html) Trained on one GPU with 24G memory\n\n```\ncd examples\u002Flibritts\n\n# step1 prepare dataset\nbash prepare.sh --stage -1 --stop-stage 3\n\n# step2 train the model on one GPU with 24GB memory\nexp_dir=exp\u002Fvalle\n\n## Train AR model\npython3 bin\u002Ftrainer.py --max-duration 80 --filter-min-duration 0.5 --filter-max-duration 14 --train-stage 1 \\\n      --num-buckets 6 --dtype \"bfloat16\" --save-every-n 10000 --valid-interval 20000 \\\n      --model-name valle --share-embedding true --norm-first true --add-prenet false \\\n      --decoder-dim 1024 --nhead 16 --num-decoder-layers 12 --prefix-mode 1 \\\n      --base-lr 0.05 --warmup-steps 200 --average-period 0 \\\n      --num-epochs 20 --start-epoch 1 --start-batch 0 --accumulate-grad-steps 4 \\\n      --exp-dir ${exp_dir}\n\n## Train NAR model\ncp ${exp_dir}\u002Fbest-valid-loss.pt ${exp_dir}\u002Fepoch-2.pt  # --start-epoch 3=2+1\npython3 bin\u002Ftrainer.py --max-duration 40 --filter-min-duration 0.5 --filter-max-duration 14 --train-stage 2 \\\n      --num-buckets 6 --dtype \"float32\" --save-every-n 10000 --valid-interval 20000 \\\n      --model-name valle --share-embedding true --norm-first true --add-prenet false \\\n      --decoder-dim 1024 --nhead 16 --num-decoder-layers 12 --prefix-mode 1 \\\n      --base-lr 0.05 --warmup-steps 200 --average-period 0 \\\n      --num-epochs 40 --start-epoch 3 --start-batch 0 --accumulate-grad-steps 4 \\\n      --exp-dir ${exp_dir}\n\n# step3 inference\npython3 bin\u002Finfer.py --output-dir infer\u002Fdemos \\\n    --checkpoint=${exp_dir}\u002Fbest-valid-loss.pt \\\n    --text-prompts \"KNOT one point one five miles per hour.\" \\\n    --audio-prompts .\u002Fprompts\u002F8463_294825_000043_000000.wav \\\n    --text \"To get up and running quickly just follow the steps below.\" \\\n\n# Demo Inference\nhttps:\u002F\u002Fgithub.com\u002Flifeiteng\u002Flifeiteng.github.com\u002Fblob\u002Fmain\u002Fvalle\u002Frun.sh#L68\n```\n![train](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Flifeiteng_vall-e_readme_7f241080152f.png)\n\n#### Troubleshooting\n\n* **SummaryWriter segmentation fault (core dumped)**\n   * LINE `tb_writer = SummaryWriter(log_dir=f\"{params.exp_dir}\u002Ftensorboard\")`\n   * FIX  [https:\u002F\u002Fgithub.com\u002Ftensorflow\u002Ftensorboard\u002Fpull\u002F6135\u002Ffiles](https:\u002F\u002Fgithub.com\u002Ftensorflow\u002Ftensorboard\u002Fpull\u002F6135\u002Ffiles)\n   ```\n   file=`python  -c 'import site; print(f\"{site.getsitepackages()[0]}\u002Ftensorboard\u002Fsummary\u002Fwriter\u002Fevent_file_writer.py\")'`\n   sed -i 's\u002Fimport tf\u002Fimport tensorflow_stub as tf\u002Fg' $file\n   ```\n\n#### Training on a custom dataset?\n* prepare the dataset to `lhotse manifests`\n  * There are plenty of references here [lhotse\u002Frecipes](https:\u002F\u002Fgithub.com\u002Flhotse-speech\u002Flhotse\u002Ftree\u002Fmaster\u002Flhotse\u002Frecipes)\n* `python3 bin\u002Ftokenizer.py ...`\n* `python3 bin\u002Ftrainer.py ...`\n\n## Contributing\n\n* Parallelize bin\u002Ftokenizer.py on multi-GPUs\n* \u003Ca href=\"https:\u002F\u002Fwww.buymeacoffee.com\u002Ffeiteng\" target=\"_blank\">\u003Cimg src=\"https:\u002F\u002Fcdn.buymeacoffee.com\u002Fbuttons\u002Fv2\u002Fdefault-blue.png\" alt=\"Buy Me A Coffee\" style=\"height: 40px !important;width: 145px !important;\" >\u003C\u002Fa>\n\n## Citing\n\nTo cite this repository:\n\n```bibtex\n@misc{valle,\n  author={Feiteng Li},\n  title={VALL-E: A neural codec language model},\n  year={2023},\n  url={http:\u002F\u002Fgithub.com\u002Flifeiteng\u002Fvall-e}\n}\n```\n\n```bibtex\n@article{VALL-E,\n  title     = {Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers},\n  author    = {Chengyi Wang, Sanyuan Chen, Yu Wu,\n               Ziqiang Zhang, Long Zhou, Shujie Liu,\n               Zhuo Chen, Yanqing Liu, Huaming Wang,\n               Jinyu Li, Lei He, Sheng Zhao, Furu Wei},\n  year      = {2023},\n  eprint    = {2301.02111},\n  archivePrefix = {arXiv},\n  volume    = {abs\u002F2301.02111},\n  url       = {http:\u002F\u002Farxiv.org\u002Fabs\u002F2301.02111},\n}\n```\n\n## Star History\n\n[![Star History Chart](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Flifeiteng_vall-e_readme_6129e1ca44e7.png)](https:\u002F\u002Fstar-history.com\u002F#lifeiteng\u002Fvall-e&Date)\n","语言：🇺🇸 | [🇨🇳](.\u002FREADME.zh-CN.md)\n\nVALL-E 的非官方 PyTorch 实现（论文标题：Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers，arXiv:2301.02111）。\n\n我们可以在单块 GPU 上训练 VALL-E 模型。\n\n![model](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Flifeiteng_vall-e_readme_e96a91103675.jpg)\n\n## 演示\n\n* 官方演示：[valle-demo.github.io](https:\u002F\u002Fvalle-demo.github.io\u002F)\n* 复现演示：[lifeiteng.github.io\u002Fvalle\u002Findex.html](https:\u002F\u002Flifeiteng.github.io\u002Fvalle\u002Findex.html)\n\n\u003Ca href=\"https:\u002F\u002Fwww.buymeacoffee.com\u002Ffeiteng\" target=\"_blank\">\u003Cimg src=\"https:\u002F\u002Fcdn.buymeacoffee.com\u002Fbuttons\u002Fv2\u002Fdefault-blue.png\" alt=\"Buy Me A Coffee\" style=\"height: 40px !important;width: 145px !important;\" >\u003C\u002Fa>\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Flifeiteng_vall-e_readme_57f9c9e63f96.png\" width=\"500\" height=\"400\">\n\n\n## 更广泛的影响\n\n> 由于 VALL-E 能够合成保持说话人身份特征的语音，因此该模型可能存在被滥用的风险，例如用于欺骗语音识别系统或冒充特定说话人。\n\n为避免滥用，我们不会提供经过充分训练的模型和服务。\n\n## 安装依赖\n\n为了快速上手，请按照以下步骤操作：\n\n```\n# PyTorch\npip install torch==1.13.1 torchaudio==0.13.1 --extra-index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu116\npip install torchmetrics==0.11.1\n# fbank\npip install librosa==0.8.1\n\n# phonemizer pypinyin\napt-get install espeak-ng\n## OSX: brew install espeak\npip install phonemizer==3.2.1 pypinyin==0.48.0\n\n# lhotse 更新至最新版本\n# https:\u002F\u002Fgithub.com\u002Flhotse-speech\u002Flhotse\u002Fpull\u002F956\n# https:\u002F\u002Fgithub.com\u002Flhotse-speech\u002Flhotse\u002Fpull\u002F960\npip uninstall lhotse\npip uninstall lhotse\npip install git+https:\u002F\u002Fgithub.com\u002Flhotse-speech\u002Flhotse\n\n# k2\n# 在 https:\u002F\u002Fhuggingface.co\u002Fcsukuangfj\u002Fk2 找到合适的版本\npip install https:\u002F\u002Fhuggingface.co\u002Fcsukuangfj\u002Fk2\u002Fresolve\u002Fmain\u002Fcuda\u002Fk2-1.23.4.dev20230224+cuda11.6.torch1.13.1-cp310-cp310-linux_x86_64.whl\n\n# icefall\ngit clone https:\u002F\u002Fgithub.com\u002Fk2-fsa\u002Ficefall\ncd icefall\npip install -r requirements.txt\nexport PYTHONPATH=`pwd`\u002F..\u002Ficefall:$PYTHONPATH\necho \"export PYTHONPATH=`pwd`\u002F..\u002Ficefall:\\$PYTHONPATH\" >> ~\u002F.zshrc\necho \"export PYTHONPATH=`pwd`\u002F..\u002Ficefall:\\$PYTHONPATH\" >> ~\u002F.bashrc\ncd -\nsource ~\u002F.zshrc\n\n# valle\ngit clone https:\u002F\u002Fgithub.com\u002Flifeiteng\u002Fvalle.git\ncd valle\npip install -e .\n```\n\n\n## 训练与推理\n* #### 英语示例 [examples\u002Flibritts\u002FREADME.md](egs\u002Flibritts\u002FREADME.md)\n* #### 中文示例 [examples\u002Faishell1\u002FREADME.md](egs\u002Faishell1\u002FREADME.md)\n* ### NAR 解码器的前缀模式 0 1 2 4\n  **论文第 5.1 章** “LibriLight 数据集中波形的平均长度为 60 秒。在训练过程中，我们随机截取 10 到 20 秒之间的任意长度。对于 NAR 声学提示标记，我们从同一句话中随机选择一段 3 秒钟的波形。”\n  * **0**：无声学提示标记\n  * **1**：当前批次话语中的随机前缀 **(推荐使用)**\n  * **2**：当前批次话语中的随机片段\n  * **4**：与论文一致（因为他们会将长波形随机切割成多个话语，因此“相同话语”指的是同一段长波形中的前后话语。）\n    ```\n    # 如果使用 prefix_mode 4 训练 NAR 解码器\n    python3 bin\u002Ftrainer.py --prefix_mode 4 --dataset libritts --input-strategy PromptedPrecomputedFeatures ...\n    ```\n\n#### [LibriTTS 演示](https:\u002F\u002Flifeiteng.github.io\u002Fvalle\u002Findex.html) 在一块 24GB 显存的 GPU 上训练完成\n\n```\ncd examples\u002Flibritts\n\n# 步骤1 准备数据集\nbash prepare.sh --stage -1 --stop-stage 3\n\n# 步骤2 在一块 24GB 显存的 GPU 上训练模型\nexp_dir=exp\u002Fvalle\n\n## 训练 AR 模型\npython3 bin\u002Ftrainer.py --max-duration 80 --filter-min-duration 0.5 --filter-max-duration 14 --train-stage 1 \\\n      --num-buckets 6 --dtype \"bfloat16\" --save-every-n 10000 --valid-interval 20000 \\\n      --model-name valle --share-embedding true --norm-first true --add-prenet false \\\n      --decoder-dim 1024 --nhead 16 --num-decoder-layers 12 --prefix-mode 1 \\\n      --base-lr 0.05 --warmup-steps 200 --average-period 0 \\\n      --num-epochs 20 --start-epoch 1 --start-batch 0 --accumulate-grad-steps 4 \\\n      --exp-dir ${exp_dir}\n\n## 训练 NAR 模型\ncp ${exp_dir}\u002Fbest-valid-loss.pt ${exp_dir}\u002Fepoch-2.pt  # --start-epoch 3=2+1\npython3 bin\u002Ftrainer.py --max-duration 40 --filter-min-duration 0.5 --filter-max-duration 14 --train-stage 2 \\\n      --num-buckets 6 --dtype \"float32\" --save-every-n 10000 --valid-interval 20000 \\\n      --model-name valle --share-embedding true --norm-first true --add-prenet false \\\n      --decoder-dim 1024 --nhead 16 --num-decoder-layers 12 --prefix-mode 1 \\\n      --base-lr 0.05 --warmup-steps 200 --average-period 0 \\\n      --num-epochs 40 --start-epoch 3 --start-batch 0 --accumulate-grad-steps 4 \\\n      --exp-dir ${exp_dir}\n\n# 步骤3 推理\npython3 bin\u002Finfer.py --output-dir infer\u002Fdemos \\\n    --checkpoint=${exp_dir}\u002Fbest-valid-loss.pt \\\n    --text-prompts \"KNOT 一点一五英里每小时。\" \\\n    --audio-prompts .\u002Fprompts\u002F8463_294825_000043_000000.wav \\\n    --text \"要快速上手，只需按照以下步骤操作。\" \\\n\n# 演示推理\nhttps:\u002F\u002Fgithub.com\u002Flifeiteng\u002Flifeiteng.github.com\u002Fblob\u002Fmain\u002Fvalle\u002Frun.sh#L68\n```\n![train](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Flifeiteng_vall-e_readme_7f241080152f.png)\n\n#### 故障排除\n\n* **SummaryWriter 分段错误（核心转储）**\n   * 代码行 `tb_writer = SummaryWriter(log_dir=f\"{params.exp_dir}\u002Ftensorboard\")`\n   * 修复方法 [https:\u002F\u002Fgithub.com\u002Ftensorflow\u002Ftensorboard\u002Fpull\u002F6135\u002Ffiles](https:\u002F\u002Fgithub.com\u002Ftensorflow\u002Ftensorboard\u002Fpull\u002F6135\u002Ffiles)\n   ```\n   file=`python  -c 'import site; print(f\"{site.getsitepackages()[0]}\u002Ftensorboard\u002Fsummary\u002Fwriter\u002Fevent_file_writer.py\")'`\n   sed -i 's\u002Fimport tf\u002Fimport tensorflow_stub as tf\u002Fg' $file\n   ```\n\n#### 如何在自定义数据集上训练？\n* 将数据集准备为 `lhotse manifests`\n  * 参考文档：[lhotse\u002Frecipes](https:\u002F\u002Fgithub.com\u002Flhotse-speech\u002Flhotse\u002Ftree\u002Fmaster\u002Flhotse\u002Frecipes)\n* `python3 bin\u002Ftokenizer.py ...`\n* `python3 bin\u002Ftrainer.py ...`\n\n## 贡献\n\n* 将 bin\u002Ftokenizer.py 在多块 GPU 上并行化\n* \u003Ca href=\"https:\u002F\u002Fwww.buymeacoffee.com\u002Ffeiteng\" target=\"_blank\">\u003Cimg src=\"https:\u002F\u002Fcdn.buymeacoffee.com\u002Fbuttons\u002Fv2\u002Fdefault-blue.png\" alt=\"Buy Me A Coffee\" style=\"height: 40px !important;width: 145px !important;\" >\u003C\u002Fa>\n\n## 引用\n\n引用本仓库时，请使用以下格式：\n\n```bibtex\n@misc{valle,\n  author={Feiteng Li},\n  title={VALL-E: 一种神经编解码语言模型},\n  year={2023},\n  url={http:\u002F\u002Fgithub.com\u002Flifeiteng\u002Fvall-e}\n}\n```\n\n```bibtex\n@article{VALL-E,\n  title     = {Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers},\n  author    = {Chengyi Wang, Sanyuan Chen, Yu Wu,\n               Ziqiang Zhang, Long Zhou, Shujie Liu,\n               Zhuo Chen, Yanqing Liu, Huaming Wang,\n               Jinyu Li, Lei He, Sheng Zhao, Furu Wei},\n  year      = {2023},\n  eprint    = {2301.02111},\n  archivePrefix = {arXiv},\n  volume    = {abs\u002F2301.02111},\n  url       = {http:\u002F\u002Farxiv.org\u002Fabs\u002F2301.02111},\n}\n```\n\n## 星标历史\n\n[![星标历史图表](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Flifeiteng_vall-e_readme_6129e1ca44e7.png)](https:\u002F\u002Fstar-history.com\u002F#lifeiteng\u002Fvall-e&Date)","# VALL-E 快速上手指南\n\nVALL-E 是一个基于神经编解码语言模型的零样本文本转语音（TTS）系统的非官方 PyTorch 实现。该版本支持在单张 GPU 上进行训练。\n\n## 1. 环境准备\n\n**系统要求：**\n- Linux 操作系统（推荐）\n- Python 3.10\n- NVIDIA GPU (支持 CUDA 11.6，显存建议 24GB 以复现官方效果，训练可适配更小显存)\n- `espeak-ng` (用于音素转换)\n\n**前置依赖安装：**\n首先安装系统级依赖 `espeak-ng`：\n```bash\n# Ubuntu\u002FDebian\napt-get install espeak-ng\n\n# macOS\nbrew install espeak\n```\n\n## 2. 安装步骤\n\n请依次执行以下命令安装 Python 依赖。为确保兼容性，建议严格按照指定版本安装 PyTorch 及相关库。\n\n```bash\n# 1. 安装 PyTorch (CUDA 11.6 版本)\npip install torch==1.13.1 torchaudio==0.13.1 --extra-index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu116\npip install torchmetrics==0.11.1\n\n# 2. 安装音频处理库\npip install librosa==0.8.1\n\n# 3. 安装音素转换库\npip install phonemizer==3.2.1 pypinyin==0.48.0\n\n# 4. 安装最新版 Lhotse (需卸载旧版以防冲突)\npip uninstall lhotse -y\npip uninstall lhotse -y\npip install git+https:\u002F\u002Fgithub.com\u002Flhotse-speech\u002Flhotse\n\n# 5. 安装 k2 (根据 CUDA 和 Torch 版本选择对应 wheel)\npip install https:\u002F\u002Fhuggingface.co\u002Fcsukuangfj\u002Fk2\u002Fresolve\u002Fmain\u002Fcuda\u002Fk2-1.23.4.dev20230224+cuda11.6.torch1.13.1-cp310-cp310-linux_x86_64.whl\n\n# 6. 安装 icefall 并配置环境变量\ngit clone https:\u002F\u002Fgithub.com\u002Fk2-fsa\u002Ficefall\ncd icefall\npip install -r requirements.txt\nexport PYTHONPATH=`pwd`\u002F..\u002Ficefall:$PYTHONPATH\n# 将环境变量写入配置文件以便永久生效\necho \"export PYTHONPATH=`pwd`\u002F..\u002Ficefall:\\$PYTHONPATH\" >> ~\u002F.zshrc\necho \"export PYTHONPATH=`pwd`\u002F..\u002Ficefall:\\$PYTHONPATH\" >> ~\u002F.bashrc\ncd -\nsource ~\u002F.zshrc\n\n# 7. 克隆并安装 VALL-E\ngit clone https:\u002F\u002Fgithub.com\u002Flifeiteng\u002Fvalle.git\ncd valle\npip install -e .\n```\n\n## 3. 基本使用\n\n以下以 **LibriTTS (英文)** 数据集为例，展示从数据准备、模型训练到推理的完整流程。\n\n### 第一步：准备数据集\n进入示例目录并运行预处理脚本：\n```bash\ncd examples\u002Flibritts\nbash prepare.sh --stage -1 --stop-stage 3\n```\n\n### 第二步：训练模型\n本示例展示如何在单张 24G 显存 GPU 上训练 AR (自回归) 和 NAR (非自回归) 模型。\n\n**1. 训练 AR 模型：**\n```bash\nexp_dir=exp\u002Fvalle\n\npython3 bin\u002Ftrainer.py --max-duration 80 --filter-min-duration 0.5 --filter-max-duration 14 --train-stage 1 \\\n      --num-buckets 6 --dtype \"bfloat16\" --save-every-n 10000 --valid-interval 20000 \\\n      --model-name valle --share-embedding true --norm-first true --add-prenet false \\\n      --decoder-dim 1024 --nhead 16 --num-decoder-layers 12 --prefix-mode 1 \\\n      --base-lr 0.05 --warmup-steps 200 --average-period 0 \\\n      --num-epochs 20 --start-epoch 1 --start-batch 0 --accumulate-grad-steps 4 \\\n      --exp-dir ${exp_dir}\n```\n\n**2. 训练 NAR 模型：**\n需要先复制 AR 模型的检查点作为初始化，然后继续训练。\n```bash\ncp ${exp_dir}\u002Fbest-valid-loss.pt ${exp_dir}\u002Fepoch-2.pt\n\npython3 bin\u002Ftrainer.py --max-duration 40 --filter-min-duration 0.5 --filter-max-duration 14 --train-stage 2 \\\n      --num-buckets 6 --dtype \"float32\" --save-every-n 10000 --valid-interval 20000 \\\n      --model-name valle --share-embedding true --norm-first true --add-prenet false \\\n      --decoder-dim 1024 --nhead 16 --num-decoder-layers 12 --prefix-mode 1 \\\n      --base-lr 0.05 --warmup-steps 200 --average-period 0 \\\n      --num-epochs 40 --start-epoch 3 --start-batch 0 --accumulate-grad-steps 4 \\\n      --exp-dir ${exp_dir}\n```\n*注：`--prefix-mode 1` 表示使用当前批次语句的随机前缀作为声学提示，这是推荐设置。*\n\n### 第三步：模型推理\n使用训练好的模型进行语音合成。你需要提供一段参考音频（audio-prompts）和对应的文本（text-prompts），以及想要合成的新文本。\n\n```bash\npython3 bin\u002Finfer.py --output-dir infer\u002Fdemos \\\n    --checkpoint=${exp_dir}\u002Fbest-valid-loss.pt \\\n    --text-prompts \"KNOT one point one five miles per hour.\" \\\n    --audio-prompts .\u002Fprompts\u002F8463_294825_000043_000000.wav \\\n    --text \"To get up and running quickly just follow the steps below.\"\n```\n\n生成的音频将保存在 `infer\u002Fdemos` 目录下。\n\n> **注意**：由于 VALL-E 具有保持说话人身份的合成能力，可能存在被滥用的风险（如语音伪造）。本项目不提供预训练好的模型文件或直接服务，用户需自行训练以确保合规使用。","一家小型独立游戏工作室正在为角色制作多语言配音，但预算有限且无法聘请专业声优录制所有方言版本。\n\n### 没有 vall-e 时\n- **成本高昂**：每增加一种语言或方言，都需要重新聘请配音演员，导致本地化预算迅速超支。\n- **音色不一致**：不同语言的配音由不同演员演绎，导致主角在切换语言时声音特征断裂，破坏沉浸感。\n- **迭代周期长**：剧本微调后需重新协调演员档期进行补录，严重拖慢开发进度。\n- **小语种资源匮乏**：难以找到擅长特定稀有方言的专业配音员，迫使团队放弃部分市场的本地化计划。\n\n### 使用 vall-e 后\n- **零样本克隆**：仅需一段主角的英文录音样本，vall-e 即可直接合成中文、日文等多种语言的语音，无需额外真人录制。\n- **身份保持完美**：生成的多语言语音完美保留原说话人的音色、情感及说话习惯，确保角色形象全球统一。\n- **即时修改反馈**：策划修改台词后，开发者可在几分钟内重新生成对应语音，大幅缩短测试与迭代循环。\n- **突破语种限制**：利用模型强大的泛化能力，轻松生成稀缺方言版本，以极低门槛拓展游戏受众边界。\n\nvall-e 通过零样本语音合成技术，让中小团队也能以极低成本实现高质量、音色统一的多语言角色配音。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Flifeiteng_vall-e_57f9c9e6.png","lifeiteng","Feiteng","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Flifeiteng_eaf8a858.png","Full stack Algorithm Engineer",null,"Shanghai","lifeiteng0422@gmail.com","FeitengLi","https:\u002F\u002Fx.com\u002FFeitengLi","https:\u002F\u002Fgithub.com\u002Flifeiteng",[87,91,95],{"name":88,"color":89,"percentage":90},"Python","#3572A5",95.6,{"name":92,"color":93,"percentage":94},"Shell","#89e051",4.1,{"name":96,"color":97,"percentage":98},"Dockerfile","#384d54",0.3,2207,333,"2026-04-08T14:20:24","Apache-2.0",4,"Linux, macOS","需要 NVIDIA GPU，训练示例要求单卡 24GB 显存，CUDA 11.6","未说明",{"notes":108,"python":109,"dependencies":110},"1. macOS 用户需通过 brew 安装 espeak，Linux 用户需通过 apt-get 安装 espeak-ng。2. k2 库需要安装特定版本的预编译 wheel 文件（匹配 CUDA 11.6 和 Torch 1.13.1）。3. 官方示例显示在单张 24GB 显存的 GPU 上可进行训练。4. 遇到 TensorBoard 报错需手动修改 site-packages 中的源码修复。5. 该项目为非官方复现版本，不提供预训练模型以避免滥用风险。","3.10",[111,112,113,114,115,116,117,118,119],"torch==1.13.1","torchaudio==0.13.1","torchmetrics==0.11.1","librosa==0.8.1","phonemizer==3.2.1","pypinyin==0.48.0","lhotse (latest git version)","k2 (custom CUDA build)","icefall",[47,15],[122,123,124,125,126,68,127],"in-context-learning","large-language-models","text-to-speech","tts","chatgpt","valle","2026-03-27T02:49:30.150509","2026-04-10T22:19:40.475999",[131,136,141,146,151,156],{"id":132,"question_zh":133,"answer_zh":134,"source_url":135},28416,"训练过程中模型无法收敛或出现 NaN 错误怎么办？","这是一个已知问题，维护者已提交修复代码来解决训练中的 NaN 问题。请参考以下提交记录获取修复方案：https:\u002F\u002Fgithub.com\u002Flifeiteng\u002Fvall-e\u002Fcommit\u002F79200b2a2cea53cd8f853b8bbaceb9963bb786bb。此外，新构建的代码库可能需要一些时间才能完全正常工作，建议关注最新的 demo 和训练脚本：https:\u002F\u002Fgithub.com\u002Flifeiteng\u002Fvall-e\u002Ftree\u002Fmain\u002Fegs\u002Flibritts#demo","https:\u002F\u002Fgithub.com\u002Flifeiteng\u002Fvall-e\u002Fissues\u002F37",{"id":137,"question_zh":138,"answer_zh":139,"source_url":140},28417,"使用多 GPU 训练时卡在 'Computing validation loss' 步骤不动了怎么办？","这是多 GPU 训练时的一个已知问题。当使用超过 1 个 GPU 时，程序可能会在计算验证损失时永久挂起。临时解决方法是注释掉 trainer.py 文件中的第 563-564 行代码（https:\u002F\u002Fgithub.com\u002Flifeiteng\u002Fvall-e\u002Fblob\u002Fmain\u002Fvalle\u002Fbin\u002Ftrainer.py#L563-L564），这样可以允许单个 GPU 计算验证损失并写入 tensorboard。维护者后续已提交修复补丁，请确保拉取最新代码后再尝试多 GPU 训练。","https:\u002F\u002Fgithub.com\u002Flifeiteng\u002Fvall-e\u002Fissues\u002F86",{"id":142,"question_zh":143,"answer_zh":144,"source_url":145},28418,"如何在 WenetSpeech 数据集上进行训练及遇到显存不足或 Encodec 报错如何处理？","在准备 WenetSpeech 数据时，如果在运行 step 2 (bin\u002Ftokenizer.py) 时遇到显存溢出，请切换到显存更大的 GPU（例如 80G）。关于 Encodec 提取音频特征时的报错，目前社区实验表明直接在原始 WenetSpeech 数据上训练效果不佳（韵律差、音色不稳定）。建议先使用 Voicefixer (https:\u002F\u002Fgithub.com\u002Fhaoheliu\u002Fvoicefixer) 对音频进行增强以去除背景噪音和音乐，然后再用于训练 VALL-E，这样能获得更好的结果。","https:\u002F\u002Fgithub.com\u002Flifeiteng\u002Fvall-e\u002Fissues\u002F141",{"id":147,"question_zh":148,"answer_zh":149,"source_url":150},28419,"Nano 配置模型生成的语音太短或效果不好是什么原因？","Nano 配置（decoder-dim 128, nhead 4 等）的模型参数量太小，导致 AR-Decoder 可能无法正常工作，从而生成极短（如几秒甚至更短）或质量不高的音频。如果遇到生成的 wav 文件只有 5-10kb 的情况，建议不要使用 Nano 配置，或者尝试重新运行推理以获取不同的随机结果，但根本解决方案是使用更大的模型配置进行训练。","https:\u002F\u002Fgithub.com\u002Flifeiteng\u002Fvall-e\u002Fissues\u002F1",{"id":152,"question_zh":153,"answer_zh":154,"source_url":155},28420,"如何实现支持多语言的 VALL-E X？","社区已有用户实现了 VALL-E X 的分支。关于语言 ID (Language ID) 的处理，实现者表示已将语言 ID 嵌入到模型架构中。你可以参考用户 @skysbird fork 的 'e-x' 分支代码来了解具体实现细节：https:\u002F\u002Fgithub.com\u002Fskysbird\u002Fvall-e (注：具体分支名需在原贴上下文中确认，此处指代提到的 fork 仓库)。","https:\u002F\u002Fgithub.com\u002Flifeiteng\u002Fvall-e\u002Fissues\u002F52",{"id":157,"question_zh":158,"answer_zh":159,"source_url":160},28421,"准备 LibriTTS 数据时遇到 tokenize 错误或 espeak-ng 相关问题如何解决？","在使用 prepare.sh 准备 LibriTTS 数据时遇到的 tokenize 错误通常与 espeak-ng 有关。这是一个外部依赖问题，可以参考 espeak-ng 官方的 issue 追踪页面寻找解决方案或变通方法：https:\u002F\u002Fgithub.com\u002Fespeak-ng\u002Fespeak-ng\u002Fissues\u002F1703。确保你的环境中正确安装并配置了 espeak-ng。","https:\u002F\u002Fgithub.com\u002Flifeiteng\u002Fvall-e\u002Fissues\u002F5",[162,167,172],{"id":163,"version":164,"summary_zh":165,"released_at":166},189378,"v1.0","VALL-E 1.0 发布说明\n---------------------\n* 重现的演示 [https:\u002F\u002Flifeiteng.github.io\u002Fvalle\u002Findex.html](https:\u002F\u002Flifeiteng.github.io\u002Fvalle\u002Findex.html)\n  * 训练命令 [egs\u002Flibritts#demo](https:\u002F\u002Fgithub.com\u002Flifeiteng\u002Fvall-e\u002Ftree\u002Fmain\u002Fegs\u002Flibritts#demo)\n  * 推理 [valle\u002Frun.sh#L68](https:\u002F\u002Fgithub.com\u002Flifeiteng\u002Flifeiteng.github.com\u002Fblob\u002Fmain\u002Fvalle\u002Frun.sh#L68)\n* 支持两阶段训练 #59\n* 支持普通话 #85 感谢 @zhaomingwork\n* 加速 Encodec 音频分词器 #81 #88 感谢 @guokr233\n* 感谢审稿人 @zjwang21\n","2023-04-14T07:00:22",{"id":168,"version":169,"summary_zh":170,"released_at":171},189379,"v0.4.0","- 提升了AR模型的Top10准确率[使用默认优化器调度器和基础学习率](https:\u002F\u002Fgithub.com\u002Flifeiteng\u002Fvall-e\u002Fpull\u002F42\u002Fcommits\u002Fbec1b8c5b91008347d2096ff9bc3aff9387a44f1)\n- [修复训练过程中GPU显存持续增加的问题](https:\u002F\u002Fgithub.com\u002Flifeiteng\u002Fvall-e\u002Fpull\u002F42\u002Fcommits\u002F7725efbec96cbcb31232737f8521d43e78cdc289)","2023-03-02T13:28:01",{"id":173,"version":174,"summary_zh":80,"released_at":175},189380,"v0.1.0","2023-02-18T13:18:56"]