[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"tool-ictnlp--LLaMA-Omni":3,"similar-ictnlp--LLaMA-Omni":106},{"id":4,"github_repo":5,"name":6,"description_en":7,"description_zh":8,"ai_summary_zh":8,"readme_en":9,"readme_zh":10,"quickstart_zh":11,"use_case_zh":12,"hero_image_url":13,"owner_login":14,"owner_name":15,"owner_avatar_url":16,"owner_bio":17,"owner_company":18,"owner_location":18,"owner_email":19,"owner_twitter":18,"owner_website":20,"owner_url":21,"languages":22,"stars":31,"forks":32,"last_commit_at":33,"license":34,"difficulty_score":35,"env_os":36,"env_gpu":37,"env_ram":38,"env_deps":39,"category_tags":49,"github_topics":53,"view_count":60,"oss_zip_url":18,"oss_zip_packed_at":18,"status":61,"created_at":62,"updated_at":63,"faqs":64,"releases":105},790,"ictnlp\u002FLLaMA-Omni","LLaMA-Omni","LLaMA-Omni is a low-latency and high-quality end-to-end speech interaction model built upon Llama-3.1-8B-Instruct, aiming to achieve speech capabilities at the GPT-4o level.","LLaMA-Omni 是一款基于 Llama-3.1-8B-Instruct 打造的端到端语音交互模型，致力于实现媲美 GPT-4o 的高品质语音对话体验。它能够直接接收用户的语音指令，并实时同步生成文本与语音回复，有效解决了传统大语言模型难以实现低延迟自然语音交互的难题。\n\n针对语音交互中常见的延迟高、反应慢痛点，LLaMA-Omni 将首字响应延迟压缩至 226 毫秒以内，确保对话流畅自然。其技术亮点还包括高效的训练流程，仅需 4 张显卡在 3 天内即可完成训练，且支持多轮对话及多样化语音音色。目前项目已在 GitHub 和 HuggingFace 开源代码与模型，方便社区复用。\n\n这款模型非常适合希望快速集成语音功能的开发者、探索多模态技术的科研人员，以及计划构建智能语音助手或车载系统的团队。通过 LLaMA-Omni，大家能更轻松地搭建出既听得懂又说得清的智能应用，推动语音交互技术的普及。","# 🦙🎧 LLaMA-Omni: Seamless Speech Interaction with Large Language Models\n\n> **Authors: [Qingkai Fang](https:\u002F\u002Ffangqingkai.github.io\u002F), [Shoutao Guo](https:\u002F\u002Fscholar.google.com\u002Fcitations?hl=en&user=XwHtPyAAAAAJ), [Yan Zhou](https:\u002F\u002Fzhouyan19.github.io\u002Fzhouyan\u002F), [Zhengrui Ma](https:\u002F\u002Fscholar.google.com.hk\u002Fcitations?user=dUgq6tEAAAAJ), [Shaolei Zhang](https:\u002F\u002Fzhangshaolei1998.github.io\u002F), [Yang Feng*](https:\u002F\u002Fpeople.ucas.edu.cn\u002F~yangfeng?language=en)**\n\n[![arXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2409.06666-b31b1b.svg?logo=arXiv)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2409.06666)\n[![code](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-Code-keygen.svg?logo=github)](https:\u002F\u002Fgithub.com\u002Fictnlp\u002FLLaMA-Omni)\n[![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging_Face-Model-blue.svg)](https:\u002F\u002Fhuggingface.co\u002FICTNLP\u002FLlama-3.1-8B-Omni)\n[![dataset](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging_Face-Dataset-blue.svg)](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FICTNLP\u002FMultiturn-Speech-Conversations)\n[![ModelScope](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FModelScope-Model-blue.svg)](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FICTNLP\u002FLlama-3.1-8B-Omni)\n[![Wisemodel](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FWisemodel-Model-blue.svg)](https:\u002F\u002Fwww.wisemodel.cn\u002Fmodels\u002FICT_NLP\u002FLlama-3.1-8B-Omni\u002F)\n[![Replicate](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fictnlp_LLaMA-Omni_readme_7dacf1cc5d87.png)](https:\u002F\u002Freplicate.com\u002Fictnlp\u002Fllama-omni)\n\n\nLLaMA-Omni is a speech-language model built upon Llama-3.1-8B-Instruct. It supports low-latency and high-quality speech interactions, simultaneously generating both text and speech responses based on speech instructions.\n\n\u003Cdiv align=\"center\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fictnlp_LLaMA-Omni_readme_05b9dd9f512d.png\" width=\"75%\"\u002F>\u003C\u002Fdiv>\n\n\n## 🔥 News\n\n- [25\u002F05] LLaMA-Omni 2 is accepted at ACL 2025 main conference!\n- [25\u002F05] An improved version of InstructS2S-200K is publicly available at [this link](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FICTNLP\u002FMultiturn-Speech-Conversations). We have extended it to multi-turn conversations and diversified the input speech timbres. Sorry for the long wait!\n- [25\u002F04] We release [LLaMA-Omni2](https:\u002F\u002Fgithub.com\u002Fictnlp\u002FLLaMA-Omni2), a series of speech language models ranging from 0.5B to 32B parameters, offering improved response quality and speech generation quality.\n- [25\u002F01] LLaMA-Omni is accepted at ICLR 2025! See you in Singapore!\n\n  \n## 💡 Highlights\n\n- 💪 **Built on Llama-3.1-8B-Instruct, ensuring high-quality responses.**\n\n- 🚀 **Low-latency speech interaction with a latency as low as 226ms.**\n\n- 🎧 **Simultaneous generation of both text and speech responses.**\n\n- ♻️ **Trained in less than 3 days using just 4 GPUs.**\n\nhttps:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002F2b097af8-47d7-494f-b3b3-6be17ca0247a\n\n## Install\n\n1. Clone this repository.\n\n```shell\ngit clone https:\u002F\u002Fgithub.com\u002Fictnlp\u002FLLaMA-Omni\ncd LLaMA-Omni\n```\n\n2. Install packages.\n\n```shell\nconda create -n llama-omni python=3.10\nconda activate llama-omni\npip install pip==24.0\npip install -e .\n```\n\n3. Install `fairseq`.\n\n```shell\ngit clone https:\u002F\u002Fgithub.com\u002Fpytorch\u002Ffairseq\ncd fairseq\npip install -e . --no-build-isolation\n```\n\n4. Install `flash-attention`.\n\n```shell\npip install flash-attn --no-build-isolation\n```\n\n## Quick Start\n\n1. Download the `Llama-3.1-8B-Omni` model from 🤗[Huggingface](https:\u002F\u002Fhuggingface.co\u002FICTNLP\u002FLlama-3.1-8B-Omni). \n\n2. Download the `Whisper-large-v3` model.\n\n```shell\nimport whisper\nmodel = whisper.load_model(\"large-v3\", download_root=\"models\u002Fspeech_encoder\u002F\")\n```\n\n3. Download the unit-based HiFi-GAN vocoder.\n\n```shell\nwget https:\u002F\u002Fdl.fbaipublicfiles.com\u002Ffairseq\u002Fspeech_to_speech\u002Fvocoder\u002Fcode_hifigan\u002Fmhubert_vp_en_es_fr_it3_400k_layer11_km1000_lj\u002Fg_00500000 -P vocoder\u002F\nwget https:\u002F\u002Fdl.fbaipublicfiles.com\u002Ffairseq\u002Fspeech_to_speech\u002Fvocoder\u002Fcode_hifigan\u002Fmhubert_vp_en_es_fr_it3_400k_layer11_km1000_lj\u002Fconfig.json -P vocoder\u002F\n```\n\n## Gradio Demo\n\n1. Launch a controller.\n```shell\npython -m omni_speech.serve.controller --host 0.0.0.0 --port 10000\n```\n\n2. Launch a gradio web server.\n```shell\npython -m omni_speech.serve.gradio_web_server --controller http:\u002F\u002Flocalhost:10000 --port 8000 --model-list-mode reload --vocoder vocoder\u002Fg_00500000 --vocoder-cfg vocoder\u002Fconfig.json\n```\n\n3. Launch a model worker.\n```shell\npython -m omni_speech.serve.model_worker --host 0.0.0.0 --controller http:\u002F\u002Flocalhost:10000 --port 40000 --worker http:\u002F\u002Flocalhost:40000 --model-path Llama-3.1-8B-Omni --model-name Llama-3.1-8B-Omni --s2s\n```\n\n4. Visit [http:\u002F\u002Flocalhost:8000\u002F](http:\u002F\u002Flocalhost:8000\u002F) and interact with LLaMA-3.1-8B-Omni!\n\n**Note: Due to the instability of streaming audio playback in Gradio, we have only implemented streaming audio synthesis without enabling autoplay. If you have a good solution, feel free to submit a PR. Thanks!**\n\n## Local Inference\n\nTo run inference locally, please organize the speech instruction files according to the format in the `omni_speech\u002Finfer\u002Fexamples` directory, then refer to the following script.\n```shell\nbash omni_speech\u002Finfer\u002Frun.sh omni_speech\u002Finfer\u002Fexamples\n```\n\n## LICENSE\n\nOur code is released under the Apache-2.0 License. Our model is intended for academic research purposes only and may **NOT** be used for commercial purposes.\n\nYou are free to use, modify, and distribute this model in academic settings, provided that the following conditions are met:\n\n- **Non-commercial use**: The model may not be used for any commercial purposes.\n- **Citation**: If you use this model in your research, please cite the original work.\n\n### Commercial Use Restriction\n\nFor any commercial use inquiries or to obtain a commercial license, please contact `fengyang@ict.ac.cn`.\n\n## Acknowledgements\n\n- [LLaVA](https:\u002F\u002Fgithub.com\u002Fhaotian-liu\u002FLLaVA): The codebase we built upon.\n- [SLAM-LLM](https:\u002F\u002Fgithub.com\u002FX-LANCE\u002FSLAM-LLM): We borrow some code about speech encoder and speech adaptor.\n\n## Citation\n\nIf you have any questions, please feel free to submit an issue or contact `fangqingkai21b@ict.ac.cn`.\n\nIf our work is useful for you, please cite as:\n\n```\n@article{fang-etal-2024-llama-omni,\n  title={LLaMA-Omni: Seamless Speech Interaction with Large Language Models},\n  author={Fang, Qingkai and Guo, Shoutao and Zhou, Yan and Ma, Zhengrui and Zhang, Shaolei and Feng, Yang},\n  journal={arXiv preprint arXiv:2409.06666},\n  year={2024}\n}\n```\n\n## Star History\n\n[![Star History Chart](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fictnlp_LLaMA-Omni_readme_6fbc5fc36e44.png)](https:\u002F\u002Fstar-history.com\u002F#ictnlp\u002Fllama-omni&Date)\n","# 🦙🎧 LLaMA-Omni：与大型语言模型 (Large Language Models) 无缝语音交互\n\n> **作者：[Qingkai Fang](https:\u002F\u002Ffangqingkai.github.io\u002F), [Shoutao Guo](https:\u002F\u002Fscholar.google.com\u002Fcitations?hl=en&user=XwHtPyAAAAAJ), [Yan Zhou](https:\u002F\u002Fzhouyan19.github.io\u002Fzhouyan\u002F), [Zhengrui Ma](https:\u002F\u002Fscholar.google.com.hk\u002Fcitations?user=dUgq6tEAAAAJ), [Shaolei Zhang](https:\u002F\u002Fzhangshaolei1998.github.io\u002F), [Yang Feng*](https:\u002F\u002Fpeople.ucas.edu.cn\u002F~yangfeng?language=en)**\n\n[![arXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2409.06666-b31b1b.svg?logo=arXiv)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2409.06666)\n[![code](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-Code-keygen.svg?logo=github)](https:\u002F\u002Fgithub.com\u002Fictnlp\u002FLLaMA-Omni)\n[![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging_Face-Model-blue.svg)](https:\u002F\u002Fhuggingface.co\u002FICTNLP\u002FLlama-3.1-8B-Omni)\n[![dataset](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging_Face-Dataset-blue.svg)](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FICTNLP\u002FMultiturn-Speech-Conversations)\n[![ModelScope](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FModelScope-Model-blue.svg)](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FICTNLP\u002FLlama-3.1-8B-Omni)\n[![Wisemodel](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FWisemodel-Model-blue.svg)](https:\u002F\u002Fwww.wisemodel.cn\u002Fmodels\u002FICT_NLP\u002FLlama-3.1-8B-Omni\u002F)\n[![Replicate](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fictnlp_LLaMA-Omni_readme_7dacf1cc5d87.png)](https:\u002F\u002Freplicate.com\u002Fictnlp\u002Fllama-omni)\n\n\nLLaMA-Omni 是一个基于 Llama-3.1-8B-Instruct 构建的语音 - 语言模型 (Speech-Language Model)。它支持低延迟、高质量的语音交互，能够根据语音指令同时生成文本和语音回复。\n\n\u003Cdiv align=\"center\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fictnlp_LLaMA-Omni_readme_05b9dd9f512d.png\" width=\"75%\"\u002F>\u003C\u002Fdiv>\n\n\n## 🔥 新闻\n\n- [25\u002F05] LLaMA-Omni 2 已被 ACL 2025 主会议录用！\n- [25\u002F05] InstructS2S-200K 的改进版本已在 [此链接](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FICTNLP\u002FMultiturn-Speech-Conversations) 公开。我们已将其扩展为多轮对话并丰富了输入语音音色。抱歉久等了！\n- [25\u002F04] 我们发布了 [LLaMA-Omni2](https:\u002F\u002Fgithub.com\u002Fictnlp\u002FLLaMA-Omni2)，这是一系列参数量从 0.5B 到 32B 的语音语言模型，提供了更优质的回复质量和语音生成质量。\n- [25\u002F01] LLaMA-Omni 已被 ICLR 2025 录用！新加坡见！\n\n  \n## 💡 亮点\n\n- 💪 **基于 Llama-3.1-8B-Instruct 构建，确保高质量回复。**\n\n- 🚀 **低延迟语音交互，延迟低至 226ms。**\n\n- 🎧 **同时生成文本和语音回复。**\n\n- ♻️ **仅使用 4 张 GPU 在不到 3 天内完成训练。**\n\nhttps:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002F2b097af8-47d7-494f-b3b3-6be17ca0247a\n\n## 安装\n\n1. 克隆此仓库。\n\n```shell\ngit clone https:\u002F\u002Fgithub.com\u002Fictnlp\u002FLLaMA-Omni\ncd LLaMA-Omni\n```\n\n2. 安装依赖包。\n\n```shell\nconda create -n llama-omni python=3.10\nconda activate llama-omni\npip install pip==24.0\npip install -e .\n```\n\n3. 安装 `fairseq`。\n\n```shell\ngit clone https:\u002F\u002Fgithub.com\u002Fpytorch\u002Ffairseq\ncd fairseq\npip install -e . --no-build-isolation\n```\n\n4. 安装 `flash-attention`。\n\n```shell\npip install flash-attn --no-build-isolation\n```\n\n## 快速开始\n\n1. 从 🤗[Huggingface](https:\u002F\u002Fhuggingface.co\u002FICTNLP\u002FLlama-3.1-8B-Omni) 下载 `Llama-3.1-8B-Omni` 模型。 \n\n2. 下载 `Whisper-large-v3` 模型。\n\n```shell\nimport whisper\nmodel = whisper.load_model(\"large-v3\", download_root=\"models\u002Fspeech_encoder\u002F\")\n```\n\n3. 下载基于单元的 HiFi-GAN 声码器。\n\n```shell\nwget https:\u002F\u002Fdl.fbaipublicfiles.com\u002Ffairseq\u002Fspeech_to_speech\u002Fvocoder\u002Fcode_hifigan\u002Fmhubert_vp_en_es_fr_it3_400k_layer11_km1000_lj\u002Fg_00500000 -P vocoder\u002F\nwget https:\u002F\u002Fdl.fbaipublicfiles.com\u002Ffairseq\u002Fspeech_to_speech\u002Fvocoder\u002Fcode_hifigan\u002Fmhubert_vp_en_es_fr_it3_400k_layer11_km1000_lj\u002Fconfig.json -P vocoder\u002F\n```\n\n## Gradio 演示\n\n1. 启动控制器。\n```shell\npython -m omni_speech.serve.controller --host 0.0.0.0 --port 10000\n```\n\n2. 启动 Gradio Web 服务器。\n```shell\npython -m omni_speech.serve.gradio_web_server --controller http:\u002F\u002Flocalhost:10000 --port 8000 --model-list-mode reload --vocoder vocoder\u002Fg_00500000 --vocoder-cfg vocoder\u002Fconfig.json\n```\n\n3. 启动模型工作进程。\n```shell\npython -m omni_speech.serve.model_worker --host 0.0.0.0 --controller http:\u002F\u002Flocalhost:10000 --port 40000 --worker http:\u002F\u002Flocalhost:40000 --model-path Llama-3.1-8B-Omni --model-name Llama-3.1-8B-Omni --s2s\n```\n\n4. 访问 [http:\u002F\u002Flocalhost:8000\u002F](http:\u002F\u002Flocalhost:8000\u002F) 并与 LLaMA-3.1-8B-Omni 进行交互！\n\n**注意：** 由于 Gradio 中流式音频播放的不稳定性，我们仅实现了流式音频合成，未启用自动播放。如果您有好的解决方案，欢迎提交 PR。谢谢！\n\n## 本地推理\n\n要在本地运行推理，请按照 `omni_speech\u002Finfer\u002Fexamples` 目录中的格式组织语音指令文件，然后参考以下脚本。\n```shell\nbash omni_speech\u002Finfer\u002Frun.sh omni_speech\u002Finfer\u002Fexamples\n```\n\n## 许可证\n\n我们的代码采用 Apache-2.0 许可证发布。我们的模型仅供学术研究用途，**不可**用于商业目的。\n\n您可以在学术环境中自由使用、修改和分发此模型，但需满足以下条件：\n\n- **非商业用途**：该模型不得用于任何商业目的。\n- **引用**：如果您在研究中使用此模型，请注明原始出处。\n\n### 商业使用限制\n\n如有任何商业使用咨询或需要获取商业许可，请联系 `fengyang@ict.ac.cn`。\n\n## 致谢\n\n- [LLaVA](https:\u002F\u002Fgithub.com\u002Fhaotian-liu\u002FLLaVA)：我们构建的基础代码库。\n- [SLAM-LLM](https:\u002F\u002Fgithub.com\u002FX-LANCE\u002FSLAM-LLM)：我们借用了一些关于语音编码器和语音适配器的代码。\n\n## 引用\n\n如果您有任何问题，请随时提交 Issue 或联系 `fangqingkai21b@ict.ac.cn`。\n\n如果我们的工作对您有用，请按以下方式引用：\n\n```\n@article{fang-etal-2024-llama-omni,\n  title={LLaMA-Omni: Seamless Speech Interaction with Large Language Models},\n  author={Fang, Qingkai and Guo, Shoutao and Zhou, Yan and Ma, Zhengrui and Zhang, Shaolei and Feng, Yang},\n  journal={arXiv preprint arXiv:2409.06666},\n  year={2024}\n}\n```\n\n## 星标历史\n\n[![Star History Chart](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fictnlp_LLaMA-Omni_readme_6fbc5fc36e44.png)](https:\u002F\u002Fstar-history.com\u002F#ictnlp\u002Fllama-omni&Date)","# LLaMA-Omni 快速上手指南\n\n**LLaMA-Omni** 是一个基于 Llama-3.1-8B-Instruct 构建的语音语言模型，支持低延迟、高质量的语音交互。它能够同时生成文本和语音响应，实现无缝的人机对话体验。\n\n## 环境准备\n\n*   **操作系统**: Linux \u002F macOS \u002F Windows (WSL)\n*   **Python 版本**: 3.10+\n*   **硬件要求**: 建议配备 NVIDIA GPU（训练需 4 卡，推理单卡即可）。\n*   **依赖**: 确保已安装 PyTorch 及对应的 CUDA 版本。\n\n> **💡 国内加速提示**：模型权重下载建议使用 [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FICTnlp\u002FLlama-3.1-8B-Omni) 或 [Wisemodel](https:\u002F\u002Fwww.wisemodel.cn\u002Fmodels\u002FICT_NLP\u002FLlama-3.1-8B-Omni\u002F) 以获取更快的下载速度。\n\n## 安装步骤\n\n1.  **克隆仓库**\n    ```shell\n    git clone https:\u002F\u002Fgithub.com\u002Fictnlp\u002FLLaMA-Omni\n    cd LLaMA-Omni\n    ```\n\n2.  **创建并激活虚拟环境**\n    ```shell\n    conda create -n llama-omni python=3.10\n    conda activate llama-omni\n    ```\n\n3.  **安装核心依赖包**\n    ```shell\n    pip install pip==24.0\n    pip install -e .\n    ```\n\n4.  **安装 Fairseq**\n    ```shell\n    git clone https:\u002F\u002Fgithub.com\u002Fpytorch\u002Ffairseq\n    cd fairseq\n    pip install -e . --no-build-isolation\n    ```\n\n5.  **安装 Flash Attention**\n    ```shell\n    pip install flash-attn --no-build-isolation\n    ```\n\n## 基本使用\n\n### 1. 模型与资源下载\n\n在运行之前，请准备好以下模型文件。\n\n*   **LLaMA-Omni 主模型**：从 🤗 Huggingface 或国内镜像下载 `Llama-3.1-8B-Omni`。\n*   **Whisper 编码器**：\n    ```python\n    import whisper\n    model = whisper.load_model(\"large-v3\", download_root=\"models\u002Fspeech_encoder\u002F\")\n    ```\n*   **HiFi-GAN Vocoder**：\n    ```shell\n    wget https:\u002F\u002Fdl.fbaipublicfiles.com\u002Ffairseq\u002Fspeech_to_speech\u002Fvocoder\u002Fcode_hifigan\u002Fmhubert_vp_en_es_fr_it3_400k_layer11_km1000_lj\u002Fg_00500000 -P vocoder\u002F\n    wget https:\u002F\u002Fdl.fbaipublicfiles.com\u002Ffairseq\u002Fspeech_to_speech\u002Fvocoder\u002Fcode_hifigan\u002Fmhubert_vp_en_es_fr_it3_400k_layer11_km1000_lj\u002Fconfig.json -P vocoder\u002F\n    ```\n\n### 2. Gradio Web 演示\n\n启动三个进程来运行 Web 界面（建议在三个不同的终端窗口中执行）：\n\n1.  **启动控制器**\n    ```shell\n    python -m omni_speech.serve.controller --host 0.0.0.0 --port 10000\n    ```\n2.  **启动模型工作节点**\n    ```shell\n    python -m omni_speech.serve.model_worker --host 0.0.0.0 --controller http:\u002F\u002Flocalhost:10000 --port 40000 --worker http:\u002F\u002Flocalhost:40000 --model-path Llama-3.1-8B-Omni --model-name Llama-3.1-8B-Omni --s2s\n    ```\n3.  **启动 Web 服务**\n    ```shell\n    python -m omni_speech.serve.gradio_web_server --controller http:\u002F\u002Flocalhost:10000 --port 8000 --model-list-mode reload --vocoder vocoder\u002Fg_00500000 --vocoder-cfg vocoder\u002Fconfig.json\n    ```\n4.  **访问界面**\n    打开浏览器访问 [http:\u002F\u002Flocalhost:8000\u002F](http:\u002F\u002Flocalhost:8000\u002F) 即可开始语音交互。\n\n### 3. 本地推理\n\n若需批量测试，可按照 `omni_speech\u002Finfer\u002Fexamples` 目录格式整理语音指令文件，然后运行脚本：\n\n```shell\nbash omni_speech\u002Finfer\u002Frun.sh omni_speech\u002Finfer\u002Fexamples\n```\n\n---\n\n> **⚠️ 许可声明**\n> *   **代码**：遵循 Apache-2.0 协议。\n> *   **模型**：**仅供学术研究使用**，禁止商业用途。如需商业授权，请联系 `fengyang@ict.ac.cn`。\n> *   引用本工作时请注明出处。","某医疗科技公司正在构建一款面向老年用户的智能健康助手。该系统要求设备能在老人说话后立即用温和的声音提供用药提醒或紧急建议。\n\n### 没有 LLaMA-Omni 时\n- 系统采用 ASR+LLM+TTS 串联架构，处理一次完整对话平均耗时超过 3 秒，老人常因长时间等待而失去耐心。\n- 各模块独立运行导致上下文丢失，模型经常忘记上一句提到的具体症状细节，回答逻辑混乱。\n- 语音合成机械感强，无法模拟人类语调变化，听起来冷冰冰，加剧了独居老人的孤独感。\n- 维护多套第三方接口复杂度高，一旦某个环节网络波动出错，整个服务就会立即中断。\n\n### 使用 LLaMA-Omni 后\n- LLaMA-Omni 端到端架构将响应延迟压缩至 226 毫秒，老人说完话几乎瞬间就能听到回应，体验流畅。\n- 支持同时生成文本与语音，保持对话流式输出，上下文记忆更加连贯稳定，不再出现答非所问。\n- 基于 Llama-3.1-8B 基座微调，生成的语音情感丰富，能根据病情轻重自动调整语速和语气关怀度。\n- 仅需 4 张显卡即可在 3 天内完成训练，大幅降低了硬件投入和维护成本，适合快速落地部署。\n\nLLaMA-Omni 通过低延迟的端到端交互，让机器真正具备了像真人一样即时倾听与回应的能力。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fictnlp_LLaMA-Omni_ac12b09e.png","ictnlp","ICTNLP","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fictnlp_de5b5ac5.jpg","Natural Language Processing Group, Institute of Computing Technology, Chinese Academy of Sciences",null,"ict_nlp@ict.ac.cn","http:\u002F\u002Fnlp.ict.ac.cn","https:\u002F\u002Fgithub.com\u002Fictnlp",[23,27],{"name":24,"color":25,"percentage":26},"Python","#3572A5",99.5,{"name":28,"color":29,"percentage":30},"Shell","#89e051",0.5,3137,223,"2026-03-31T02:10:38","Apache-2.0",3,"Linux, macOS","需要 NVIDIA GPU (Flash Attention 依赖)，训练提及 4 卡，推理显存未明确","未说明",{"notes":40,"python":41,"dependencies":42},"代码基于 Apache-2.0 协议，模型仅限学术研究不可商用；首次运行需下载 Llama-3.1-8B-Omni 及 Whisper-large-v3 模型；Gradio 演示需同时启动 Controller、Web Server 和 Model Worker 三个服务。","3.10",[43,44,45,46,47,48],"torch","transformers","fairseq","flash-attn","whisper","gradio",[50,51,52],"其他","音频","语言模型",[54,55,56,57,58,59],"large-language-models","multimodal-large-language-models","speech-language-model","speech-to-speech","speech-to-text","speech-interaction",4,"ready","2026-03-27T02:49:30.150509","2026-04-06T07:14:07.329719",[65,70,75,80,85,90,95,100],{"id":66,"question_zh":67,"answer_zh":68,"source_url":69},3392,"tgt_units 是离散语音 token 吗？文本隐藏状态上采样与非自回归生成语音 token 的方法哪种潜力更大？流式推理时如何确定 Chunk Size？","我们使用的语音编码是由 HuBERT 生成的离散单元。模型架构遵循与 SpeechGPT\u002FAnyGPT 不同的技术路线。后者作为原生多模态模型，若有充足数据和算力，天花板更高；但在资源受限环境下，我们的方法能以更低的训练成本取得更好结果。关于流式推理，目前使用固定块大小，结果尚可。若要进一步减少单词中间被截断的情况，建议仅在对应的文本 token 表示单词结束时，才将当前块输入声码器进行合成。","https:\u002F\u002Fgithub.com\u002Fictnlp\u002FLLaMA-Omni\u002Fissues\u002F3",{"id":71,"question_zh":72,"answer_zh":73,"source_url":74},3393,"如何在 Python 代码中加载和使用预训练模型，而不是通过 CLI？","可以参考项目中的 infer.py 文件加载模型，并使用 model.generate() 方法进行推理。具体示例请参考：https:\u002F\u002Fgithub.com\u002Fictnlp\u002FLLaMA-Omni\u002Fblob\u002Fmain\u002Fomni_speech\u002Finfer\u002Finfer.py","https:\u002F\u002Fgithub.com\u002Fictnlp\u002FLLaMA-Omni\u002Fissues\u002F7",{"id":76,"question_zh":77,"answer_zh":78,"source_url":79},3394,"启动 model_worker 时出现路径错误，如何解决？","检查路径配置是否正确。报错通常是因为路径写成了 `model\u002Fspeech_encoder`，而实际应该是 `models\u002Fspeech_encoder`（注意单复数差异）。请根据实际目录结构修正路径。","https:\u002F\u002Fgithub.com\u002Fictnlp\u002FLLaMA-Omni\u002Fissues\u002F11",{"id":81,"question_zh":82,"answer_zh":83,"source_url":84},3395,"模型是否支持中文识别？","目前模型仅支持英语，对中文的支持几乎为零。","https:\u002F\u002Fgithub.com\u002Fictnlp\u002FLLaMA-Omni\u002Fissues\u002F8",{"id":86,"question_zh":87,"answer_zh":88,"source_url":89},3396,"是否支持超过 30 秒的长音频输入？","当前版本尚未尝试支持超过 30 秒的语音，因为训练数据通常由短于 30 秒的语音指令组成。未来会考虑添加对此长度的支持。","https:\u002F\u002Fgithub.com\u002Fictnlp\u002FLLaMA-Omni\u002Fissues\u002F4",{"id":91,"question_zh":92,"answer_zh":93,"source_url":94},3397,"加载 Llama3 tokenizer 时报错路径无效怎么办？","代码中意外包含了绝对路径，这是不必要的。你可以安全地删除它，该问题已在新版本中修复。","https:\u002F\u002Fgithub.com\u002Fictnlp\u002FLLaMA-Omni\u002Fissues\u002F2",{"id":96,"question_zh":97,"answer_zh":98,"source_url":99},3398,"是否支持转换为 .GGUF 格式或量化版本（如 BF16, Q8_0）？","抱歉，目前尚未开始支持量化模型。未来可能会探索这一点。","https:\u002F\u002Fgithub.com\u002Fictnlp\u002FLLaMA-Omni\u002Fissues\u002F9",{"id":101,"question_zh":102,"answer_zh":103,"source_url":104},3399,"如果要在生成中添加新的模态（如图像），需要修改什么？","在当前模型架构中，实现图像生成并不容易。我们的模型结构目前更适合语音生成。未来可能会探索如何实现图像生成。","https:\u002F\u002Fgithub.com\u002Fictnlp\u002FLLaMA-Omni\u002Fissues\u002F5",[],[107,118,126,138,146,154],{"id":108,"name":109,"github_repo":110,"description_zh":111,"stars":112,"difficulty_score":113,"last_commit_at":114,"category_tags":115,"status":61},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",138956,2,"2026-04-05T11:33:21",[116,117,52],"开发框架","Agent",{"id":119,"name":120,"github_repo":121,"description_zh":122,"stars":123,"difficulty_score":113,"last_commit_at":124,"category_tags":125,"status":61},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[116,52],{"id":127,"name":128,"github_repo":129,"description_zh":130,"stars":131,"difficulty_score":113,"last_commit_at":132,"category_tags":133,"status":61},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[134,135,136,137,117,50,52,116,51],"图像","数据工具","视频","插件",{"id":139,"name":140,"github_repo":141,"description_zh":142,"stars":143,"difficulty_score":35,"last_commit_at":144,"category_tags":145,"status":61},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[117,134,116,52,50],{"id":147,"name":148,"github_repo":149,"description_zh":150,"stars":151,"difficulty_score":35,"last_commit_at":152,"category_tags":153,"status":61},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",74913,"2026-04-05T10:44:17",[52,134,116,50],{"id":155,"name":156,"github_repo":157,"description_zh":158,"stars":159,"difficulty_score":160,"last_commit_at":161,"category_tags":162,"status":61},3215,"awesome-machine-learning","josephmisiti\u002Fawesome-machine-learning","awesome-machine-learning 是一份精心整理的机器学习资源清单，汇集了全球优秀的机器学习框架、库和软件工具。面对机器学习领域技术迭代快、资源分散且难以甄选的痛点，这份清单按编程语言（如 Python、C++、Go 等）和应用场景（如计算机视觉、自然语言处理、深度学习等）进行了系统化分类，帮助使用者快速定位高质量项目。\n\n它特别适合开发者、数据科学家及研究人员使用。无论是初学者寻找入门库，还是资深工程师对比不同语言的技术选型，都能从中获得极具价值的参考。此外，清单还延伸提供了免费书籍、在线课程、行业会议、技术博客及线下聚会等丰富资源，构建了从学习到实践的全链路支持体系。\n\n其独特亮点在于严格的维护标准：明确标记已停止维护或长期未更新的项目，确保推荐内容的时效性与可靠性。作为机器学习领域的“导航图”，awesome-machine-learning 以开源协作的方式持续更新，旨在降低技术探索门槛，让每一位从业者都能高效地站在巨人的肩膀上创新。",72149,1,"2026-04-03T21:50:24",[116,50]]