[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-bytedance--SALMONN":3,"tool-bytedance--SALMONN":65},[4,17,27,36,44,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",149489,2,"2026-04-10T11:32:46",[13,14,15],"开发框架","Agent","语言模型","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,3,"2026-04-06T11:19:32",[15,26,14,13],"图像",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},4292,"Deep-Live-Cam","hacksider\u002FDeep-Live-Cam","Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。\n\n这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。\n\n其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。",88924,"2026-04-06T03:28:53",[13,26,14,35],"视频",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":10,"last_commit_at":42,"category_tags":43,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,15],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":10,"last_commit_at":50,"category_tags":51,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",85092,"2026-04-10T11:13:16",[26,52,35,53,14,54,15,13,55],"数据工具","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":62,"last_commit_at":63,"category_tags":64,"status":16},5784,"funNLP","fighting41love\u002FfunNLP","funNLP 是一个专为中文自然语言处理（NLP）打造的超级资源库，被誉为\"NLP 民工的乐园”。它并非单一的软件工具，而是一个汇集了海量开源项目、数据集、预训练模型和实用代码的综合性平台。\n\n面对中文 NLP 领域资源分散、入门门槛高以及特定场景数据匮乏的痛点，funNLP 提供了“一站式”解决方案。这里不仅涵盖了分词、命名实体识别、情感分析、文本摘要等基础任务的标准工具，还独特地收录了丰富的垂直领域资源，如法律、医疗、金融行业的专用词库与数据集，甚至包含古诗词生成、歌词创作等趣味应用。其核心亮点在于极高的全面性与实用性，从基础的字典词典到前沿的 BERT、GPT-2 模型代码，再到高质量的标注数据和竞赛方案，应有尽有。\n\n无论是刚刚踏入 NLP 领域的学生、需要快速验证想法的算法工程师，还是从事人工智能研究的学者，都能在这里找到急需的“武器弹药”。对于开发者而言，它能大幅减少寻找数据和复现模型的时间；对于研究者，它提供了丰富的基准测试资源和前沿技术参考。funNLP 以开放共享的精神，极大地降低了中文自然语言处理的开发与研究成本，是中文 AI 社区不可或缺的宝藏仓库。",79857,1,"2026-04-08T20:11:31",[15,52,54],{"id":66,"github_repo":67,"name":68,"description_en":69,"description_zh":70,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":77,"owner_avatar_url":78,"owner_bio":79,"owner_company":80,"owner_location":80,"owner_email":80,"owner_twitter":81,"owner_website":82,"owner_url":83,"languages":80,"stars":84,"forks":85,"last_commit_at":86,"license":87,"difficulty_score":88,"env_os":89,"env_gpu":90,"env_ram":89,"env_deps":91,"category_tags":94,"github_topics":95,"view_count":10,"oss_zip_url":80,"oss_zip_packed_at":80,"status":16,"created_at":110,"updated_at":111,"faqs":112,"releases":147},6266,"bytedance\u002FSALMONN","SALMONN","SALMONN family: A suite of advanced multi-modal LLMs","SALMONN 是一个先进的多模态大语言模型家族，由字节跳动与清华大学等机构联合研发。它不仅能理解文本，还能“听懂”声音、“看懂”视频，实现音频、视频与语言的深度交互。SALMONN 解决了传统大模型在处理非文本信息（如语音质量评估、视频内容理解）时能力不足的问题，能够生成高质量的视频字幕、回答复杂的视听问答，甚至对语音清晰度、自然度进行专业评分。\n\n该系列包含多个专用版本，如专注于视频理解的 video-SALMONN 2、具备推理增强能力的 video-SALMONN-o1，以及用于语音质量评估的 SALMONN-SQA。其技术亮点在于采用三阶段训练策略，融合了大规模视听标注数据与自然语言推理能力，并在 ICML、ICLR、ACL 等顶级会议中发表多项成果。\n\nSALMONN 适合研究人员探索多模态认知机制，开发者构建智能客服、内容审核或教育辅助应用，也适合音频工程师利用其 QualiSpeech 数据集评估语音系统性能。普通用户可通过开源演示体验音视频对话功能。所有代码、模型权重及训练数据均已开放，便于复现与二次开发，是推动多模态人工智能落地的重要开源资源。","# SALMONN family: A suite of advanced multi-modal LLMs\n\n\u003Cdiv align=center>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fbytedance_SALMONN_readme_668b1e9610b1.png\" height=\"256px\" width=\"256px\"\u002F>\u003C\u002Fdiv>\n\n\u003Ch1 align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Fgit.io\u002Ftyping-svg\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fbytedance_SALMONN_readme_94d340196eb1.png\">\n  \u003C\u002Fa>\n\u003C\u002Fh1>\n\n🚀🚀 Welcome to the repo of **SALMONN**!\n\nThe SALMONN model family consists of a series of advanced multi-modal large language models. For more details, please refer to the corresponding branches.\n\n- [video-SALMONN 2](https:\u002F\u002Fgithub.com\u002Fbytedance\u002Fvideo-SALMONN-2)\n- [[ICML 2025] F-16](https:\u002F\u002Fgithub.com\u002Fbytedance\u002FF-16)\n- [[ICML 2025] video-SALMONN-o1](https:\u002F\u002Fgithub.com\u002Fbytedance\u002FSALMONN\u002Ftree\u002Fvideo-salmonn-o1)\n- [[ICASSP 2025 & ACL 2025] SALMONN for speech quality assessment](https:\u002F\u002Fgithub.com\u002Fbytedance\u002FSALMONN\u002Ftree\u002Fspeech_quality_assessment)\n- [[ICML 2024] video-SALMONN](https:\u002F\u002Fgithub.com\u002Fbytedance\u002FSALMONN\u002Ftree\u002Fvideosalmonn)\n- [[ICLR 2024] SALMONN](https:\u002F\u002Fgithub.com\u002Fbytedance\u002FSALMONN\u002Ftree\u002Fsalmonn)\n\n## 🔥 News\n- [2025-07-08] We have opensourced **video-SALMONN 2**! video-SALMONN 2 is a powerful audio-visual LLM that generates high-quality audio-visual video captions and achieves competitive performance on general video QA benchmarks.\n- [2025-06-01] We have opensourced **QualiSpeech** dataset - A speech quality assessment dataset with natural language reasoning. You can use QualiSpeech to develop your own audio LLM for speech quality assessment or to evaluate the low-level speech perception capabilities of existing audio LLMs. Feel free to download it [here](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Ftsinghua-ee\u002FQualiSpeech)!\n- [2025-03-03] We have released the data processing scripts and finetuned model checkpoints for **SALMONN** for speech quality assessment! See [here](https:\u002F\u002Fgithub.com\u002Fbytedance\u002FSALMONN\u002Ftree\u002Fspeech_quality_assessment)!\n- [2024-09-04] We have released the model and inference code for **video-SALMONN**! See [here](https:\u002F\u002Fgithub.com\u002Fbytedance\u002FSALMONN\u002Ftree\u002Fvideosalmonn)!\n- [2024-05-28] 🧳 We have released all the annotations (including 600k SQA\u002FAQA data and 50k audio-based storytelling data) for the 3-stage training of SALMONN! Feel free to download them [here](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F15cQO--rtMM9JD22y-A5oXXvT3DujgE2e\u002Fview?usp=sharing)!\n- [2024-04-07] 🤖 We have released all the codes you need to train your own SALMONN! Try some cool things!\n- [2024-01-16] 💖 Our paper was accepted by ICLR 2024!\n- [2023-11-13] 🎁 We have released a **7B version of SALMONN** at [tsinghua-ee\u002FSALMONN-7B](https:\u002F\u002Fhuggingface.co\u002Ftsinghua-ee\u002FSALMONN-7B) and built the 7B demo [here](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Ftsinghua-ee\u002FSALMONN-7B-gradio)!\n- [2023-10-08] ✨ We have released [**the model checkpoint**](https:\u002F\u002Fhuggingface.co\u002Ftsinghua-ee\u002FSALMONN) and **the inference code** for SALMONN-13B!\n\n## 📖 Paper List\n```\n@inproceedings{\n  sun2025videosalmonno1,\n  title={{video-SALMONN-o1}: Reasoning-enhanced Audio-visual Large Language Model},\n  author={Guangzhi Sun, Yudong Yang, Jimin Zhuang, Changli Tang, Yixuan Li, Wei Li, Zejun MA, Chao Zhang},\n  booktitle={ICML},\n  year={2025}\n}\n\n@article{tang2025video,\n    title={{video-SALMONN 2: Captioning-Enhanced Audio-Visual Large Language Models}}, \n    author={Changli Tang and Yixuan Li and Yudong Yang and Jimin Zhuang and Guangzhi Sun and Wei Li and Zejun Ma and Chao Zhang},\n    journal={arXiv preprint arXiv:2506.15220},\n    year={2025},\n}\n\n@inproceedings{wang2024enabling,\n  title={Enabling Auditory Large Language Models for Automatic Speech Quality Evaluation},\n  author={Wang, Siyin and Yu, Wenyi and Yang, Yudong and Tang, Changli and Li, Yixuan and Zhuang, Jimin and Chen, Xianzhao and Tian, Xiaohai and Zhang, Jun and Sun, Guangzhi and others},\n  booktitle={Proc. ICASSP},\n  address={Hyderabad},\n  year={2025}\n}\n\n@inproceedings{wang2024enabling,\n  title={QualiSpeech: A Speech Quality Assessment Dataset with Natural Language Reasoning and Descriptions},\n  author={Wang, Siyin and Yu, Wenyi and Chen, Xianzhao and Tian, Xiaohai and Zhang, Jun and Sun, Guangzhi and others},\n  booktitle={Proc. ACL},\n  address={Vienna},\n  year={2025}\n}\n\n@inproceedings{\n  sun2024videosalmonn,\n  title={video-{SALMONN}: Speech-Enhanced Audio-Visual Large Language Models},\n  author={Guangzhi Sun and Wenyi Yu and Changli Tang and Xianzhao Chen and Tian Tan and Wei Li and Lu Lu and Zejun MA and Yuxuan Wang and Chao Zhang},\n  booktitle={Forty-first International Conference on Machine Learning},\n  year={2024},\n  url={https:\u002F\u002Fopenreview.net\u002Fforum?id=nYsh5GFIqX}\n}\n\n@inproceedings{\n  tang2024salmonn,\n  title={SALMONN: Towards Generic Hearing Abilities for Large Language Models},\n  author={Changli Tang and Wenyi Yu and Guangzhi Sun and Xianzhao Chen and Tian Tan and Wei Li and Lu Lu and Zejun MA and Chao Zhang},\n  booktitle={The Twelfth International Conference on Learning Representations},\n  year={2024},\n  url={https:\u002F\u002Fopenreview.net\u002Fforum?id=14rn7HpKVk}\n}\n```\n","# SALMONN 家族：一系列先进的多模态大语言模型\n\n\u003Cdiv align=center>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fbytedance_SALMONN_readme_668b1e9610b1.png\" height=\"256px\" width=\"256px\"\u002F>\u003C\u002Fdiv>\n\n\u003Ch1 align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Fgit.io\u002Ftyping-svg\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fbytedance_SALMONN_readme_94d340196eb1.png\">\n  \u003C\u002Fa>\n\u003C\u002Fh1>\n\n🚀🚀 欢迎来到 **SALMONN** 的仓库！\n\nSALMONN 模型家族由一系列先进的多模态大语言模型组成。更多详情请参阅相应的分支。\n\n- [video-SALMONN 2](https:\u002F\u002Fgithub.com\u002Fbytedance\u002Fvideo-SALMONN-2)\n- [[ICML 2025] F-16](https:\u002F\u002Fgithub.com\u002Fbytedance\u002FF-16)\n- [[ICML 2025] video-SALMONN-o1](https:\u002F\u002Fgithub.com\u002Fbytedance\u002FSALMONN\u002Ftree\u002Fvideo-salmonn-o1)\n- [[ICASSP 2025 & ACL 2025] SALMONN 用于语音质量评估](https:\u002F\u002Fgithub.com\u002Fbytedance\u002FSALMONN\u002Ftree\u002Fspeech_quality_assessment)\n- [[ICML 2024] video-SALMONN](https:\u002F\u002Fgithub.com\u002Fbytedance\u002FSALMONN\u002Ftree\u002Fvideosalmonn)\n- [[ICLR 2024] SALMONN](https:\u002F\u002Fgithub.com\u002Fbytedance\u002FSALMONN\u002Ftree\u002Fsalmonn)\n\n## 🔥 最新消息\n- [2025-07-08] 我们已开源 **video-SALMONN 2**！video-SALMONN 2 是一款强大的视听大语言模型，能够生成高质量的视听视频字幕，并在通用视频问答基准上取得具有竞争力的表现。\n- [2025-06-01] 我们已开源 **QualiSpeech** 数据集——一个包含自然语言推理的语音质量评估数据集。您可以使用 QualiSpeech 来开发自己的音频大语言模型，用于语音质量评估，或评估现有音频大语言模型的低级语音感知能力。欢迎在此下载：[huggingface.co\u002Fdatasets\u002Ftsinghua-ee\u002FQualiSpeech](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Ftsinghua-ee\u002FQualiSpeech)！\n- [2025-03-03] 我们已发布用于语音质量评估的 **SALMONN** 数据处理脚本和微调模型检查点！详情请见：[here](https:\u002F\u002Fgithub.com\u002Fbytedance\u002FSALMONN\u002Ftree\u002Fspeech_quality_assessment)！\n- [2024-09-04] 我们已发布 **video-SALMONN** 的模型及推理代码！详情请见：[here](https:\u002F\u002Fgithub.com\u002Fbytedance\u002FSALMONN\u002Ftree\u002Fvideosalmonn)！\n- [2024-05-28] 🧳 我们已发布 SALMONN 三阶段训练的所有标注数据（包括 60 万条 SQA\u002FAQA 数据和 5 万条基于音频的故事讲述数据）！欢迎在此下载：[drive.google.com\u002Ffile\u002Fd\u002F15cQO--rtMM9JD22y-A5oXXvT3DujgE2e\u002Fview?usp=sharing](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F15cQO--rtMM9JD22y-A5oXXvT3DujgE2e\u002Fview?usp=sharing)！\n- [2024-04-07] 🤖 我们已发布您训练自有 SALMONN 所需的所有代码！快来尝试一些酷炫的应用吧！\n- [2024-01-16] 💖 我们的论文已被 ICLR 2024 接受！\n- [2023-11-13] 🎁 我们已在 [tsinghua-ee\u002FSALMONN-7B](https:\u002F\u002Fhuggingface.co\u002Ftsinghua-ee\u002FSALMONN-7B) 发布了 **SALMONN 的 7B 版本**，并构建了 7B 的演示应用：[here](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Ftsinghua-ee\u002FSALMONN-7B-gradio)！\n- [2023-10-08] ✨ 我们已发布 **SALMONN-13B 的模型检查点** 和 **推理代码**：[huggingface.co\u002Ftsinghua-ee\u002FSALMONN](https:\u002F\u002Fhuggingface.co\u002Ftsinghua-ee\u002FSALMONN)！\n\n## 📖 论文列表\n```\n@inproceedings{\n  sun2025videosalmonno1,\n  title={{video-SALMONN-o1}: 增强推理能力的视听大语言模型},\n  author={孙广志、杨宇东、庄继民、唐长利、李一轩、李伟、马泽军、张超},\n  booktitle={ICML},\n  year={2025}\n}\n\n@article{tang2025video,\n    title={{video-SALMONN 2：增强字幕功能的视听大语言模型}}, \n    author={唐长利、李一轩、杨宇东、庄继民、孙广志、李伟、马泽军、张超},\n    journal={arXiv 预印本 arXiv:2506.15220},\n    year={2025},\n}\n\n@inproceedings{wang2024enabling,\n  title={使听觉大语言模型能够自动评估语音质量},\n  author={王思寅、于文义、杨宇东、唐长利、李一轩、庄继民、陈贤昭、田晓海、张俊、孙广志等},\n  booktitle={ICASSP 会议},\n  地点={海得拉巴},\n  年份={2025}\n}\n\n@inproceedings{wang2024enabling,\n  title={QualiSpeech：包含自然语言推理与描述的语音质量评估数据集},\n  author={王思寅、于文义、陈贤昭、田晓海、张俊、孙广志等},\n  booktitle={ACL 会议},\n  地点={维也纳},\n  年份={2025}\n}\n\n@inproceedings{\n  sun2024videosalmonn,\n  title={video-{SALMONN}：增强语音能力的视听大语言模型},\n  author={孙广志、于文义、唐长利、陈贤昭、田天、李伟、陆陆、马泽军、王宇轩、张超},\n  booktitle={第四十一届国际机器学习大会},\n  年份={2024},\n  url={https:\u002F\u002Fopenreview.net\u002Fforum?id=nYsh5GFIqX}\n}\n\n@inproceedings{\n  tang2024salmonn,\n  title={SALMONN：迈向大语言模型的通用听觉能力},\n  author={唐长利、于文义、孙广志、陈贤昭、田天、李伟、陆陆、马泽军、张超},\n  booktitle={第十二届国际学习表征大会},\n  年份={2024},\n  url={https:\u002F\u002Fopenreview.net\u002Fforum?id=14rn7HpKVk}\n}\n```","# SALMONN 快速上手指南\n\nSALMONN 是一个先进的多模态大语言模型家族，旨在赋予大语言模型通用的听觉能力，支持音频、视频及语音质量评估等多种任务。本指南基于主分支（SALMONN-13B\u002F7B）提供快速入门流程。\n\n## 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**: Linux (推荐 Ubuntu 20.04+)\n*   **Python**: 3.8 或更高版本\n*   **GPU**: 建议显存 16GB 以上（运行 7B 模型），24GB+ 推荐用于 13B 模型或微调\n*   **CUDA**: 11.7 或更高版本\n*   **前置依赖**: `git`, `wget`, `ffmpeg` (用于音频处理)\n\n建议创建独立的虚拟环境：\n\n```bash\npython -m venv salmonn_env\nsource salmonn_env\u002Fbin\u002Factivate\n```\n\n## 安装步骤\n\n### 1. 克隆代码仓库\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fbytedance\u002FSALMONN.git\ncd SALMONN\n```\n\n### 2. 安装 Python 依赖\n推荐使用国内镜像源加速安装过程：\n\n```bash\npip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n> **注意**：如果 `requirements.txt` 中未包含特定的音频处理库（如 `librosa`, `soundfile` 等），可能需要手动安装：\n> ```bash\n> pip install librosa soundfile torch torchaudio -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n> ```\n\n### 3. 下载模型权重\n您可以从 Hugging Face 下载预训练模型。国内用户若访问受限，可使用镜像站或手动下载后放入指定目录。\n\n**选项 A: SALMONN-13B (完整版)**\n```bash\n# 需安装 huggingface-cli\nhuggingface-cli download tsinghua-ee\u002FSALMONN --local-dir .\u002Fcheckpoints\u002Fsalmonn_13b\n```\n\n**选项 B: SALMONN-7B (轻量版)**\n```bash\nhuggingface-cli download tsinghua-ee\u002FSALMONN-7B --local-dir .\u002Fcheckpoints\u002Fsalmonn_7b\n```\n\n*手动下载链接*:\n*   [SALMONN-13B](https:\u002F\u002Fhuggingface.co\u002Ftsinghua-ee\u002FSALMONN)\n*   [SALMONN-7B](https:\u002F\u002Fhuggingface.co\u002Ftsinghua-ee\u002FSALMONN-7B)\n\n## 基本使用\n\n以下示例展示如何使用 Python 脚本加载模型并进行简单的音频问答推理。假设您已下载 7B 版本模型。\n\n### 1. 准备测试音频\n确保您有一个测试音频文件（例如 `test.wav`）。如果没有，可以使用任意短音频代替。\n\n### 2. 运行推理脚本\n在项目根目录下创建 `infer.py`，填入以下代码：\n\n```python\nimport torch\nfrom salmonn.model import SALMONN\nfrom salmonn.config import Config\n\n# 配置路径\ncheckpoint_path = \".\u002Fcheckpoints\u002Fsalmonn_7b\" # 或 salmonn_13b\naudio_path = \"test.wav\"\nquestion = \"What is happening in this audio?\"\n\n# 初始化配置\nconfig = Config()\nconfig.device = \"cuda\" if torch.cuda.is_available() else \"cpu\"\nconfig.checkpoint = checkpoint_path\n\n# 加载模型\nprint(\"Loading model...\")\nmodel = SALMONN(config)\nmodel.eval()\n\n# 执行推理\nprint(f\"Processing audio: {audio_path}\")\nresponse = model.generate(\n    audio_input=audio_path,\n    prompt=question,\n    max_new_tokens=512\n)\n\nprint(\"-\" * 30)\nprint(\"Model Response:\")\nprint(response)\n```\n\n### 3. 执行\n```bash\npython infer.py\n```\n\n**针对特定子任务的说明**：\n如果您需要使用视频理解（video-SALMONN）或语音质量评估（Speech Quality Assessment）功能，请切换至对应的 Git 分支并参考该分支下的具体 README 指令：\n*   视频任务：`git checkout videosalmonn`\n*   语音质量评估：`git checkout speech_quality_assessment`","某在线教育平台的技术团队正致力于升级其自动化的口语评测系统，以应对海量学生录音作业中背景噪音复杂、发音瑕疵细微的挑战。\n\n### 没有 SALMONN 时\n- **依赖传统指标**：只能基于信噪比或简单的音高检测判断音质，无法识别“带有轻微电流声但内容清晰”等复杂场景，导致误判率高。\n- **缺乏推理能力**：系统仅能输出冷冰冰的分数，无法像真人老师那样用自然语言解释“为什么扣分”，例如指出具体的吞音或呼吸声干扰。\n- **开发门槛极高**：若要构建具备逻辑推理能力的评测模型，团队需从头收集数十万条带详细评语的标注数据并设计复杂的训练流水线，耗时数月。\n- **多模态割裂**：难以将音频特征与文本语义深度结合，导致对“语调情感”与“文字内容”不匹配的情况（如朗读悲伤文本却语气欢快）毫无感知。\n\n### 使用 SALMONN 后\n- **精准感知细节**：利用 SALMONN 在语音质量评估上的专项能力，模型能精准捕捉背景杂音、混响及发音缺陷，准确区分技术性噪音与有效语音。\n- **生成自然评语**：依托其强大的自然语言推理能力，SALMONN 可直接生成类似“虽然背景有风声，但你的元音发音饱满，建议注意句尾停顿”的个性化反馈。\n- **快速落地应用**：团队直接复用官方开源的 QualiSpeech 数据集微调策略及预训练权重，将原本数月的研发周期缩短至两周即可上线高精度评测服务。\n- **深度视听理解**：若扩展至视频口试场景，video-SALMONN 系列能同步分析画面唇形与声音的一致性，提供全方位的口语表现诊断。\n\nSALMONN 通过赋予机器“听懂”音质瑕疵并“说清”评价理由的能力，将枯燥的自动评分升级为具有教学价值的智能辅导。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fbytedance_SALMONN_668b1e96.png","bytedance","Bytedance Inc.","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fbytedance_7fee2b15.png","",null,"ByteDanceOSS","https:\u002F\u002Fopensource.bytedance.com","https:\u002F\u002Fgithub.com\u002Fbytedance",1406,113,"2026-04-09T17:33:10","Apache-2.0",4,"未说明","未说明（作为多模态大语言模型，通常推理需要 NVIDIA GPU，具体显存需求取决于模型版本如 7B 或 13B）",{"notes":92,"python":89,"dependencies":93},"README 主要提供了模型家族介绍、新闻更新、论文列表及各子项目（如 video-SALMONN, SALMONN-7B\u002F13B）的外部链接。具体的运行环境配置、依赖库列表及安装指令未在本文档中直接列出，需访问文中提到的具体分支（如 'salmonn' 或 'videosalmonn' 分支）或 Hugging Face 模型页面获取详细部署指南。",[89],[15,54,55,35],[96,97,98,99,100,101,76,102,103,104,105,106,107,108,109],"audio","audio-processing","large-language-models","multi-modal","speech","speech-recognition","tsinghua-university","music","iclr2024","research","icml-2024","video","video-understanding","audio-visual-understanding","2026-03-27T02:49:30.150509","2026-04-10T22:21:34.548751",[113,118,122,127,132,137,142],{"id":114,"question_zh":115,"answer_zh":116,"source_url":117},28346,"Video-SALMONN 对输入视频的长度有什么限制？推理速度受视频长度影响吗？","1. 模型长度受音频编码器（Whisper）限制，最多只能处理 30 秒的视频。如果不使用音频（仅输入视频和虚拟音频输入），则限制为 1 分钟（由预定义的位置编码决定）。\n2. 当视频长度在 30 秒以内时，长度不会影响推理速度。","https:\u002F\u002Fgithub.com\u002Fbytedance\u002FSALMONN\u002Fissues\u002F74",{"id":119,"question_zh":120,"answer_zh":121,"source_url":117},28347,"Video-SALMONN 是否支持只输入一个带声音的 MP4 文件，还是必须分离出音频文件？","Video-SALMONN 使用两个不同的编码器分别处理视频和音频。虽然数据文件中需要传递视频路径和音频路径以支持非配对数据，但如果你只有一个 MP4 文件，可以先使用 ffmpeg 提取其中的音频流并保存为 .wav 文件，然后将 MP4 和 WAV 文件配对生成 JSON 数据文件供模型读取。",{"id":123,"question_zh":124,"answer_zh":125,"source_url":126},28348,"运行 SALMONN 时输出为空（Empty output），可能是什么原因？","这通常是因为加载了错误版本的 Vicuna 模型。请确保加载的是 Vicuna 1.1 版本，而不是 1.5 版本。此外，请检查解码配置（decode config）是否正确，并确认输入音频文件的采样率是否为 16K。","https:\u002F\u002Fgithub.com\u002Fbytedance\u002FSALMONN\u002Fissues\u002F78",{"id":128,"question_zh":129,"answer_zh":130,"source_url":131},28349,"SALMONN 中的音素序列（phone sequences）是如何生成的？","LibriSpeech 数据集本身不包含音素标注。项目使用 MFA（Montreal Forced Aligner）工具来生成音素标注。维护者已上传了 LibriSpeech dev 和 test 集的音素序列文件（LS_devclean_pr.json 和 LS_testclean_pr.json）供参考。","https:\u002F\u002Fgithub.com\u002Fbytedance\u002FSALMONN\u002Fissues\u002F103",{"id":133,"question_zh":134,"answer_zh":135,"source_url":136},28350,"Video-SALMONN 中同时使用 Whisper 提取的 speech 特征和 BEATs 提取的 audio 特征是否冗余？两者有何区别？","不冗余，两者侧重点不同：\n1. Whisper 编码器更专注于识别与文本对齐的语义内容（即“说了什么”\u002Fwhat）。\n2. BEATs 编码器更专注于声学信息和环境背景（即“还有什么”\u002Fwhat else），其预训练数据集包含大量非语音数据（如 AudioSet）。","https:\u002F\u002Fgithub.com\u002Fbytedance\u002FSALMONN\u002Fissues\u002F87",{"id":138,"question_zh":139,"answer_zh":140,"source_url":141},28351,"在哪里可以找到用于复现 SALMONN 模型的训练、验证和测试数据集？","训练集已在 README.md 中发布。验证数据是标准验证集的集合，包括 LibriSpeech、AudioCaps 和 GigaSpeech。如果遇到 Google Drive 链接过期问题，请再次尝试或联系作者，通常链接是有效的。","https:\u002F\u002Fgithub.com\u002Fbytedance\u002FSALMONN\u002Fissues\u002F49",{"id":143,"question_zh":144,"answer_zh":145,"source_url":146},28352,"如何在 Video-SALMONN 的配置中设置多模态输入（音频和图像）？","在 `all_decode_info` 配置中，预设的模态值为 \"audioimage\"。如果需要同时输入音频和图像，可以将配置设置为类似 `[\"audioimage\", \"audioimage\", \"你的示例音频 - 图像 json 文件路径\"]` 的格式。第二个字段主要用于命名输出文件，可根据需要设置。","https:\u002F\u002Fgithub.com\u002Fbytedance\u002FSALMONN\u002Fissues\u002F77",[]]