🌟🌟🌟 寻找有趣的工作或希望你的作品被收录？提交 Issue 或 Pull Requests！:)

贡献者

我们感谢以下贡献者的宝贵贡献！ zwenyu, Yuan-ManX, chaoweihuang, Liu-Tianchi, Sakshi113, hbwu-ntu, potsawee, czwxian, marianasignal, 以及你！

目录

• 模型与方法
• 基准测试
• 数据集资源
• 安全性
• 多模态
• 综述
• 研究
• 聊天机器人

缩写与链接

• PAL（通过大语言模型探测音频编码器）
• CMI-Bench（多模态一致性基准）
• MMAR（多模态音频表示学习）
• Step-Audio（逐步音频处理）
• OSUM（开放声音理解模型）
• Audio-FLAN（音频指令微调）
• Audio-CoT（音频思维链）
• UltraEval-Audio（音频超评估）
• MinMo（最小化多模态）
• LUCY（语言理解与生成系统）
• Typhoon2-Audio（台风 2 音频版）
• ADU-Bench（音频诊断基准）
• TalkArena（对话竞技场）
• MERaLiON-AudioLLM（MERaLiON 音频大语言模型）
• ADU-Bench（音频诊断基准）
• WavChat-Survey（语音聊天综述）
• Dynamic-SUPERB Phase-2（动态超级基准第二阶段）
• Taiwanese AudioLLM（台湾语音频大语言模型）
• SPIRIT LM（语音感知智能语言模型）
• VoiceBench（语音基准）
• DiVA（数字音频验证）
• SpeechLM-Survey（语音语言模型综述）
• SpeechEmotionLlama（语音情感 Llama）
• MMAU（多模态音频理解）
• SpeechLLM-Survey（语音大语言模型综述）
• SPIRIT LM（语音感知智能语言模型）
• DeSTA2（动态时空音频）
• Moshi（语音生成模型）
• Ultravox（超语音交互）
• EMOVA（情感音乐视频音频）
• LLaMA-Omni（全能 Llama）
• MoWE-Audio（音乐情感音频）
• ASRCompare（自动语音识别比较）
• AudioBERT（音频 BERT）
• SALMon（音频语义监控）
• Typhoon-Audio（台风音频）
• MuChoMusic（多选择音乐）
• Mini-Omni（迷你全能）
• MooER（音乐情感表达）
• FunAudioLLM（趣味音频大语言模型）
• LLaST（语言学习语音技术）
• GAMA（通用音频模型架构）
• AudioEntailment（音频蕴含）
• CompA（比较音频）
• Qwen2-Audio（通义千问 2 音频）
• 用于语音识别的解码器独占大语言模型 (STT)
• AudioBench（音频基准）
• DeSTA（动态时空音频）
• 音频幻觉 (Audio Hallucination)
• SD-Eval（声纹评估）
• CodecFake（编解码伪造）
• Speech ReaLLM（语音真实大语言模型）
• MusiLingo（音乐语言）
• VoiceJailbreak（语音越狱）
• Audio Flamingo（音频火烈鸟）
• AIR-Bench（音频智能基准）
• LibriSQA（ Libri 问答）
• SALMONN（语音音频多模态神经网络）
• SpokenWOZ（口语任务型对话）
• WavLLM（波形大语言模型）
• SLAM-LLM（同步定位与建图大语言模型）
• AudioLM-Survey（音频语言模型综述）
• Pengi（语音生成模型）
• Qwen-Audio（通义千问音频）
• CoDi-2（代码对话 2）
• UniAudio（统一音频）
• Segment-level Q-Former（分段级查询器）
• Dynamic-SUPERB（动态超级基准）
• LLaSM（语言学习语音模型）
• 使用语音识别提示大语言模型 (Prompting LLMs with Speech Recognition)
• Macaw-LLM（鹦鹉大语言模型）
• SpeechGPT（语音 GPT）
• AudioGPT（音频 GPT）

模型与方法

• 【2025-06】-【PAL】-【CVSSP,PAI@英国萨里大学，MBZUAI 阿布扎比】-【类型：模型】

  • PAL：通过大语言模型 (LLMs) 探测音频编码器——从音频编码器到大语言模型的信息传递研究
  • 作者： Tony Alex, Wish Suharitdamrong, Sara Atito, Armin Mustafa, Philip J. B. Jackson, Imran Razzak, Muhammad Awais
  • 
  • 论文 / 其他链接

• 【2025 年 2 月】-【Step-Audio】-【Step-Audio 团队，StepFun】-【类型：模型】

  • Step-Audio：智能语音交互中的统一理解与生成
  • 作者： Ailin Huang, Boyong Wu, Bruce Wang, Chao Yan, Chen Hu, Chengli Feng, Fei Tian, Feiyu Shen, Jingbei Li, Mingrui Chen, Peng Liu, Ruihang Miao, Wang You, Xi Chen, Xuerui Yang, Yechang Huang, Yuxiang Zhang, Zheng Gong, Zixin Zhang, Hongyu Zhou, Jianjian Sun, Brian Li, Chengting Feng, Changyi Wan, Hanpeng Hu, Jianchang Wu, Jiangjie Zhen, Ranchen Ming, Song Yuan, Xuelin Zhang, Yu Zhou, Bingxin Li, Buyun Ma, Hongyuan Wang, Kang An, Wei Ji, Wen Li, Xuan Wen, Xiangwen Kong, Yuankai Ma, Yuanwei Liang, Yun Mou, Bahtiyar Ahmidi, Bin Wang, Bo Li, Changxin Miao, Chen Xu, Chenrun Wang, Dapeng Shi, Deshan Sun, Dingyuan Hu, Dula Sai, Enle Liu, Guanzhe Huang, Gulin Yan, Heng Wang, Haonan Jia, Haoyang Zhang, Jiahao Gong, Junjing Guo, Jiashuai Liu, Jiahong Liu, Jie Feng, Jie Wu, Jiaoren Wu, Jie Yang, Jinguo Wang, Jingyang Zhang, Junzhe Lin, Kaixiang Li, Lei Xia, Li Zhou, Liang Zhao, Longlong Gu, Mei Chen, Menglin Wu, Ming Li, Mingxiao Li, Mingliang Li, Mingyao Liang, Na Wang, Nie Hao, Qiling Wu, Qinyuan Tan, Ran Sun, Shuai Shuai, Shaoliang Pang, Shiliang Yang, Shuli Gao, Shanshan Yuan, Siqi Liu, Shihong Deng, Shilei Jiang, Sitong Liu, Tiancheng Cao, Tianyu Wang, Wenjin Deng, Wuxun Xie, Weipeng Ming, Wenqing He , Wen Sun, Xin Han, Xin Huang, Xiaomin Deng, Xiaojia Liu, Xin Wu, Xu Zhao, Yanan Wei, Yanbo Yu, Yang Cao, Yangguang Li, Yangzhen Ma, Yanming Xu, Yaoyu Wang, Yaqiang Shi, Yilei Wang, Yizhuang Zhou, Yinmin Zhong, Yang Zhang, Yaoben Wei, Yu Luo, Yuanwei Lu, Yuhe Yin, Yuchu Luo, Yuanhao Ding, Yuting Yan, Yaqi Dai, Yuxiang Yang, Zhe Xie, Zheng Ge, Zheng Sun, Zhewei Huang, Zhichao Chang, Zhisheng Guan, Zidong Yang, Zili Zhang, Binxing Jiao, Daxin Jiang, Heung-Yeung Shum, Jiansheng Chen, Jing Li, Shuchang Zhou, Xiangyu Zhang, Xinhao Zhang, Yibo Zhu
  • 
  • 论文 / Hugging Face 模型

• 【2025 年 2 月】-【OSUM】-【ASLP@NPU】-【类型：模型】

  • OSUM：利用学术界的有限资源推进开放语音理解模型
  • 作者： Xuelong Geng, Kun Wei, Qijie Shao, Shuiyun Liu, Zhennan Lin, Zhixian Zhao, Guojian Li, Wenjie Tian, Peikun Chen, Yangze Li, Pengcheng Guo, Mingchen Shao, Shuiyuan Wang, Yuang Cao, Chengyou Wang, Tianyi Xu, Yuhang Dai, Xinfa Zhu, Yue Li, Li Zhang, Lei Xie
  • 
  • 论文 / Hugging Face 模型

• 【2025 年 1 月】-【Audio-CoT】-【新加坡南洋理工大学】-【类型：模型】

  • Audio-CoT：探索大型音频语言模型中的思维链推理（Chain-of-Thought Reasoning）
  • 作者： Ziyang Ma, Zhuo Chen, Yuping Wang, Eng Siong Chng, Xie Chen
  • 论文

• 【2025 年 1 月】-【LUCY】-【腾讯】-【类型：模型】

  • LUCY：语言理解与控制成就其早期形态
  • 作者： Heting Gao, Hang Shao, Xiong Wang, Chaofan Qiu, Yunhang Shen, Siqi Cai, Yuchen Shi, Zihan Xu, Zuwei Long, Yike Zhang, Shaoqi Dong, Chaoyou Fu, Ke Li, Long Ma, Xing Sun
  • 
  • 论文

• 【2024 年 12 月】-【Typhoon2-Audio】-【SCB 10X】-【类型：多模态语言模型（Multimodal Language Model）】

  • Typhoon2-Audio：用于语音和文本处理的泰语多模态语言模型
  • 作者： Kunat Pipatanakul, Potsawee Manakul, Natapong Nitarach, Warit Sirichotedumrong, Surapon Nonesung, Teetouch Jaknamon, Parinthapat Pengpun, Pittawat Taveekitworachai, Adisai Na-Thalang, Sittipong Sripaisarnmongkol, Krisanapong Jirayoot, Kasima Tharnpipitchai
  • 
  • 论文 / Hugging Face 模型 / 演示

• 【2024 年 12 月】-【MERaLiON-AudioLLM】-【I2R, A*STAR, 新加坡】-【类型：模型】

  • MERaLiON-AudioLLM：利用大语言模型连接音频与语言
  • 作者： Yingxu He, Zhuohan Liu, Shuo Sun, Bin Wang, Wenyu Zhang, Xunlong Zou, Nancy F. Chen, Ai Ti Aw
  • 论文 / Hugging Face 模型 / 演示

• 【2024 年 11 月】-【台湾语 AudioLLM】-【国立台湾大学】-【类型：模型】

  • 构建台湾华语口语语言模型：首次尝试
  • 作者： Chih-Kai Yang, Yu-Kuan Fu, Chen-An Li, Yi-Cheng Lin, Yu-Xiang Lin, Wei-Chih Chen, Ho Lam Chung, Chun-Yi Kuan, Wei-Ping Huang, Ke-Han Lu, Tzu-Quan Lin, Hsiu-Hsuan Wang, En-Pei Hu, Chan-Jan Hsu, Liang-Hsuan Tseng, I-Hsiang Chiu, Ulin Sanga, Xuanjun Chen, Po-chun Hsu, Shu-wen Yang, Hung-yi Lee
  • 论文

• 【2024 年 10 月】-【SPIRIT LM】-【Meta】-【类型：模型】

  • SPIRIT LM：交织式口语与书面语语言模型
  • 作者： Tu Anh Nguyen, Benjamin Muller, Bokai Yu, Marta R. Costa-jussa, Maha Elbayad, Sravya Popuri, Christophe Ropers, Paul-Ambroise Duquenne, Robin Algayres, Ruslan Mavlyutov, Itai Gat, Mary Williamson, Gabriel Synnaeve, Juan Pino, Benoit Sagot, Emmanuel Dupoux
  • 
  • 论文 / 其他链接

• 【2024 年 10 月】-【DiVA】-【佐治亚理工学院，斯坦福大学】-【类型：模型】

  • 无需指令训练数据蒸馏端到端语音助手
  • 作者： William Held, Ella Li, Michael Ryan, Weiyan Shi, Yanzhe Zhang, Diyi Yang
  • 
  • 论文 / 演示

• 【2024 年 10 月】-【SpeechEmotionLlama】-【麻省理工学院，Meta】-【类型：模型】

  • 冻结的大语言模型能够感知语音的副语言特征（Paralinguistic Aspects）
  • 作者： Wonjune Kang, Junteng Jia, Chunyang Wu, Wei Zhou, Egor Lakomkin, Yashesh Gaur, Leda Sari, Suyoun Kim, Ke Li, Jay Mahadeokar, Ozlem Kalinli
  • 论文

• 【2024-10】-【SPIRIT LM】-【Meta】-【类型：模型】

  • SPIRIT LM：交错式口语与书面语语言模型 (LM)
  • 作者： Tu Anh Nguyen, Benjamin Muller, Bokai Yu, Marta R. Costa-jussa, Maha Elbayad, Sravya Popuri, Paul-Ambroise Duquenne, Robin Algayres, Ruslan Mavlyutov, Itai Gat, Gabriel Synnaeve, Juan Pino, Benoît Sagot, Emmanuel Dupoux
  • 
  • 论文 / 演示

• 【2024-09】-【DeSTA2】-【国立台湾大学，英伟达】-【类型：模型】

  • Developing Instruction-Following Speech Language Model Without Speech Instruction-Tuning Data
  • 作者： Ke-Han Lu, Zhehuai Chen, Szu-Wei Fu, Chao-Han Huck Yang, Jagadeesh Balam, Boris Ginsburg, Yu-Chiang Frank Wang, Hung-yi Lee
  • 
  • 论文

• 【2024-09】-【Moshi】-【Kyutai】-【类型：模型】

  • Moshi：用于实时对话的语音 - 文本基础模型
  • 作者： Alexandre Défossez, Laurent Mazaré, Manu Orsini, Amélie Royer, Patrick Pérez, Hervé Jégou, Edouard Grave, Neil Zeghidour
  • 
  • 论文

• 【2024-09】-【Ultravox】-【Fixie.ai】-【类型：模型】

  • Ultravox：一种用于实时语音的快速多模态大语言模型 (LLM)
  • 作者：
  • 

• 【2024-09】-【LLaMA-Omni】-【中国科学院计算技术研究所 (ICT/CAS)】-【类型：模型】

  • LLaMA-Omni：与大语言模型的无缝语音交互
  • 作者： Qingkai Fang, Shoutao Guo, Yan Zhou, Zhengrui Ma, Shaolei Zhang, Yang Feng
  • 
  • 论文

• 【2024-09】-【MoWE-Audio】-【新加坡科技研究局 (A*STAR)】-【类型：模型】

  • MoWE-Audio：具有弱编码器混合的多任务音频大语言模型
  • 作者： Wenyu Zhang, Shuo Sun, Bin Wang, Xunlong Zou, Zhuohan Liu, Yingxu He, Geyu Lin, Nancy F. Chen, Ai Ti Aw
  • 论文

• 【2024-09】-【ASRCompare】-【清华大学，腾讯 AI 实验室】-【类型：模型】

  • 比较离散和连续空间的大语言模型用于语音识别 (ASR)
  • 作者： Yaoxun Xu, Shi-Xiong Zhang, Jianwei Yu, Zhiyong Wu, Dong Yu
  • 
  • 论文

• 【2024-09】-【AudioBERT】-【浦项科技大学，仁荷大学】-【类型：模型】

  • AudioBERT：音频知识增强语言模型
  • 作者： Hyunjong Ok, Suho Yoo, Jaeho Lee
  • 
  • 论文

• 【2024-08】-【Typhoon-Audio】-【SCB 10X】-【类型：多模态语言模型】

  • Typhoon-Audio：增强音频语言模型的低资源语言和遵循指令能力
  • 作者： Potsawee Manakul, Guangzhi Sun, Warit Sirichotedumrong, Kasima Tharnpipitchai, Kunat Pipatanakul
  • 论文 / Hugging Face 模型

• 【2024-08】-【Mini-Omni】-【清华大学】-【类型：模型】

  • Mini-Omni：语言模型可以在流式处理中听、说并思考
  • 作者： Zhifei Xie, Changqiao Wu
  • 
  • 论文

• 【2024-08】-【MooER】-【摩尔线程】-【类型：模型】

  • MooER：来自摩尔线程的基于大语言模型的语音识别和翻译模型
  • 作者： Zhenlin Liang, Junhao Xu, Yi Liu, Yichao Hu, Jian Li, Yajun Zheng, Meng Cai, Hua Wang
  • 
  • 论文

• 【2024-07】-【FunAudioLLM】-【阿里巴巴】-【类型：模型】

  • FunAudioLLM：人类与大语言模型自然交互的语音理解和生成基础模型
  • 作者： 提供的信息中未指定作者
  • 
  • 论文 / 演示

• 【2024-07】-【LLaST】-【香港中文大学（深圳）；上海人工智能实验室；日本奈良先端科学技术大学院大学】-【类型：模型】

  • LLaST：利用大语言模型改进的端到端语音翻译系统
  • 作者： Xi Chen, Songyang Zhang, Qibing Bai, Kai Chen, Satoshi Nakamura
  • 
  • 论文

• 【2024-07】-【GAMA】-【马里兰大学帕克分校】-【类型：模型】

  • GAMA：具有高级音频理解和复杂推理能力的大型音频 - 语言模型
  • 作者： Sreyan Ghosh, Sonal Kumar, Ashish Seth, Chandra Kiran Reddy Evuru, Utkarsh Tyagi, S Sakshi, Oriol Nieto, Ramani Duraiswami, Dinesh Manocha
  • 
  • 论文 / 演示

• 【2024-07】-【CompA】-【马里兰大学帕克分校；美国奥多比；印度班加罗尔英伟达】-【类型：模型】

  • CompA：解决音频 - 语言模型在组合推理方面的差距
  • 作者： Sreyan Ghosh, Ashish Seth, Sonal Kumar, Utkarsh Tyagi, Chandra Kiran Evuru, S. Ramaneswaran, S. Sakshi, Oriol Nieto, Ramani Duraiswami, Dinesh Manocha
  • 
  • 论文 / 演示

• 【2024-07】-【Qwen2-Audio】-【阿里巴巴集团】-【类型：模型】

  • Qwen2-Audio 技术报告
  • 作者： Yunfei Chu, Jin Xu, Qian Yang, Haojie Wei, Xipin Wei, Zhifang Guo, Yichong Leng, Yuanjun Lv, Jinzheng He, Junyang Lin, Chang Zhou, Jingren Zhou
  • 
  • 论文

• 【2024-07】-【Decoder-only LLMs for STT】-【台湾国立大学，Meta】-【类型：研究】

  • 探究仅解码器大型语言模型（LLM）用于语音转文本（STT）翻译
  • 作者： 所提供信息中未指定作者
  • 论文

• 【2024-06】-【DeSTA】-【台湾国立大学，英伟达】-【类型：模型】

  • DeSTA：通过描述性语音 - 文本对齐增强语音语言模型
  • 作者： 所提供信息中未指定作者
  • 
  • 论文

• 【2024-06】-【Speech ReaLLM】-【Meta】-【类型：模型】

  • Speech ReaLLM – 通过教导时间流实现多模态（Multimodal）大型语言模型（LLM）的实时流式语音识别
  • 作者： 所提供信息中未指定作者
  • 论文

• 【2024-06】-【MusiLingo】-【宾夕法尼亚大学】-【类型：模型】

  • MusiLingo：利用预训练语言模型连接音乐与文本，用于音乐标注和查询响应
  • 作者： Zihao Deng, Yinghao Ma, Yudong Liu, Rongchen Guo, Ge Zhang, Wenhu Chen, Wenhao Huang, Emmanouil Benetos
  • 
  • 论文

• 【2024-05】-【Audio Flamingo】-【英伟达】-【类型：模型】

  • Audio Flamingo：一种具有少样本学习（Few-Shot Learning）和对话能力的新颖音频语言模型
  • 作者： 所提供信息中未指定作者
  • 
  • 论文

• 【2024-04】-【SALMONN】-【清华大学】-【类型：模型】

  • SALMONN：迈向大型语言模型（LLM）的通用听觉能力
  • 作者： 所提供信息中未指定作者
  • 
  • 论文 / 演示

• 【2024-03】-【WavLLM】-【香港中文大学（CUHK）】-【类型：模型】

  • WavLLM：迈向鲁棒且自适应的语音大型语言模型（LLM）
  • 作者： 所提供信息中未指定作者
  • 
  • 论文

• 【2024-02】-【SLAM-LLM】-【上海交通大学（SJTU）】-【类型：模型】

  • 一种具有强大自动语音识别（ASR）能力的大型语言模型（LLM）的简单方法
  • 作者： 所提供信息中未指定作者
  • 
  • 论文

• 【2024-01】-【Pengi】-【微软】-【类型：模型】

  • Pengi：用于音频任务的音频语言模型
  • 作者： 所提供信息中未指定作者
  • 
  • 论文

• 【2023-12】-【Qwen-Audio】-【阿里巴巴】-【类型：模型】

  • Qwen-Audio：通过统一的大规模音频 - 语言模型推进通用音频理解
  • 作者： 所提供信息中未指定作者
  • 
  • 论文 / 演示

• 【2023-10】-【UniAudio】-【香港中文大学（CUHK）】-【类型：模型】

  • 面向通用音频生成的音频基础模型（Foundation Model）
  • 作者： 所提供信息中未指定作者
  • 
  • 论文 / 演示

• 【2023-09】-【Segment-level Q-Former】-【清华大学，字节跳动】-【类型：模型】

  • 连接语音编码器和大型语言模型（LLM）以实现自动语音识别（ASR）
  • 作者： Wenyi Yu, Changli Tang, Guangzhi Sun, Xianzhao Chen, Tian Tan, Wei Li, Lu Lu, Zejun Ma, Chao Zhang
  • 论文

• 【2023-09】-【LLaSM】-【LinkSoul.AI】-【类型：模型】

  • LLaSM：大型语言与语音模型
  • 作者： 所提供信息中未指定作者
  • 
  • 论文

• 【2023-07】-【Prompting LLMs with Speech Recognition】-【Meta】-【类型：模型】

  • 使用语音识别能力提示大型语言模型（LLM）
  • 作者： Yassir Fathullah, Chunyang Wu, Egor Lakomkin, Junteng Jia, Yuan Shangguan, Ke Li, Jinxi Guo, Wenhan Xiong, Jay Mahadeokar, Ozlem Kalinli, Christian Fuegen, Mike Seltzer
  • 论文

• 【2023-05】-【SpeechGPT】-【复旦大学】-【类型：模型】

  • SpeechGPT：赋予大型语言模型（LLM）内在的跨模态对话能力
  • 作者： Dong Zhang, Shimin Li, Xin Zhang, Jun Zhan, Pengyu Wang, Yaqian Zhou, Xipeng Qiu
  • 
  • 论文 / 演示

• 【2023-04】-【AudioGPT】-【浙江大学】-【类型：模型】

  • AudioGPT：理解和生成语音、音乐、声音和说话人头
  • 作者： Rongjie Huang, Mingze Li, Dongchao Yang, Jiatong Shi, Xuankai Chang, Zhenhui Ye, Yuning Wu, Zhiqing Hong, Jiawei Huang, Jinglin Liu, Yi Ren, Zhou Zhao, Shinji Watanabe
  • 
  • 论文

基准测试

• 【2025-06】-【CMI-Bench】-【伦敦大学玛丽女王学院】-【类型：基准测试】

  • CMI-Bench：用于评估音乐指令遵循的综合基准
  • 作者： Yinghao Ma, Siyou Li, Juntao Yu, Emmanouil Benetos, Akira Maezawa
  • 
  • 论文 / Hugging Face 模型

• 【2025-05】-【MMAR】-【上海交通大学】-【类型：基准测试】

  • MMAR：语音、音频、音乐及其混合领域深度推理的挑战性基准
  • 作者： Ziyang Ma, Yinghao Ma, Yanqiao Zhu, Chen Yang, Yi-Wen Chao, Ruiyang Xu, Wenxi Chen, Yuanzhe Chen, Zhuo Chen, Jian Cong, Kai Li, Keliang Li, Siyou Li, Xinfeng Li, Xiquan Li, Zheng Lian, Yuzhe Liang, Minghao Liu, Zhikang Niu, Tianrui Wang, Yuping Wang, Yuxuan Wang, Yihao Wu, Guanrou Yang, Jianwei Yu, Ruibin Yuan, Zhisheng Zheng, Ziya Zhou, Haina Zhu, Wei Xue, Emmanouil Benetos, Kai Yu, Eng-Siong Chng, Xie Chen
  • 论文

• 【2025-01】-【UltraEval-Audio】-【OpenBMB】-【类型：基准测试】

  • UltraEval-Audio
  • 作者： OpenBMB
  • 

• 【2024-12】-【ADU-Bench】-【清华大学，牛津大学】-【类型：基准测试】

  • 大型音频 - 语言模型的开放式音频对话理解基准测试
  • 作者： Kuofeng Gao, Shu-Tao Xia, Ke Xu, Philip Torr, Jindong Gu
  • 论文

• 【2024-12】-【TalkArena】-【斯坦福大学，SCB 10X】-【类型：交互式基准测试工具】

  • TalkArena：大型音频模型的交互式评估
  • 作者： Ella Minzhi Li*, Will Held*, Michael J. Ryan, Kunat Pipatanakul, Potsawee Manakul, Hao Zhu, Diyi Yang (*同等贡献)
  • 
  • 演示 / 其他链接

• 【2024-12】-【ADU-Bench】-【清华大学，牛津大学】-【类型：基准测试】

  • 大型音频 - 语言模型的开放式音频对话理解基准测试
  • 作者： Kuofeng Gao, Shu-Tao Xia, Ke Xu, Philip Torr, Jindong Gu
  • 论文

• 【2024-11】-【Dynamic-SUPERB Phase-2】-【国立台湾大学，德克萨斯大学奥斯汀分校，卡内基梅隆大学，南洋理工大学，芝加哥丰田技术研究所，魁北克大学 INRS-EMT，NVIDIA，ASAPP，中国人民大学】-【类型：评估框架】

  • Dynamic-SUPERB Phase-2：包含 180 项任务的协作扩展基准，用于衡量语音语言模型的能力
  • 作者： Chien-yu Huang, Wei-Chih Chen, Shu-wen Yang, Andy T. Liu, Chen-An Li, Yu-Xiang Lin, Wei-Cheng Tseng, Anuj Diwan, Yi-Jen Shih, Jiatong Shi, William Chen, Xuanjun Chen, Chi-Yuan Hsiao, Puyuan Peng, Shih-Heng Wang, Chun-Yi Kuan, Haibin Wu, Siddhant Arora, Kai-Wei Chang, Yifan Peng, Roshan Sharma, Shinji Watanabe, Bhiksha Ramakrishnan, Shady Shehata, Hung-yi Lee
  • 
  • 论文 / 其他链接

• 【2024-10】-【VoiceBench】-【新加坡国立大学】-【类型：基准测试】

  • VoiceBench：基于大语言模型的语音助手基准测试
  • 作者： Yiming Chen, Xianghu Yue, Chen Zhang, Xiaoxue Gao, Robby T. Tan, Haizhou Li
  • 
  • 论文

• 【2024-10】-【MMAU】-【马里兰大学】-【类型：基准测试】

  • MMAU：大规模多任务音频理解与推理基准
  • 作者： S Sakshi, Utkarsh Tyagi, Sonal Kumar, Ashish Seth, Ramaneswaran Selvakumar, Oriol Nieto, Ramani Duraiswami, Sreyan Ghosh, Dinesh Manocha
  • 
  • 论文 / 其他链接

• 【2024-09】-【SALMon】-【耶路撒冷希伯来大学】-【类型：基准测试】

  • 声学语言模型评估套件
  • 作者： Gallil Maimon, Amit Roth, Yossi Adi
  • 
  • 论文 / 演示

• 【2024-08】-【MuChoMusic】-【庞培法布拉大学，伦敦大学玛丽女王学院，环球音乐集团】-【类型：基准测试】

  • MuChoMusic：评估多模态音频 - 语言模型中的音乐理解能力
  • 作者： Benno Weck, Ilaria Manco, Emmanouil Benetos, Elio Quinton, George Fazekas, Dmitry Bogdanov
  • 
  • 论文

• 【2024-07】-【AudioEntailment】-【卡内基梅隆大学，微软】-【类型：基准测试】

  • 音频蕴含：评估音频理解的演绎推理能力
  • 作者： Soham Deshmukh, Shuo Han, Hazim Bukhari, Benjamin Elizalde, Hannes Gamper, Rita Singh, Bhiksha Raj
  • 
  • 论文

• 【2024-06】-【AudioBench】-【新加坡科技研究局，新加坡】-【类型：基准测试】

  • AudioBench：音频大语言模型的通用基准
  • 作者： Bin Wang, Xunlong Zou, Geyu Lin, Shuo Sun, Zhuohan Liu, Wenyu Zhang, Zhengyuan Liu, AiTi Aw, Nancy F. Chen
  • 
  • 论文 / 演示

• 【2024-06】-【SD-Eval】-【香港中文大学，字节跳动】-【类型：基准测试】

  • SD-Eval：超越文本的口语对话理解基准数据集
  • 作者： Junyi Ao, Yuancheng Wang, Xiaohai Tian, Dekun Chen, Jun Zhang, Lu Lu, Yuxuan Wang, Haizhou Li, Zhizheng Wu
  • 
  • 论文

• 【2024-05】-【AIR-Bench】-【浙江大学，阿里巴巴】-【类型：基准测试】

  • AIR-Bench：通过生成式理解对大型音频 - 语言模型进行基准测试
  • 作者： Qian Yang, Jin Xu, Wenrui Liu, Yunfei Chu, Ziyue Jiang, Xiaohuan Zhou, Yichong Leng, Yuanjun Lv, Zhou Zhao, Chang Zhou, Jingren Zhou
  • 
  • 论文

• 【2024-03】-【SpokenWOZ】-【腾讯】-【类型：基准测试】

  • SpokenWOZ：面向语音任务导向对话代理的大规模语音 - 文本基准测试
  • 作者： Shuzheng Si, Wentao Ma, Haoyu Gao, Yuchuan Wu, Ting-En Lin, Yinpei Dai, Hangyu Li, Rui Yan, Fei Huang, Yongbin Li
  • 
  • 论文 / 演示

• 【2023-09】-【Dynamic-SUPERB】-【台湾大学等】-【类型：基准测试】

  • Dynamic-SUPERB：迈向动态、协作且全面的语音指令微调基准测试
  • 作者： Chien-yu Huang, Ke-Han Lu, Shih-Heng Wang, Chi-Yuan Hsiao, Chun-Yi Kuan, Haibin Wu, Siddhant Arora, Kai-Wei Chang, Jiatong Shi, Yifan Peng, Roshan Sharma, Shinji Watanabe, Bhiksha Ramakrishnan, Shady Shehata, Hung-yi Lee
  • 
  • 论文

数据集资源

• 【2025-02】-【Audio-FLAN】-【香港科技大学】-【类型：数据集资源】

  • Audio-FLAN：初步发布
  • 作者： Liumeng Xue, Ziya Zhou, Jiahao Pan, Zixuan Li, Shuai Fan, Yinghao Ma, Sitong Cheng, Dongchao Yang, Haohan Guo, Yujia Xiao, Xinsheng Wang, Zixuan Shen, Chuanbo Zhu, Xinshen Zhang, Tianchi Liu, Ruibin Yuan, Zeyue Tian, Haohe Liu, Emmanouil Benetos, Ge Zhang, Yike Guo, Wei Xue
  • 
  • 论文 / Hugging Face 模型

• 【2024-04】-【LibriSQA】-【上海交通大学】-【类型：数据集资源】

  • LibriSQA：一种用于大语言模型语音问答的新颖数据集与框架
  • 作者： Zihan Zhao, Yiyang Jiang, Heyang Liu, Yanfeng Wang, Yu Wang
  • 
  • 论文

安全性

• 【2024-06】-【CodecFake】-【台湾大学】-【类型：安全性】

  • CodecFake：增强针对基于编解码器语音合成系统深度伪造音频的反欺骗模型
  • 作者： Haibin Wu, Yuan Tseng, Hung-yi Lee
  • 
  • 论文 / 其他链接

• 【2024-05】-【VoiceJailbreak】-【CISPA】-【类型：方法】

  • 针对 GPT-4o 的语音越狱攻击
  • 作者： Xinyue Shen, Yixin Wu, Michael Backes, Yang Zhang
  • 
  • 论文

多模态

• 【2024-09】-【EMOVA】-【香港科技大学】-【类型：模型】

  • EMOVA：赋能语言模型以生动情感看、听和说
  • 作者： Kai Chen, Yunhao Gou, Runhui Huang, Zhili Liu, Daxin Tan, Jing Xu, Chunwei Wang, Yi Zhu, Yihan Zeng, Kuo Yang, Dingdong Wang, Kun Xiang, Haoyuan Li, Haoli Bai, Jianhua Han, Xiaohui Li, Weike Jin, Nian Xie, Yu Zhang, James T. Kwok, Hengshuang Zhao, Xiaodan Liang, Dit-Yan Yeung, Xiao Chen, Zhenguo Li, Wei Zhang, Qun Liu, Jun Yao, Lanqing Hong, Lu Hou, Hang Xu
  • 论文 / 演示

• 【2023-11】-【CoDi-2】-【加州大学伯克利分校】-【类型：模型】

  • CoDi-2：上下文内、交错且交互式的任意到任意生成
  • 作者： Zineng Tang, Ziyi Yang, Mahmoud Khademi, Yang Liu, Chenguang Zhu, Mohit Bansal
  • 
  • 论文 / 演示

• 【2023-06】-【Macaw-LLM】-【腾讯】-【类型：模型】

  • Macaw-LLM：集成图像、视频、音频和文本的多模态语言建模
  • 作者： Chenyang Lyu, Minghao Wu, Longyue Wang, Xinting Huang, Bingshuai Liu, Zefeng Du, Shuming Shi, Zhaopeng Tu
  • 
  • 论文

综述

• 【2024-11】-【WavChat-Survey】-【浙江大学】-【类型：综述】

  • WavChat：语音对话模型综述
  • 作者： Shengpeng Ji, Yifu Chen, Minghui Fang, Jialong Zuo, Jingyu Lu, Hanting Wang, Ziyue Jiang, Long Zhou, Shujie Liu, Xize Cheng, Xiaoda Yang, Zehan Wang, Qian Yang, Jian Li, Yidi Jiang, Jingzhen He, Yunfei Chu, Jin Xu, Zhou Zhao
  • 论文

• 【2024-10】-【SpeechLM-Survey】-【香港中文大学，腾讯】-【类型：综述】

  • 语音语言模型最新进展：综述
  • 作者： Wenqian Cui, Dianzhi Yu, Xiaoqi Jiao, Ziqiao Meng, Guangyan Zhang, Qichao Wang, Yiwen Guo, Irwin King
  • 论文

• 【2024-10】-【SpeechLLM-Survey】-【上海交通大学，思必驰】-【类型：综述】

  • 语音大语言模型综述
  • 作者： Jing Peng, Yucheng Wang, Yu Xi, Xu Li, Xizhuo Zhang, Kai Yu
  • 论文

• 【2024-02】-【AudioLM-Survey】-【台湾大学，麻省理工学院】-【类型：综述】

  • 迈向音频语言建模——概述
  • 作者： Haibin Wu, Xuanjun Chen, Yi-Cheng Lin, Kai-wei Chang, Ho-Lam Chung, Alexander H. Liu, Hung-yi Lee
  • 论文

研究

• 【2024-06】-【Audio Hallucination】-【台湾大学】-【类型：研究】
  • 理解声音，错过问题：大型音频 - 语言模型中对象幻觉的挑战
  • 作者： Chun-Yi Kuan, Wei-Ping Huang, Hung-yi Lee
  • 
  • 论文

聊天机器人

• 【2025-01】-【MinMo】-【FunAudioLLM 团队，通义实验室 (Tongyi Lab), 阿里巴巴集团 (Alibaba Group)】-【类型：多模态大语言模型 (Multimodal Large Language Model)】
  • MinMo：用于无缝语音交互的多模态大语言模型
  • 作者： Qian Chen, Yafeng Chen, Yanni Chen, Mengzhe Chen, Yingda Chen, Chong Deng, Zhihao Du, Ruize Gao, Changfeng Gao, Zhifu Gao, Yabin Li, Xiang Lv, Jiaqing Liu, Haoneng Luo, Bin Ma, Chongjia Ni, Xian Shi, Jialong Tang, Hui Wang, Hao Wang, Wen Wang, Yuxuan Wang, Yunlan Xu, Fan Yu, Zhijie Yan, Yexin Yang, Baosong Yang, Xian Yang, Guanrou Yang, Tianyu Zhao, Qinglin Zhang, Shiliang Zhang, Nan Zhao, Pei Zhang, Chong Zhang, Jinren Zhou
  • 论文 / 其他链接

Awesome-Audio-LLM 快速上手指南

Awesome-Audio-LLM 是一个专注于音频大语言模型（Audio LLM）的开源资源聚合库，收录了最新的模型、方法、数据集、基准测试及调研论文。本指南帮助您快速克隆并浏览该资源库。

1. 环境准备

由于本仓库主要作为资源索引和文档集合，无需复杂的编译或依赖安装环境。请确保您的开发环境满足以下基础要求：

• 操作系统: Linux / macOS / Windows (支持 Git)
• 网络环境: 稳定的互联网连接（用于访问 GitHub 及外部链接）
• 前置工具:
  • Git (版本控制工具)
  • 现代 Web 浏览器 (用于阅读 README 和跳转链接)
  • Python 3.x (可选，部分关联项目可能需要运行代码)

💡 国内加速建议: 若 GitHub 访问不稳定，建议使用国内镜像源或代理工具进行克隆操作。

2. 安装步骤

通过 Git 将仓库克隆到本地即可开始使用。

git clone https://github.com/AudioLLMs/Awesome-Audio-LLM.git
cd Awesome-Audio-Audio-LLM

如需保持资源库为最新状态，可定期执行更新命令：

git pull origin main

3. 基本使用

本工具的核心价值在于其结构化的资源导航。您无需运行特定脚本，主要通过以下方式探索内容：

浏览目录结构

打开根目录下的 README.md 文件，查看顶部的 Table of Contents，快速定位感兴趣的内容板块：

• Model and Methods: 查看最新音频模型架构与训练方法。
• Benchmark: 获取评估基准与测试集信息。
• Dataset Resource: 查找可用的音频数据集。
• Chatbot: 探索现有的语音对话机器人实现。

访问具体项目

在列表中点击具体的模型名称（如 Step-Audio, PAL, OSUM 等），会跳转到对应的：

• GitHub 仓库: 获取源代码与部署说明。
• Hugging Face 页面: 下载预训练权重或体验 Demo。
• ArXiv 论文: 阅读详细技术报告。

示例：查看时间线

仓库中包含一个可视化时间线图（model_release_timeline_vertical_listed.png），帮助开发者直观了解音频 LLM 技术的发展脉络。

---

注意: 本仓库本身不包含可执行的独立软件包。所列出的每个模型或项目（如 Step-Audio, Ultravox 等）均有独立的安装和使用文档，请在跳转后查阅对应项目的 README 以完成具体部署。