DTLN
DTLN 是一个基于 TensorFlow 2.x 实现的实时语音降噪开源模型，全称为“双信号变换 LSTM 网络”。它主要解决在嘈杂环境中提取清晰人声的难题，能够有效抑制背景噪声，同时保留语音的自然度与相位信息。
该项目不仅提供了完整的模型训练、推理及服务代码，还预置了多种格式（包括 SavedModel、TF-lite 和 ONNX）的模型文件，方便用户直接调用或作为基线进行二次开发。其独特的技术亮点在于结合了短时傅里叶变换（STFT）与可学习的分析合成基，通过堆叠网络架构，在参数量少于 100 万的情况下实现了卓越的降噪性能。在国际知名的深度降噪挑战赛（DNS-Challenge）中，DTLN 的表现超越了官方基线模型，并在实时赛道中取得了优异成绩。
得益于高效的算法设计，DTLN 支持真正的实时音频处理（逐帧输入输出），甚至能在树莓派等资源受限的设备上流畅运行。这使得它非常适合开发者、研究人员以及需要嵌入式语音处理方案的工程师使用。无论是构建会议软件、助听设备原型，还是研究语音增强算法，DTLN 都是一个轻量且强大的选择。项目遵循 MIT 协议开源，鼓励社区探索更多创新应用。
使用场景
一位远程医疗平台的开发者正在为医生端应用集成实时语音通话功能，但面临嘈杂家庭环境下的沟通障碍。
没有 DTLN 时
- 背景噪音（如键盘声、宠物叫声）严重干扰医患对话，导致关键病情信息听不清。
- 传统降噪算法延迟高，在树莓派等边缘设备上无法实现流畅的“一进一出”实时处理。
- 模型参数量过大，难以部署到移动端或低算力 IoT 设备，限制了服务的覆盖范围。
- 语音相位信息丢失严重，处理后的人声听起来机械失真，影响医生的判断体验。
使用 DTLN 后
- 利用堆叠双信号变换 LSTM 网络，精准分离人声与背景噪点，即使在吵闹环境中也能清晰传达医嘱。
- 凭借少于 100 万参数的轻量级架构，在树莓派上即可实现低延迟实时音频流处理，确保对话零卡顿。
- 支持 TF-lite 和 ONNX 格式导出，轻松将高性能降噪模型嵌入各类移动端及边缘计算硬件中。
- 结合短时傅里叶变换与学习到的分析综合基，有效保留语音相位细节，输出自然保真的清晰人声。
DTLN 以极低的算力成本实现了业界领先的实时降噪效果，让边缘设备上的高质量语音交互成为可能。
运行环境要求
- Linux
- macOS
- 训练必需：NVIDIA GPU，显存至少 5GB，推荐 CUDA 10.1 及 NVIDIA 驱动 418+
- 仅评估推理可使用 CPU 版本
未说明
快速开始
双信号变换LSTM网络
- 基于TensorFlow 2.x实现的堆叠式双信号变换LSTM网络（DTLN），用于实时噪声抑制。
- 本仓库提供了使用Python训练、推理和部署DTLN模型的代码。同时，还提供了SavedModel、TF-lite和ONNX格式的预训练模型，可作为您自己项目的基线。该模型能够在树莓派上对实时音频进行处理。
- 如果您使用本仓库开发了有趣的应用，请告诉我！我非常好奇您是如何利用这些代码或模型的。
DTLN模型曾提交至深度噪声抑制挑战赛（DNS-Challenge，GitHub链接），相关论文已在2020年Interspeech会议上发表。
该方法结合了短时傅里叶变换（STFT）与学习得到的分析和综合基，在一个参数量少于一百万的堆叠网络中实现了这一创新。模型基于挑战赛主办方提供的500小时带噪语音数据进行训练。该网络能够进行实时处理（一帧输入，一帧输出），并取得了具有竞争力的结果。通过结合这两种信号变换方式，DTLN能够稳健地从幅度谱中提取信息，并将相位信息融入到学习得到的特征基中。该方法表现出当前最先进的性能，在平均意见得分（MOS）方面比DNS-Challenge的基线高出0.24分。
更多信息请参阅论文。DNS-Challenge的比赛结果已发布在这里。我们在实时赛道中从17支队伍中脱颖而出，获得了第8名的优异成绩。
如需使用基线或复现论文中的处理流程，请运行以下命令：
$ python run_evaluation.py -i in/folder/with/wav -o target/folder/processed/files -m ./pretrained_model/model.h5
预训练的DTLN-aec模型（即应用于声学回声消除的DTLN）可在DTLN-aec仓库中找到。
作者：尼尔斯·L·韦斯特豪森（德国奥尔登堡卡尔·冯·奥西茨基大学“通信声学”研究组）
本代码采用MIT许可证授权。
引用：
如果您使用了DTLN模型，请引用以下文献：
@inproceedings{Westhausen2020,
author={Nils L. Westhausen and Bernd T. Meyer},
title={{Dual-Signal Transformation LSTM Network for Real-Time Noise Suppression}},
year=2020,
booktitle={Proc. Interspeech 2020},
pages={2477--2481},
doi={10.21437/Interspeech.2020-2631},
url={http://dx.doi.org/10.21437/Interspeech.2020-2631}
}
README内容：
- 结果
- 执行时间
- 音频样本
- 仓库内容
- Python依赖
- 训练数据准备
- 运行DTLN模型训练
- 使用SavedModel格式测量DTLN模型的执行时间
- 使用SavedModel格式进行实时处理
- 使用TF-lite进行实时处理
- 使用sounddevice和TF-lite进行实时音频处理
- 模型转换及使用ONNX进行实时处理
结果：
DNS-Challenge无混响测试集上的结果：
| 模型 | PESQ [mos] | STOI [%] | SI-SDR [dB] | TF版本 |
|---|---|---|---|---|
| 未处理 | 2.45 | 91.52 | 9.07 | |
| NsNet（基线） | 2.70 | 90.56 | 12.57 | |
| DTLN（500h） | 3.04 | 94.76 | 16.34 | 2.1 |
| DTLN（500h） | 2.98 | 94.75 | 16.20 | TF-light |
| DTLN（500h） | 2.95 | 94.47 | 15.71 | TF-light量化版 |
| DTLN归一化（500h） | 3.04 | 94.47 | 16.10 | 2.2 |
| DTLN归一化（40h） | 3.05 | 94.57 | 16.88 | 2.2 |
| DTLN归一化（40h） | 2.98 | 94.56 | 16.58 | TF-light |
| DTLN归一化（40h） | 2.98 | 94.51 | 16.22 | TF-light量化版 |
- 转换为TF-light会略微降低性能。
- TF-light的动态范围量化也会小幅降低性能，并引入一些量化噪声。但音频质量仍然较高，且该模型可以在树莓派3 B+上实现实时处理。
- 对STFT对数幅度进行归一化不会降低模型性能，反而使其对音量变化更具鲁棒性。
- 通过训练时的数据增强，仅需40小时的噪声和语音数据即可训练出DTLN模型。如有任何疑问，请随时联系我。
执行时间：
SavedModel的执行时间使用TF 2.2测量，TF-lite的执行时间则使用TF-lite运行时环境测量：
| 系统 | 处理器 | 核心数 | SavedModel | TF-lite | TF-lite量化版 |
|---|---|---|---|---|---|
| Ubuntu 18.04 | Intel I5 6600k @ 3.5 GHz | 4 | 0.65 ms | 0.36 ms | 0.27 ms |
| Macbook Air mid 2012 | Intel I7 3667U @ 2.0 GHz | 2 | 1.4 ms | 0.6 ms | 0.4 ms |
| Raspberry Pi 3 B+ | ARM Cortex A53 @ 1.4 GHz | 4 | 15.54 ms | 9.6 ms | 2.2 ms |
要实现实时处理，执行时间必须低于8毫秒。
音频样本：
以下是一些使用TF-lite模型生成的音频样本。遗憾的是，Markdown无法直接嵌入音频文件。
| 带噪音频 | 增强后音频 | 噪声类型 |
|---|---|---|
| 样本1 | 样本1 | 空调噪声 |
| 样本2 | 样本2 | 音乐 |
| 样本3 | 样本3 | 公交车噪音 |
仓库内容：
- DTLN_model.py
该文件包含模型、数据生成器以及训练流程。 - run_training.py
用于运行训练的脚本。在使用$ python run_training.py开始训练之前，您需要在脚本中设置训练数据和验证数据的路径。训练脚本使用默认配置。 - run_evaluation.py
用于处理包含.wav文件的文件夹（可选子文件夹）的脚本，需配合已训练好的 DTLN 模型使用。使用本仓库提供的预训练模型，可以按如下方式处理文件夹：$ python run_evaluation.py -i /path/to/input -o /path/for/processed -m ./pretrained_model/model.h5
评估脚本会创建与输入文件夹结构相同的输出文件夹，并且输出文件的名称与输入文件相同。 - measure_execution_time.py
用于测量保存为./pretrained_model/dtln_saved_model/格式的 DTLN 模型执行时间的脚本。更多信息请参见此处。 - real_time_processing.py
该脚本说明如何使用 SavedModel 格式进行实时处理。更多信息请参见此处。
- ./pretrained_model/ \
model.h5: DNS-Challenge DTLN 模型中使用的模型权重。DTLN_norm_500h.h5: 在 500 小时数据上训练、并对 STFT 对数幅度进行归一化的模型权重。DTLN_norm_40h.h5: 在 40 小时数据上训练、并对 STFT 对数幅度进行归一化的模型权重。./dtln_saved_model: 与model.h5相同，但以 SavedModel 格式保存的状态化模型。./DTLN_norm_500h_saved_model: 与DTLN_norm_500h.h5相同，但以 SavedModel 格式保存的状态化模型。./DTLN_norm_40h_saved_model: 与DTLN_norm_40h.h5相同，但以 SavedModel 格式保存的状态化模型。model_1.tflite和model_2.tflite: 与model.h5相同，但采用 TF-Lite 模型格式，并使用外部状态管理。model_quant_1.tflite和model_quant_2.tflite: 与model.h5相同，但采用 TF-Lite 模型格式，结合外部状态管理和动态范围量化。model_1.onnx和model_2.onnx: 与model.h5相同，但采用 ONNX 模型格式，并使用外部状态管理。
Python 依赖项：
本仓库需要以下软件包：
- TensorFlow (2.x)
- librosa
- wavinfo
其他所有依赖包（如 numpy、soundfile 等）在使用 conda 或 pip 时应自动安装。建议使用 conda 环境或 pyenv virtualenv 来管理 Python 环境。训练时需要至少配备 5 GB 显存的 GPU。推荐使用 Tensorflow 2.1 及以上版本，搭配 Nvidia 驱动程序 418 和 CUDA 10.1。如果使用 conda，CUDA 会自动安装，您只需安装驱动程序即可。仅进行评估时，使用 CPU 版本的 Tensorflow 即可。所有测试均在 Ubuntu 18.04 上完成。
可用于训练（带 CUDA）和评估（仅 CPU）的 conda 环境可按如下方式创建：
训练环境：
$ conda env create -f train_env.yml
评估环境：
$ conda env create -f eval_env.yml
TF-Lite 环境：
$ conda env create -f tflite_env.yml
TF-Lite 运行时库需从此处下载。
训练数据准备：
克隆分叉的 DNS-Challenge 仓库。克隆前请确保已安装
git-lfs，并确认磁盘空间充足。建议将数据下载到 SSD 上，以加快数据集的构建速度。运行
noisyspeech_synthesizer_multiprocessing.py以创建数据集。noisyspeech_synthesizer.cfg已根据我在 DNS-Challenge 中使用的训练配置进行了修改。运行
split_dns_corpus.py将数据集划分为训练集和验证集。采用经典的 80:20 划分比例。该文件由我添加到分叉的仓库中。
运行 DTLN 模型训练：
确保您的 Python 环境中已安装所有依赖项。
修改
run_training.py中的训练集和验证集路径。运行
$ python run_training.py。
在使用 SSD 加载训练数据的情况下，单个 epoch 大约需要 21 分钟，硬件为 Nvidia RTX 2080 Ti。
使用 SavedModel 格式测量 DTLN 模型的执行时间：
总共有三种方法可以测量模型单个块的执行时间：在 Keras 中运行整个序列并除以序列中的块数；在 Keras 中构建一个状态化模型并逐块运行；或者将状态化模型保存为 TensorFlow 的 SavedModel 格式，然后逐块调用。接下来我将介绍如何使用 SavedModel 格式运行模型，因为它是最便携的版本，也可以通过 TensorFlow Serving 调用。
Keras 模型可以保存为 SavedModel 格式：
import tensorflow as tf
'''
在此构建模型
'''
tf.saved_model.save(your_keras_model, 'name_save_path')
对于实时逐块处理而言，重要的是将 LSTM 层设置为状态化，以便它们能够记住前一个块的状态。
模型可以通过以下方式导入：
model = tf.saved_model.load('name_save_path')
进行推理时，首先需要调用以下代码来映射签名名称到函数：
infer = model.signatures['serving_default']
然后，对第 x 个块进行推理：
y = infer(tf.constant(x))['conv1d_1']
此命令会返回节点 'conv1d_1' 的结果，该节点是我们用于实时处理的输出节点。有关如何使用 SavedModel 格式及获取输出节点的更多信息，请参阅指南。
为了简化操作，本仓库提供了一个状态化的 DTLN SavedModel。要测量执行时间，请运行：
$ python measure_execution_time.py
使用 SavedModel 格式的实时处理：
有关说明，请参阅 real_time_processing.py。
在将此模型集成到您的项目中时，需要注意以下几点：
- 该模型的采样率固定为 16 kHz。如果使用其他采样率，可能无法顺利运行。
- 块长度为 32 毫秒，块移位为 8 毫秒，这两者也是固定的。若要更改这些值，必须重新训练模型。
- 模型引入的延迟等于块长度，因此输入输出延迟为 32 毫秒。
- 为了在您的系统上实现实时处理，执行时间必须低于块移位的长度，即低于 8 毫秒。
- 我们无法在硬件方面提供支持，例如声卡、驱动程序等。请注意，许多音频质量问题可能源于硬件端。
使用 TF Lite 的实时处理：
借助 TensorFlow 2.3，现在终于可以将 LSTM 转换为 TF Lite 格式。不过目前仍不完美：对于有状态模型，其状态需要单独管理；此外，TF Lite 不支持复数运算。这意味着在转换为 TF Lite 时，模型会被拆分为两个子模型，而 FFT 和 iFFT 的计算将在模型外部进行。我提供了一个示例脚本 (real_time_processing_tf_lite.py) 来说明如何使用 TF Lite 模型进行实时处理。该脚本使用了 TF Lite 运行时，可从 这里 下载。量化功能现已可用。
使用 TF Lite 版 DTLN 模型和 TF Lite 运行时，在一台 2012 年中期的旧款 MacBook Air 上，执行时间可降低至 0.6 毫秒。
使用 sounddevice 和 TF Lite 的实时音频：
文件 real_time_dtln_audio.py 是一个示例，展示了如何结合 TF Lite 模型和 sounddevice 工具箱来实现实时音频处理。该脚本基于 wire.py 示例编写。它在一台 2012 年中期的旧款 MacBook Air 上运行良好，因此很可能在大多数较新的设备上也能正常运行。在量化版本中，它已在 Raspberry Pi 3B+ 上成功测试过。
首先检查您的音频设备：
$ python real_time_dtln_audio.py --list-devices
选择输入和输出设备的索引，然后运行：
$ python real_time_dtln_audio.py -i in_device_idx -o out_device_idx
如果脚本显示过多的 input underflow 错误，请重新启动脚本。如果问题仍未解决，可使用 --latency 选项增加延迟。默认值为 0.2。
使用 ONNX 进行模型转换与实时处理：
最终，ONNX 模型也成功运行起来了。 要完成模型转换，需要 TensorFlow 2.1 和 keras2onnx。keras2onnx 可从 这里 下载，并需按照 README 中的说明从源代码安装。所有依赖项安装完成后，运行以下命令即可将模型转换为 ONNX 格式：
$ python convert_weights_to_onnx.py -m /name/of/the/model.h5 -t onnx_model_name
与 TF Lite 模型类似，该模型也会被拆分为两部分。不过，此转换在 macOS 上无法完成。
实时处理的方式与 TF Lite 类似，可在 real_time_processing_onnx.py 文件中查看。
该脚本所需的 ONNX 运行时可通过以下命令安装：
$ pip install onnxruntime
在 2012 年中期的 MacBook Air 上，处理一个数据块的执行时间约为 1.13 毫秒。
常见问题
相似工具推荐
stable-diffusion-webui
stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。 无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。
everything-claude-code
everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。 通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。 这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上
ComfyUI
ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。 这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。 无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。
NextChat
NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。 这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。 NextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。
ML-For-Beginners
ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。 无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。
ragflow
RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。 在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。 这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。