mimic3-benchmarks
mimic3-benchmarks 是一套基于 Python 开发的工具集，旨在利用著名的 MIMIC-III 重症监护临床数据库，快速构建标准化的机器学习基准数据集。它主要解决了医疗 AI 领域长期缺乏统一评估标准的问题：由于临床数据通常噪声大、标注难且分散，研究人员难以像计算机视觉领域那样公平地对比不同算法的性能。通过提供预定义的数据处理流程，mimic3-benchmarks 让复现研究和横向比较变得简单可行。
该工具特别适合从事医疗人工智能的研究人员、数据科学家以及算法开发者使用。它涵盖了四个核心的住院临床预测任务，分别对应不同的机器学习问题：基于早期入院数据的死亡率预测（分类）、实时失代偿检测（时间序列分类）、住院时长预测（回归）以及表型分类（多标签序列分类）。其独特的技术亮点在于将复杂的原始医疗记录转化为结构清晰、可直接用于模型训练的标准格式，极大地降低了进入医疗大数据研究的门槛，帮助社区更专注于算法创新而非繁琐的数据清洗工作。
使用场景
某医疗 AI 初创团队正致力于开发一套重症监护室（ICU）患者死亡风险实时预警系统，需要基于真实的临床时间序列数据进行模型训练与验证。
没有 mimic3-benchmarks 时
- 数据清洗耗时极长：研究人员需花费数周时间手动解析 MIMIC-III 原始数据库，处理缺失值、异常值及非标准化的时间戳，极易引入人为错误。
- 任务定义模糊不一：团队内部对“早期入院数据”的时间窗口划分、“去代偿”事件的标签定义缺乏统一标准，导致不同成员构建的数据集无法互通。
- 模型对比困难：由于缺乏公认的基准测试集，团队难以判断新算法是否真正优于现有方案，还是仅仅因为数据预处理差异导致的假象。
- 复现成本高昂：外部专家或合作者若想复现实验结果，必须重新经历繁琐的数据构建过程，严重阻碍了技术交流与论文评审。
使用 mimic3-benchmarks 后
- 一键生成标准数据集：直接运行 Python 套件即可自动从 MIMIC-III 提取并清洗出针对死亡率预测等四大核心任务的标准化数据集，将准备时间从数周缩短至数小时。
- 统一评估基准：工具内置了严格的任务定义（如分类、回归、多标签序列分类），确保团队内外部都在同一套逻辑严密的规则下进行开发。
- 公平的性能竞技：基于官方生成的基准数据，团队能精确量化新模型在死亡预测或住院时长预估上的提升幅度，快速迭代最优算法。
- 无缝学术对接：生成的数据集格式与顶会论文完全兼容，不仅便于复现他人成果，也让自己的研究更容易被社区认可和引用。
mimic3-benchmarks 通过提供标准化的临床数据构建流程，消除了医疗机器学习研究中最大的“启动摩擦”，让研究者能专注于算法创新而非数据泥潭。
运行环境要求
- 未说明
未说明（基线模型基于 Keras，可配置 TensorFlow 后端，未强制要求 GPU）
未说明
快速开始
MIMIC-III 基准测试
这是一个基于 Python 的工具套件，用于从 MIMIC-III 临床数据库中构建基准机器学习数据集。目前，这些基准数据集涵盖了四项关键的住院患者临床预测任务，分别对应于核心的机器学习问题：基于入院早期数据的死亡率预测（分类）、实时去代偿检测（时间序列分类）、住院时长预测（回归）以及表型分类（多标签序列分类）。
最新消息
- 2018年12月28日：论文的第二稿已在 arXiv 上发布。
- 2017年12月8日：该工作在 NIPS 2017 机器学习与健康研讨会 上以亮点报告形式进行了展示。
- 2017年3月23日：我们很高兴地宣布这些基准的首个正式版本发布。我们预计在未来几个月内发布一个修订版，其中将增加至少约 50 个额外的输入变量。同时，我们也高兴地宣布与这些基准相关的论文现已在 arXiv 上公开。
引用
如果您在研究中使用了此代码或这些基准，请引用以下出版物：
@article{Harutyunyan2019,
author={Harutyunyan, Hrayr and Khachatrian, Hrant and Kale, David C. and Ver Steeg, Greg and Galstyan, Aram},
title={Multitask learning and benchmarking with clinical time series data},
journal={Scientific Data},
year={2019},
volume={6},
number={1},
pages={96},
issn={2052-4463},
doi={10.1038/s41597-019-0103-9},
url={https://doi.org/10.1038/s41597-019-0103-9}
}
请务必同时引用原始的 MIMIC-III 论文。
研究动机
尽管将机器学习应用于临床数据的研究迅速增长，但该领域的进展却远不如其他机器学习应用那样显著。例如，在图像识别领域，ImageNet 大规模视觉识别挑战赛（ILSVRC）的冠军错误率从 2010 年的 0.2819 急剧下降到 2016 年的 0.02991，降幅接近 90%。
造成这种差异的原因有很多合理解释：临床数据集通常具有固有的噪声和不确定性，并且相对于其复杂性而言往往规模较小；此外，对于许多感兴趣的问题，用于训练和评估的真实标签通常是不可得的。
然而，还有一个更为简单的解释：由于缺乏类似 ImageNet 的社区基准，实际进展难以衡量。这类基准在加速机器学习研究方面发挥着重要作用。首先，它们能够将研究社区的注意力集中在特定问题上，并持续引发关于这些问题本质的讨论。其次，它们降低了研究人员进入新领域的初始门槛。最后，也是最重要的，基准有助于实现结果的可重复性和不同方法之间的直接比较。
在此，我们为对医疗保健感兴趣的机器学习研究人员提供了四个公开基准，这些基准基于公开可用的重症监护医学信息库（MIMIC-III）数据库中的数据构建而成（论文、官网）。我们的四项临床预测任务是重症监护领域的变体，对应于 Bates 等人，2014 年 所描述的利用“大型临床数据”变革医疗保健的四大机遇：
- 早期分诊与风险评估，即死亡率预测
- 生理功能失代偿的预测
- 高成本患者的识别，即住院时长预测
- 复杂多系统疾病的特征化，即急性期表型分类
在 Harutyunyan、Khachatrian、Kale 和 Galstyan，2017 年 的研究中，我们提出了一种多任务 RNN 架构来同时解决这四项任务，并证明该模型通常优于强大的单任务基线模型。
项目结构
本仓库的内容可分为四个主要部分：
- 用于创建基准数据集的工具。
- 用于读取基准数据集的工具。
- 评估脚本。
- 基线模型及辅助工具。
mimic3benchmark/scripts 目录包含用于创建基准数据集的脚本。
读取工具位于 mimic3benchmark/readers.py 中。
所有评估脚本均存储在 mimic3benchmark/evaluation 目录中。
mimic3models 目录则包含了基线模型以及一些辅助工具，包括离散化器、归一化工具和指标计算函数。
系统要求与安装
我们不提供 MIMIC-III 数据本身。您需要自行从 https://mimic.physionet.org/ 获取数据。所需的库列在 requirements.txt 文件中。以下是我们的建议安装步骤：
- 安装 Miniconda。
- 运行
conda create -n "mimic3" python=3.7.13。 - 运行
conda init [SHELL_NAME]。您可能还需要执行source ~/.bashrc或source ~/.zshrc（取决于使用的 shell 版本）。 - 切换到
mimic3环境：conda activate mimic3。 - 克隆仓库并进入目录：
git clone https://github.com/YerevaNN/mimic3-benchmarks/
cd mimic3-benchmarks/
- 使用
pip install -r requirements.txt安装依赖项。
请注意，requirements.txt 中的 Python 版本和部分库已过时。这是因为 mimic3models/ 中的模型使用的是旧版本的 Keras。如果您仅需创建基准数据集（即仅使用 mimic3benchmark 部分），则可以使用更新的 Python 版本以及更新的 numpy、pandas 和 scikit-learn 版本。
构建基准测试
以下是构建基准测试所需的步骤。假设您已经在磁盘上拥有 MIMIC-III 数据集（大量 CSV 文件）。以下所有命令都应在仓库的根目录下运行（即从 mimic3-benchmarks 目录）。
- 下述命令会读取 MIMIC-III 的 CSV 文件，为每个
SUBJECT_ID生成一个单独的目录，并将 ICU 住院信息写入data/{SUBJECT_ID}/stays.csv，诊断信息写入data/{SUBJECT_ID}/diagnoses.csv，事件数据写入data/{SUBJECT_ID}/events.csv。此步骤可能需要约一小时。
python -m mimic3benchmark.scripts.extract_subjects {MIMIC-III CSV 文件路径} data/root/
- 下述命令会尝试修复一些问题（例如缺少 ICU 住院 ID），并移除包含缺失信息的事件。移除所有可疑行后，约有 80% 的事件得以保留（更多信息请参阅
mimic3benchmark/scripts/more_on_validating_events.md）。
python -m mimic3benchmark.scripts.validate_events data/root/
- 接下来的命令会将每个患者的住院数据拆分为独立的病程片段（对应于 ICU 住院期间）。事件的时间序列数据会被存储在
{SUBJECT_ID}/episode{#}_timeseries.csv中（其中 # 表示不同的病程片段编号），而病程级别的信息（患者年龄、性别、种族、身高、体重）以及预后指标（死亡率、住院时长、诊断）则会被存储在{SUBJECT_ID}/episode{#}.csv中。该脚本需要两个文件：一个用于将事件 ITEMID 映射到临床变量，另一个用于定义临床变量的有效范围（以便检测异常值等）。当前版本中已禁用异常值检测功能。
python -m mimic3benchmark.scripts.extract_episodes_from_subjects data/root/
- 下一步是将整个数据集划分为训练集和测试集。请注意，所有任务的训练/测试划分方式均相同。
python -m mimic3benchmark.scripts.split_train_and_test data/root/
- 下列命令将生成特定于各任务的数据集，这些数据集随后可用于模型训练。这些命令彼此独立；如果您只打算研究某一项基准任务，则只需运行相应的命令即可。
python -m mimic3benchmark.scripts.create_in_hospital_mortality data/root/ data/in-hospital-mortality/
python -m mimic3benchmark.scripts.create_decompensation data/root/ data/decompensation/
python -m mimic3benchmark.scripts.create_length_of_stay data/root/ data/length-of-stay/
python -m mimic3benchmark.scripts.create_phenotyping data/root/ data/phenotyping/
python -m mimic3benchmark.scripts.create_multitask data/root/ data/multitask/
完成上述步骤后，每项基准任务都会生成一个名为 data/{task} 的目录。这些目录下包含两个子目录：train 和 test。每个子目录中都存放着若干 ICU 住院记录，以及一个名为 listfile.csv 的文件，该文件列出了相应数据集中所有的样本。listfile.csv 中的每一行格式如下：icu_stay, period_length, label(s)。一行代表一个样本，其输入为该 ICU 住院记录在前 period_length 小时内发生的所有事件，目标则是对应的标签。在院内死亡率预测任务中，period_length 始终为 48 小时，因此不会在相应的列表文件中列出。
数据读取器
为了简化基准数据的读取，我们编写了专门的类。mimic3benchmark/readers.py 包含一个通用的 Reader 类，以及五个基于该类派生的特定于各任务的类。这些类旨在简化基准数据的读取过程。使用这些读取器时，需提供包含 ICU 住院记录的目录以及指定样本的列表文件。我们强烈建议使用这些读取器，以避免在读取过程中出现错误（例如误用发生在前 period_length 小时之外的事件）。
有关如何使用这些读取器的更多信息，请参阅 mimic3benchmark/more_on_readers.md 文件。
评估
针对四个任务，我们分别提供了模型评估脚本。这些脚本接收包含预测结果的 csv 文件，并输出一个包含各项指标得分及置信区间 的 json 文件。我们强烈建议使用这些脚本进行评估，以避免评估环节中的任何错误。有关评估脚本的具体用法，请参阅 mimic3benchmark/evaluation/README.md 文件。
基线模型
针对四个主要任务，我们提供了七种基线模型：
- 线性/逻辑回归
- 标准 LSTM
- 标准 LSTM + 深度监督
- 通道级 LSTM
- 通道级 LSTM + 深度监督
- 多任务标准 LSTM
- 多任务通道级 LSTM
关于这些基线模型的详细描述将在论文的下一版中发布。
线性模型位于 mimic3models/{task}/logistic 目录中。基于 LSTM 的模型则位于 mimic3models/keras_models 目录中。
请注意，由于进行了大规模的网格搜索和特征提取，运行线性模型可能需要数小时。您可以在脚本中调整线性模型的训练数据规模，从而加快运行速度（当然，性能也会有所下降）。
要训练神经网络，您可能需要将 Keras 后端设置为 TensorFlow。这可以通过在以下训练命令前添加 KERAS_BACKEND=tensorflow 来实现，或者通过设置环境变量 KERAS_BACKEND 并将其值设为 tensorflow。
训练集与验证集的划分
使用以下命令可以从训练集中提取验证集。此步骤对于运行基线模型至关重要。同样地，所有任务的训练/验证划分方式也是一致的。
python -m mimic3models.split_train_val {数据集目录}
{数据集目录} 可以是 data/in-hospital-mortality、data/decompensation、data/length-of-stay、data/phenotyping 或 data/multitask。
在院内死亡率预测
运行以下命令可训练出效果最佳的神经网络。我们在验证集上观察到的最佳性能出现在第 28 个 epoch。
python -um mimic3models.in_hospital_mortality.main --network mimic3models/keras_models/lstm.py --dim 16 --timestep 1.0 --depth 2 --dropout 0.3 --mode train --batch_size 8 --output_dir mimic3models/in_hospital_mortality
使用以下命令可训练逻辑回归模型。我们得到的最佳模型采用了 L2 正则化，且正则化参数 C=0.001：
python -um mimic3models.in_hospital_mortality.logistic.main --l2 --C 0.001 --output_dir mimic3models/in_hospital_mortality/logistic
失代偿预测
我们为该任务训练的最佳模型仅训练了36个批次（不到一个 epoch；由于同一患者有大量不同长度的训练样本，模型在达到一个 epoch 之前就已过拟合）。
python -um mimic3models.decompensation.main --network mimic3models/keras_models/lstm.py --dim 128 --timestep 1.0 --depth 1 --mode train --batch_size 8 --output_dir mimic3models/decompensation
使用以下命令训练逻辑回归模型。该模型将采用 L2 正则化，正则化系数 C=0.001，这是我们得到的最佳结果。若需在超参数空间中进行网格搜索，可在命令中添加 --grid-search。
python -um mimic3models.decompensation.logistic.main --output_dir mimic3models/decompensation/logistic
住院时长预测
我们为该任务训练的最佳模型训练了19个批次。
python -um mimic3models.length_of_stay.main --network mimic3models/keras_models/lstm.py --dim 64 --timestep 1.0 --depth 1 --dropout 0.3 --mode train --batch_size 8 --partition custom --output_dir mimic3models/length_of_stay
使用以下命令训练逻辑回归模型。该模型将采用 L1 正则化，正则化系数 C=0.00001。若需在超参数空间中进行网格搜索，可在命令中添加 --grid-search。
python -um mimic3models.length_of_stay.logistic.main_cf --output_dir mimic3models/length_of_stay/logistic
若需运行线性回归模型，请使用以下命令：
python -um mimic3models.length_of_stay.logistic.main --output_dir mimic3models/length_of_stay/logistic
表型分类
我们为该任务训练的最佳模型训练了20个 epoch。
python -um mimic3models.phenotyping.main --network mimic3models/keras_models/lstm.py --dim 256 --timestep 1.0 --depth 1 --dropout 0.3 --mode train --batch_size 8 --output_dir mimic3models/phenotyping
使用以下命令进行逻辑回归训练。该模型将采用 L1 正则化，正则化系数 C=0.1。若需在超参数空间中进行网格搜索，可在命令中添加 --grid-search。
python -um mimic3models.phenotyping.logistic.main --output_dir mimic3models/phenotyping/logistic
多任务学习
ihm_C、decomp_C、los_C 和 ph_C 系数用于控制多任务模型中各任务的相对权重。默认值为 1.0。多任务网络架构存储在 mimic3models/multitask/keras_models 目录中。以下是一个运行多任务模型的示例命令。
python -um mimic3models.multitask.main --network mimic3models/keras_models/multitask_lstm.py --dim 512 --timestep 1 --mode train --batch_size 16 --dropout 0.3 --ihm_C 0.2 --decomp_C 1.0 --los_C 1.5 --pheno_C 1.0 --output_dir mimic3models/multitask
通用待办事项：
- 改进注释和文档
- 为每个基线模型添加最佳状态文件
- 发布 1.0 版本
- 使用 Zenodo DOI 更新引用部分
- 将代码添加到 MIMIC 的衍生数据仓库
- 在适当的地方重构代码，使其更具通用性
- 扩展变量映射文件和变量范围文件的覆盖范围
- 确定是否还缺少其他高优先级数据（如 CPT 代码、输入等）
版本历史
v1.0.0-alpha2018/07/06常见问题
相似工具推荐
stable-diffusion-webui
stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。 无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。
everything-claude-code
everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。 通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。 这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上
ComfyUI
ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。 这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。 无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。
NextChat
NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。 这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。 NextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。
ML-For-Beginners
ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。 无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。
ragflow
RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。 在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。 这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。