Awesome-Dataset-Distillation

GitHub
1.9k 172 困难 1 次阅读 昨天MIT开发框架
AI 解读 由 AI 自动生成，仅供参考

Awesome-Dataset-Distillation 是一个专注于“数据集蒸馏”领域的精选资源库，汇集了该方向最全面、前沿的学术论文与应用案例。简单来说，它的核心目标是帮助研究者从海量原始数据中提炼出一个极小的合成数据集，使得模型仅在这个小数据集上训练，就能达到在原始大数据集上训练的同等高性能。

这一工具主要解决了大模型训练中数据存储成本高、计算资源消耗大以及隐私保护难等痛点。通过数据集蒸馏技术，用户不仅能大幅降低训练门槛，还能在持续学习、神经架构搜索及数据隐私保护等场景中实现更高效的应用。

Awesome-Dataset-Distillation 特别适合人工智能研究人员、算法工程师及相关领域的开发者使用。它由该领域的三位奠基人共同维护，不仅系统梳理了从 2018 年概念提出至今的技术演进脉络，还实时收录了包括梯度匹配、时间序列压缩及推荐系统应用在内的最新突破。无论是希望快速入门的新手，还是寻求前沿灵感的资深专家，都能在这里找到极具价值的参考文献与代码资源，是探索数据高效利用不可或缺的指南。

使用场景

某医疗 AI 初创团队需要在受限的隐私合规环境下，利用海量患者影像数据训练轻量级诊断模型，并快速验证新的网络架构。

没有 Awesome-Dataset-Distillation 时

  • 文献调研如大海捞针：团队成员需手动在 arXiv 和各大会议中筛选“数据集蒸馏”相关论文，极易遗漏如梯度匹配（Gradient Matching）等关键早期工作或最新的医疗领域应用案例。
  • 技术选型盲目试错：由于缺乏对 300+ 篇论文的系统分类，团队难以判断哪种算法适合小样本医疗场景，导致在不适用的通用算法上浪费数周算力进行无效实验。
  • 复现门槛极高：找不到官方代码链接或标准的 BibTeX 引用，研究人员需花费大量时间逆向工程论文细节，甚至因缺少基准对比而无法评估自身模型效果。
  • 应用场景视野狭窄：仅关注基础的压缩任务，忽略了该技术在持续学习、隐私保护及神经架构搜索（NAS）中的潜力，错失了优化产品合规性与迭代速度的机会。

使用 Awesome-Dataset-Distillation 后

  • 一站式权威索引：直接获取由领域专家维护的最新论文清单，迅速定位到针对医疗数据集蒸馏的开创性研究及 2026 年最新的细粒度蒸馏框架（如 FD2）。
  • 精准算法匹配：利用清晰的分类体系，快速锁定适合医疗影像的“形状引导凝聚”或“可学习性引导扩散”算法，将技术验证周期从数周缩短至几天。
  • 开箱即用的资源：每个条目均附带项目主页、GitHub 代码库及标准引用格式，团队能立即复现 SOTA（最先进）结果，建立可靠的性能基线。
  • 激发创新灵感：通过浏览隐私保护和推荐系统等跨界应用案例，团队成功将蒸馏技术应用于联邦学习场景，在满足数据不出院的前提下提升了模型泛化能力。

Awesome-Dataset-Distillation 将原本分散碎片化的前沿研究转化为结构化的知识资产，让研发团队能从繁琐的文献工作中解脱，专注于核心算法的创新与落地。

运行环境要求

GPU

未说明

内存

未说明

依赖
notes该项目是一个数据集蒸馏（Dataset Distillation）领域的论文和资源列表（Awesome List），而非一个可直接运行的单一软件工具。README 中列出了该领域内的数百篇论文及其对应的独立代码仓库链接。具体的运行环境需求（如操作系统、GPU、Python 版本等）取决于用户选择复现的特定论文代码，需参考各子项目的独立文档。
python未说明
Awesome-Dataset-Distillation hero image

快速开始

令人惊叹的数据集蒸馏

Awesome Contrib PaperNum Stars Forks

令人惊叹的数据集蒸馏 提供了关于数据集蒸馏领域最全面、最详尽的信息。

数据集蒸馏 是指合成一个小型数据集，使得在其上训练的模型能够在原始大型数据集上达到高性能的任务。数据集蒸馏算法以待蒸馏的大型真实数据集（训练集）作为输入，并输出一个小型的合成蒸馏数据集。该蒸馏数据集通过在独立的真实数据集（验证/测试集）上评估基于此蒸馏数据集训练的模型来进行评价。一个好的小型蒸馏数据集不仅有助于理解数据集本身，还具有多种应用（例如持续学习、隐私保护、神经架构搜索等）。这一任务最早由论文Dataset Distillation [Tongzhou Wang et al., '18]提出，并提出了一种利用优化步骤中的反向传播来实现的算法。随后，在论文Medical Dataset Distillation [Guang Li et al., '19]中，该任务首次被扩展到真实世界的数据集，并探讨了数据集蒸馏在隐私保护方面的可能性。而在论文Dataset Condensation [Bo Zhao et al., '20]中，梯度匹配方法首次被引入，极大地推动了数据集蒸馏领域的发展。

近年来（2022年至今），数据集蒸馏在研究界受到了越来越多的关注，许多机构和实验室都在积极开展相关研究。每年发表的相关论文数量也在不断增加。这些出色的研究不断改进数据集蒸馏技术，并探索其各种变体和应用场景。

本项目由 Guang Li、Bo Zhao 和 Tongzhou Wang 共同策划和维护。

如何提交拉取请求？

  • :globe_with_meridians: 项目页面
  • :octocat: 代码
  • :book: bibtex

最新动态

目录

主条目

早期工作

基于梯度/轨迹匹配的代理目标函数

分布/特征匹配替代目标

基于核的蒸馏

数据集蒸馏参数化

生成式蒸馏

GAN

扩散

VAR

流

更好的优化

更深入的理解

标签蒸馏

数据集量化

解耦蒸馏

多模态蒸馏

自监督蒸馏

基准测试

综述

博士论文

研讨会

挑战赛

应用

持续学习

隐私

  • [免费的隐私：数据集凝聚如何助力隐私保护？]（Tian Dong等，ICML 2022）:book:
  • [带有判别信息的隐私集合生成]（Dingfan Chen等，NeurIPS 2022）:octocat: :book:
  • [“免费的隐私”并非无代价：数据集凝聚如何助力隐私保护？]（Nicholas Carlini等，2022年）:book:
  • [针对数据集蒸馏的后门攻击]（Yugeng Liu等，NDSS 2023）:octocat: :book:
  • [差分隐私核诱导点（DP-KIP）用于隐私保护的数据蒸馏]（Margarita Vinaroz等，2023年）:octocat: :book:
  • [利用神经切空间核与数据集蒸馏理解重构攻击]（Noel Loo等，ICLR 2024）:book:
  • [重新思考数据集蒸馏上的后门攻击：基于核方法的视角]（Ming-Yu Chung等，ICLR 2024）:book:
  • [差分隐私数据集凝聚]（Zheng等，NDSS 2024研讨会）:book:
  • [面向联邦学习的数据集蒸馏自适应后门攻击]（Ze Chai等，ICC 2024）:book:
  • [提升隐私保护数据集蒸馏中的噪声效率]（Runkai Zheng等，ICCV 2025）:octocat: :book:
  • [SNEAKDOOR：针对基于分布匹配的数据集凝聚的隐蔽后门攻击]（He Yang & Dongyi Lv等，NeurIPS 2025）:book:
  • [毒化蒸馏：无需原始数据访问即可向蒸馏数据集中注入后门]（Ziyuan Yang等，AAAI 2026）:book:
  • [DP-GENG：由差分隐私生成的数据引导的差分隐私数据集蒸馏]（Shuo Shi等，AAAI 2026）[:book:](./citations/shi2026dpgeng.txt）

医疗

联邦学习

图神经网络

综述

基准测试

关于图蒸馏的主题将不再更新，因为目前已有关于此主题的足够论文和总结性项目。

神经架构搜索

时尚、艺术与设计

推荐系统

黑盒优化

鲁棒性

公平性

文本

视频

表格数据

检索

领域适应

超分辨率

时间序列

语音

机器遗忘

强化学习

长尾分布

噪声标签学习

目标检测

点云

通用蒸馏

脉冲神经网络

脑电图

金融

音乐

遥感

去雨

细粒度

媒体报道

星标历史

星标历史图表

引用“Awesome Dataset Distillation”

如果您觉得本项目对您的研究有所帮助，请使用以下BibTeX条目。

@misc{li2022awesome,
  author={Li, Guang and Zhao, Bo and Wang, Tongzhou},
  title={Awesome Dataset Distillation},
  howpublished={\url{https://github.com/Guang000/Awesome-Dataset-Distillation}},
  year={2022}
}

致谢

我们衷心感谢以下各位的宝贵建议和贡献：Nikolaos Tsilivis、Wei Jin、Yongchao Zhou、Noveen Sachdeva、Can Chen、Guangxiang Zhao、Shiye Lei、Xinchao Wang、Dmitry Medvedev、Seungjae Shin、Jiawei Du、Yidi Jiang、Xindi Wu、Guangyi Liu、Yilun Liu、Kai Wang、Yue Xu、Anjia Cao、Jianyang Gu、Yuanzhen Feng、Peng Sun、Ahmad Sajedi、Zhihao Sui、Ziyu Wang、Haoyang Liu、Eduardo Montesuma、Shengbo Gong、Zheng Zhou、Zhenghao Zhao、Duo Su、Tianhang Zheng、Shijie Ma、Wei Wei、Yantai Yang、Shaobo Wang、Xinhao Zhong、Zhiqiang Shen、Cong Cong、Chun-Yin Huang、Dai Liu、Ruonan Yu、William Holland、Saksham Singh Kushwaha、Ping Liu、Wenliang Zhong、Ning Li、Guochen Yan、Saumyaranjan Mohanty以及Taehyung Kwon。

“Awesome Dataset Distillation”的主页由Longzhen Li设计，并由Mingzhuo Li维护。

常见问题

相似工具推荐

stable-diffusion-webui

stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。 无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。

★ 162.1k|★★★☆☆|今天
开发框架图像Agent

everything-claude-code

everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。 通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。 这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上

★ 139k|★★☆☆☆|今天
开发框架Agent语言模型

ComfyUI

ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。 这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。 无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。

★ 107.7k|★★☆☆☆|2天前
开发框架图像Agent

NextChat

NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。 这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。 NextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。

★ 87.6k|★★☆☆☆|今天
开发框架语言模型

ML-For-Beginners

ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。 无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。

★ 85k|★★☆☆☆|今天
图像数据工具视频

ragflow

RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。 在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。 这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。

★ 77.1k|★★★☆☆|昨天
Agent图像开发框架