[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-AberHu--Knowledge-Distillation-Zoo":3,"tool-AberHu--Knowledge-Distillation-Zoo":61},[4,18,28,37,45,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":24,"last_commit_at":25,"category_tags":26,"status":17},9989,"n8n","n8n-io\u002Fn8n","n8n 是一款面向技术团队的公平代码（fair-code）工作流自动化平台，旨在让用户在享受低代码快速构建便利的同时，保留编写自定义代码的灵活性。它主要解决了传统自动化工具要么过于封闭难以扩展、要么完全依赖手写代码效率低下的痛点，帮助用户轻松连接 400 多种应用与服务，实现复杂业务流程的自动化。\n\nn8n 特别适合开发者、工程师以及具备一定技术背景的业务人员使用。其核心亮点在于“按需编码”：既可以通过直观的可视化界面拖拽节点搭建流程，也能随时插入 JavaScript 或 Python 代码、调用 npm 包来处理复杂逻辑。此外，n8n 原生集成了基于 LangChain 的 AI 能力，支持用户利用自有数据和模型构建智能体工作流。在部署方面，n8n 提供极高的自由度，支持完全自托管以保障数据隐私和控制权，也提供云端服务选项。凭借活跃的社区生态和数百个现成模板，n8n 让构建强大且可控的自动化系统变得简单高效。",184740,2,"2026-04-19T23:22:26",[16,14,13,15,27],"插件",{"id":29,"name":30,"github_repo":31,"description_zh":32,"stars":33,"difficulty_score":10,"last_commit_at":34,"category_tags":35,"status":17},10095,"AutoGPT","Significant-Gravitas\u002FAutoGPT","AutoGPT 是一个旨在让每个人都能轻松使用和构建 AI 的强大平台，核心功能是帮助用户创建、部署和管理能够自动执行复杂任务的连续型 AI 智能体。它解决了传统 AI 应用中需要频繁人工干预、难以自动化长流程工作的痛点，让用户只需设定目标，AI 即可自主规划步骤、调用工具并持续运行直至完成任务。\n\n无论是开发者、研究人员，还是希望提升工作效率的普通用户，都能从 AutoGPT 中受益。开发者可利用其低代码界面快速定制专属智能体；研究人员能基于开源架构探索多智能体协作机制；而非技术背景用户也可直接选用预置的智能体模板，立即投入实际工作场景。\n\nAutoGPT 的技术亮点在于其模块化“积木式”工作流设计——用户通过连接功能块即可构建复杂逻辑，每个块负责单一动作，灵活且易于调试。同时，平台支持本地自托管与云端部署两种模式，兼顾数据隐私与使用便捷性。配合完善的文档和一键安装脚本，即使是初次接触的用户也能在几分钟内启动自己的第一个 AI 智能体。AutoGPT 正致力于降低 AI 应用门槛，让人人都能成为 AI 的创造者与受益者。",183572,"2026-04-20T04:47:55",[13,36,27,14,15],"语言模型",{"id":38,"name":39,"github_repo":40,"description_zh":41,"stars":42,"difficulty_score":10,"last_commit_at":43,"category_tags":44,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":46,"name":47,"github_repo":48,"description_zh":49,"stars":50,"difficulty_score":24,"last_commit_at":51,"category_tags":52,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",161147,"2026-04-19T23:31:47",[14,13,36],{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":24,"last_commit_at":59,"category_tags":60,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",109154,"2026-04-18T11:18:24",[14,15,13],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":74,"owner_avatar_url":75,"owner_bio":76,"owner_company":76,"owner_location":77,"owner_email":78,"owner_twitter":76,"owner_website":79,"owner_url":80,"languages":81,"stars":90,"forks":91,"last_commit_at":92,"license":76,"difficulty_score":10,"env_os":93,"env_gpu":94,"env_ram":93,"env_deps":95,"category_tags":99,"github_topics":101,"view_count":24,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":109,"updated_at":110,"faqs":111,"releases":122},10153,"AberHu\u002FKnowledge-Distillation-Zoo","Knowledge-Distillation-Zoo","Pytorch implementation of various Knowledge Distillation (KD) methods.","Knowledge-Distillation-Zoo 是一个基于 PyTorch 构建的开源项目，旨在为各种知识蒸馏（Knowledge Distillation, KD）方法提供清晰、标准的代码实现。在深度学习领域，大型模型虽然性能卓越但计算成本高昂，而知识蒸馏技术能将大模型（教师网络）的知识迁移到小模型（学生网络）中，从而在保持较高精度的同时显著降低推理延迟和资源消耗。\n\n该项目主要解决了研究人员和开发者在复现经典算法时面临的痛点：无需从零编写底层逻辑或处理复杂的训练技巧，即可快速获得经过验证的基础蒸馏方案。它特别适合作为学术研究的基准参考，或作为工程师进行模型压缩与加速开发的起点。无论是希望深入理解蒸馏原理的学生，还是需要快速原型验证的算法工程师，都能从中受益。\n\nKnowledge-Distillation-Zoo 的核心亮点在于其“纯粹性”与“全面性”。它专注于最核心的知识转移机制，排除了集成学习、在线蒸馏等复杂变体的干扰，让用户能更直观地对比不同算法的本质差异。项目收录了包括软目标（ST）、注意力转移（AT）、关系蒸馏（RKD）在内的十余种经典方法，并为每种方法提供了对应的","Knowledge-Distillation-Zoo 是一个基于 PyTorch 构建的开源项目，旨在为各种知识蒸馏（Knowledge Distillation, KD）方法提供清晰、标准的代码实现。在深度学习领域，大型模型虽然性能卓越但计算成本高昂，而知识蒸馏技术能将大模型（教师网络）的知识迁移到小模型（学生网络）中，从而在保持较高精度的同时显著降低推理延迟和资源消耗。\n\n该项目主要解决了研究人员和开发者在复现经典算法时面临的痛点：无需从零编写底层逻辑或处理复杂的训练技巧，即可快速获得经过验证的基础蒸馏方案。它特别适合作为学术研究的基准参考，或作为工程师进行模型压缩与加速开发的起点。无论是希望深入理解蒸馏原理的学生，还是需要快速原型验证的算法工程师，都能从中受益。\n\nKnowledge-Distillation-Zoo 的核心亮点在于其“纯粹性”与“全面性”。它专注于最核心的知识转移机制，排除了集成学习、在线蒸馏等复杂变体的干扰，让用户能更直观地对比不同算法的本质差异。项目收录了包括软目标（ST）、注意力转移（AT）、关系蒸馏（RKD）在内的十余种经典方法，并为每种方法提供了对应的论文链接与代码模块，极大地降低了学习与实验的门槛。","# Knowledge-Distillation-Zoo\n***News! I'm going to have a major update of this repo. The new version will contain most of the methods in Todo list. Please stay tuned.***\n\nPytorch implementation of various Knowledge Distillation (KD) methods. \n\nThis repository is a simple reference, mainly focuses on basic knowledge distillation\u002Ftransfer methods. Thus many tricks and variations, such as step-by-step training, iterative training, ensemble of teachers, ensemble of KD methods, data-free, self-distillation, online distillation etc. are not considered. Hope it is useful for your project or research.\n\nI will update this repo regularly with new KD methods. If there some basic methods I missed, please contact with me.\n\n## Lists\n  Name | Method | Paper Link | Code Link\n  :---- | ----- | :----: | :----:\n  Baseline | basic model with softmax loss | — | [code](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Ftrain_base.py)\n  Logits   | mimic learning via regressing logits | [paper](http:\u002F\u002Fpapers.nips.cc\u002Fpaper\u002F5484-do-deep-nets-really-need-to-be-deep.pdf) | [code](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Flogits.py)\n  ST       | soft target | [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1503.02531.pdf) | [code](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Fst.py)\n  AT       | attention transfer | [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1612.03928.pdf) | [code](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Fat.py)\n  Fitnet   | hints for thin deep nets | [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1412.6550.pdf) | [code](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Ffitnet.py)\n  NST      | neural selective transfer | [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1707.01219.pdf) | [code](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Fnst.py)\n  PKT      | probabilistic knowledge transfer | [paper](http:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_ECCV_2018\u002Fpapers\u002FNikolaos_Passalis_Learning_Deep_Representations_ECCV_2018_paper.pdf) | [code](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Fpkt.py)\n  FSP      | flow of solution procedure | [paper](http:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_cvpr_2017\u002Fpapers\u002FYim_A_Gift_From_CVPR_2017_paper.pdf) | [code](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Ffsp.py)\n  FT       | factor transfer | [paper](http:\u002F\u002Fpapers.nips.cc\u002Fpaper\u002F7541-paraphrasing-complex-network-network-compression-via-factor-transfer.pdf) | [code](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Fft.py)\n  RKD      | relational knowledge distillation | [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1904.05068.pdf) | [code](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Frkd.py)\n  AB       | activation boundary | [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1811.03233.pdf) | [code](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Fab.py)\n  SP       | similarity preservation | [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1907.09682.pdf) | [code](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Fsp.py)\n  Sobolev  | sobolev\u002Fjacobian matching | [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1706.04859.pdf) | [code](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Fsobolev.py)\n  BSS      | boundary supporting samples | [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1805.05532.pdf) | [code](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Fbss.py)\n  CC       | correlation congruence | [paper](http:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_ICCV_2019\u002Fpapers\u002FPeng_Correlation_Congruence_for_Knowledge_Distillation_ICCV_2019_paper.pdf) | [code](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Fcc.py)\n  LwM      | learning without memorizing | [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1811.08051.pdf) | [code](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Flwm.py)\n  IRG      | instance relationship graph | [paper](http:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_CVPR_2019\u002Fpapers\u002FLiu_Knowledge_Distillation_via_Instance_Relationship_Graph_CVPR_2019_paper.pdf) | [code](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Firg.py)\n  VID      | variational information distillation | [paper](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_CVPR_2019\u002Fpapers\u002FAhn_Variational_Information_Distillation_for_Knowledge_Transfer_CVPR_2019_paper.pdf) | [code](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Fvid.py)\n  OFD      | overhaul of feature distillation | [paper](http:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_ICCV_2019\u002Fpapers\u002FHeo_A_Comprehensive_Overhaul_of_Feature_Distillation_ICCV_2019_paper.pdf) | [code](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Fofd.py)\n  AFD      | attention feature distillation | [paper](https:\u002F\u002Fopenreview.net\u002Fpdf?id=ryxyCeHtPB) | [code](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Fafd.py)\n  CRD      | contrastive representation distillation | [paper](https:\u002F\u002Fopenreview.net\u002Fpdf?id=SkgpBJrtvS) | [code](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Fcrd.py)\n  DML      | deep mutual learning | [paper](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_cvpr_2018\u002Fpapers\u002FZhang_Deep_Mutual_Learning_CVPR_2018_paper.pdf) | [code](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Fdml.py)\n\n- Note, there are some differences between this repository and the original papers：\n\t- For `AT`: I use the sum of absolute values with power p=2 as the attention.\n\t- For `Fitnet`: The training procedure is one stage without hint layer.\n\t- For `NST`: I employ polynomial kernel with d=2 and c=0.\n\t- For `AB`: Two-stage training, the first 50 epochs for initialization, the second stage only employs CE without ST.\n\t- For `BSS`: 80% epochs employ CE+BSS loss, the rest 20% only uses CE. In addition, warmup for the first 10 epochs.\n\t- For `CC`: For consistency, I only consider CC without instance congruence. Gaussian RBF kernel is employed because Bilinear Pool kernel is similar with PKT. I choose P=2 order Taylor of Gaussian RBF kernel. No special sampling strategy.\n\t- For `LwM`: I employ it after rb2 (middle conv layer) but not rb3 (last conv layer), because the base net is resnet with the end of GAP followed by a classifier. If after rb3, the grad-CAN has the same values across H and W in each channel.\n\t- For `IRG`: I only use one-to-one mode.\n\t- For `VID`: I set the hidden channel size to be same with the output channel size and remove BN in μ.\n\t- For `AFD`: I find the original implementation of attention is unstable, thus replace it with a SE block.\n\t- For `DML`: Just two nets are employed. Synchronous update to avoid multiple forwards.\n\n## Datasets\n- CIFAR10\n- CIFAR100\n\n## Networks\n- Resnet-20\n- Resnet-110\n\nThe networks are same with Tabel 6 in [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1512.03385.pdf).\n\n## Training\n- Creating `.\u002Fdataset` directory and downloading CIFAR10\u002FCIFAR100 in it.\n- Using the script `example_train_script.sh` to train various KD methods. You can simply specify the hyper-parameters listed in `train_xxx.py` or manually change them.\n- The hyper-parameters I used can be found in the [training logs](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1A0-FCggjwnAtCCoSpGsjzA) (code: ezed).\n- Some Notes:\n\t- Sobolev\u002FLwM alone is unstable and may be used in conjunction with other KD methods.\n   - BSS may occasionally destroy the training procedure, leading to poor results.\n\t- If not specified in the original papers, all the methods can be used on the middle feature maps or multiple feature maps are only employed after the last conv layer. It is simple to extend to multiple feature maps.\n\t- I assume the size (C, H, W) of features between teacher and student are the same. If not, you could employ 1\\*1 conv, linear or pooling to rectify them.\n\n## Results\n- The trained baseline models are used as teachers. For fair comparison, all the student nets have same initialization with the baseline models.\n- The initial models, trained models and training logs are uploaded [here](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1A0-FCggjwnAtCCoSpGsjzA) (code: ezed).\n- The trade-off parameter `--lambda_kd` and other hyper-parameters are not chosen carefully. Thus the following results do not reflect which method is better than the others.\n- Some relation based methods, e.g. PKT, RKD and CC, have less effectiveness on CIFAR100 dataset. It may be because there are more inter classes but less intra classes in one batch. You could increase the batch size, create memory bank or design advance batch sampling methods.\n\n\u003Ctable>\n   \u003Ctr>\n      \u003Ctd>Teacher\u003C\u002Ftd>\n      \u003Ctd>Student\u003C\u002Ftd>\n      \u003Ctd>Name\u003C\u002Ftd>\n      \u003Ctd>CIFAR10\u003C\u002Ftd>\n      \u003Ctd>CIFAR100\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>-\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>Baseline\u003C\u002Ftd>\n      \u003Ctd>92.37%\u003C\u002Ftd>\n      \u003Ctd>68.92%\u003C\u002Ftd> \n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>Logits\u003C\u002Ftd>\n      \u003Ctd>93.30%\u003C\u002Ftd>\n      \u003Ctd>70.36%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>ST\u003C\u002Ftd>\n      \u003Ctd>93.12%\u003C\u002Ftd>\n      \u003Ctd>70.27%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>AT\u003C\u002Ftd>\n      \u003Ctd>92.89%\u003C\u002Ftd>\n      \u003Ctd>69.70%\u003C\u002Ftd> \n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>Fitnet\u003C\u002Ftd>\n      \u003Ctd>92.73%\u003C\u002Ftd>\n      \u003Ctd>70.08%\u003C\u002Ftd> \n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>NST\u003C\u002Ftd>\n      \u003Ctd>92.79%\u003C\u002Ftd>\n      \u003Ctd>69.21%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>PKT\u003C\u002Ftd>\n      \u003Ctd>92.50%\u003C\u002Ftd>\n      \u003Ctd>69.25%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>FSP\u003C\u002Ftd>\n      \u003Ctd>92.76%\u003C\u002Ftd>\n      \u003Ctd>69.61%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>FT\u003C\u002Ftd>\n      \u003Ctd>92.98%\u003C\u002Ftd>\n      \u003Ctd>69.90%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>RKD\u003C\u002Ftd>\n      \u003Ctd>92.72%\u003C\u002Ftd>\n      \u003Ctd>69.48%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>AB\u003C\u002Ftd>\n      \u003Ctd>93.04%\u003C\u002Ftd>\n      \u003Ctd>69.96%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>SP\u003C\u002Ftd>\n      \u003Ctd>92.88%\u003C\u002Ftd>\n      \u003Ctd>69.85%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>Sobolev\u003C\u002Ftd>\n      \u003Ctd>92.78%\u003C\u002Ftd>\n      \u003Ctd>69.39%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>BSS\u003C\u002Ftd>\n      \u003Ctd>92.58%\u003C\u002Ftd>\n      \u003Ctd>69.96%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>CC\u003C\u002Ftd>\n      \u003Ctd>93.01%\u003C\u002Ftd>\n      \u003Ctd>69.27%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>LwM\u003C\u002Ftd>\n      \u003Ctd>92.80%\u003C\u002Ftd>\n      \u003Ctd>69.23%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>IRG\u003C\u002Ftd>\n      \u003Ctd>92.77%\u003C\u002Ftd>\n      \u003Ctd>70.37%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>VID\u003C\u002Ftd>\n      \u003Ctd>92.61%\u003C\u002Ftd>\n      \u003Ctd>69.39%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>OFD\u003C\u002Ftd>\n      \u003Ctd>92.82%\u003C\u002Ftd>\n      \u003Ctd>69.93%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>AFD\u003C\u002Ftd>\n      \u003Ctd>92.56%\u003C\u002Ftd>\n      \u003Ctd>69.63%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>CRD\u003C\u002Ftd>\n      \u003Ctd>92.96%\u003C\u002Ftd>\n      \u003Ctd>70.33%\u003C\u002Ftd> \n   \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n\n\u003Ctable>\n   \u003Ctr>\n      \u003Ctd>Teacher\u003C\u002Ftd>\n      \u003Ctd>Student\u003C\u002Ftd>\n      \u003Ctd>Name\u003C\u002Ftd>\n      \u003Ctd>CIFAR10\u003C\u002Ftd>\n      \u003Ctd>CIFAR100\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>-\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>Baseline\u003C\u002Ftd>\n      \u003Ctd>92.37%\u003C\u002Ftd>\n      \u003Ctd>68.92%\u003C\u002Ftd> \n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>-\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>Baseline\u003C\u002Ftd>\n      \u003Ctd>93.86%\u003C\u002Ftd>\n      \u003Ctd>73.15%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>Logits\u003C\u002Ftd>\n      \u003Ctd>92.98%\u003C\u002Ftd>\n      \u003Ctd>69.78%\u003C\u002Ftd> \n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>ST\u003C\u002Ftd>\n      \u003Ctd>92.82%\u003C\u002Ftd>\n      \u003Ctd>70.06%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>AT\u003C\u002Ftd>\n      \u003Ctd>93.21%\u003C\u002Ftd>\n      \u003Ctd>69.28%\u003C\u002Ftd> \n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>Fitnet\u003C\u002Ftd>\n      \u003Ctd>93.04%\u003C\u002Ftd>\n      \u003Ctd>69.81%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>NST\u003C\u002Ftd>\n      \u003Ctd>92.83%\u003C\u002Ftd>\n      \u003Ctd>69.31%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>PKT\u003C\u002Ftd>\n      \u003Ctd>93.01%\u003C\u002Ftd>\n      \u003Ctd>69.31%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>FSP\u003C\u002Ftd>\n      \u003Ctd>92.78%\u003C\u002Ftd>\n      \u003Ctd>69.78%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>FT\u003C\u002Ftd>\n      \u003Ctd>93.01%\u003C\u002Ftd>\n      \u003Ctd>69.49%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>RKD\u003C\u002Ftd>\n      \u003Ctd>93.21%\u003C\u002Ftd>\n      \u003Ctd>69.36%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>AB\u003C\u002Ftd>\n      \u003Ctd>92.96%\u003C\u002Ftd>\n      \u003Ctd>69.41%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>SP\u003C\u002Ftd>\n      \u003Ctd>93.30%\u003C\u002Ftd>\n      \u003Ctd>69.45%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>Sobolev\u003C\u002Ftd>\n      \u003Ctd>92.60%\u003C\u002Ftd>\n      \u003Ctd>69.23%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>BSS\u003C\u002Ftd>\n      \u003Ctd>92.78%\u003C\u002Ftd>\n      \u003Ctd>69.71%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>CC\u003C\u002Ftd>\n      \u003Ctd>92.98%\u003C\u002Ftd>\n      \u003Ctd>69.33%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>LwM\u003C\u002Ftd>\n      \u003Ctd>92.52%\u003C\u002Ftd>\n      \u003Ctd>69.11%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>IRG\u003C\u002Ftd>\n      \u003Ctd>93.13%\u003C\u002Ftd>\n      \u003Ctd>69.36%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>VID\u003C\u002Ftd>\n      \u003Ctd>92.98%\u003C\u002Ftd>\n      \u003Ctd>69.49%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>OFD\u003C\u002Ftd>\n      \u003Ctd>93.13%\u003C\u002Ftd>\n      \u003Ctd>69.81%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>AFD\u003C\u002Ftd>\n      \u003Ctd>92.92%\u003C\u002Ftd>\n      \u003Ctd>69.60%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>CRD\u003C\u002Ftd>\n      \u003Ctd>92.92%\u003C\u002Ftd>\n      \u003Ctd>70.80%\u003C\u002Ftd> \n   \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n\n\u003Ctable>\n   \u003Ctr>\n      \u003Ctd>Teacher\u003C\u002Ftd>\n      \u003Ctd>Student\u003C\u002Ftd>\n      \u003Ctd>Name\u003C\u002Ftd>\n      \u003Ctd>CIFAR10\u003C\u002Ftd>\n      \u003Ctd>CIFAR100\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>-\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>Baseline\u003C\u002Ftd>\n      \u003Ctd>93.86%\u003C\u002Ftd>\n      \u003Ctd>73.15%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>Logits\u003C\u002Ftd>\n      \u003Ctd>94.38%\u003C\u002Ftd>\n      \u003Ctd>74.89%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>ST\u003C\u002Ftd>\n      \u003Ctd>94.59%\u003C\u002Ftd>\n      \u003Ctd>74.33%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>AT\u003C\u002Ftd>\n      \u003Ctd>94.42%\u003C\u002Ftd>\n      \u003Ctd>74.64%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>Fitnet\u003C\u002Ftd>\n      \u003Ctd>94.43%\u003C\u002Ftd>\n      \u003Ctd>73.63%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>NST\u003C\u002Ftd>\n      \u003Ctd>94.43%\u003C\u002Ftd>\n      \u003Ctd>73.55%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>PKT\u003C\u002Ftd>\n      \u003Ctd>94.35%\u003C\u002Ftd>\n      \u003Ctd>73.74%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>FSP\u003C\u002Ftd>\n      \u003Ctd>94.39%\u003C\u002Ftd>\n      \u003Ctd>73.59%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>FT\u003C\u002Ftd>\n      \u003Ctd>94.30%\u003C\u002Ftd>\n      \u003Ctd>74.72%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>RKD\u003C\u002Ftd>\n      \u003Ctd>94.39%\u003C\u002Ftd>\n      \u003Ctd>73.78%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>AB\u003C\u002Ftd>\n      \u003Ctd>94.63%\u003C\u002Ftd>\n      \u003Ctd>73.91%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>SP\u003C\u002Ftd>\n      \u003Ctd>94.45%\u003C\u002Ftd>\n      \u003Ctd>74.07%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>Sobolev\u003C\u002Ftd>\n      \u003Ctd>94.26%\u003C\u002Ftd>\n      \u003Ctd>73.14%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>BSS\u003C\u002Ftd>\n      \u003Ctd>94.19%\u003C\u002Ftd>\n      \u003Ctd>73.87%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>CC\u003C\u002Ftd>\n      \u003Ctd>94.49%\u003C\u002Ftd>\n      \u003Ctd>74.43%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>LwM\u003C\u002Ftd>\n      \u003Ctd>94.19%\u003C\u002Ftd>\n      \u003Ctd>73.28%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>IRG\u003C\u002Ftd>\n      \u003Ctd>94.44%\u003C\u002Ftd>\n      \u003Ctd>74.96%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>VID\u003C\u002Ftd>\n      \u003Ctd>94.25%\u003C\u002Ftd>\n      \u003Ctd>73.63%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>OFD\u003C\u002Ftd>\n      \u003Ctd>94.38%\u003C\u002Ftd>\n      \u003Ctd>74.11%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>AFD\u003C\u002Ftd>\n      \u003Ctd>94.44%\u003C\u002Ftd>\n      \u003Ctd>73.90%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>CRD\u003C\u002Ftd>\n      \u003Ctd>94.30%\u003C\u002Ftd>\n      \u003Ctd>75.44%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n\n\u003Ctable>\n   \u003Ctr>\n      \u003Ctd>Net1\u003C\u002Ftd>\n      \u003Ctd>Net2\u003C\u002Ftd>\n      \u003Ctd>Name\u003C\u002Ftd>\n      \u003Ctd>CIFAR10\u003C\u002Ftd>\n      \u003Ctd>CIFAR100\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>-\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>baseline\u003C\u002Ftd>\n      \u003Ctd>92.37%\u003C\u002Ftd>\n      \u003Ctd>68.92%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>-\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>baseline\u003C\u002Ftd>\n      \u003Ctd>93.86%\u003C\u002Ftd>\n      \u003Ctd>73.15%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet20\u003C\u002Ftd>\n      \u003Ctd>resnet20\u003C\u002Ftd>\n      \u003Ctd>DML\u003C\u002Ftd>\n      \u003Ctd>93.07%\u002F93.37%\u003C\u002Ftd>\n      \u003Ctd>70.39%\u002F70.22%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet110\u003C\u002Ftd>\n      \u003Ctd>resnet20\u003C\u002Ftd>\n      \u003Ctd>DML\u003C\u002Ftd>\n      \u003Ctd>94.45%\u002F92.92%\u003C\u002Ftd>\n      \u003Ctd>74.53%\u002F70.29%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet110\u003C\u002Ftd>\n      \u003Ctd>resnet110\u003C\u002Ftd>\n      \u003Ctd>DML\u003C\u002Ftd>\n      \u003Ctd>94.74%\u002F94.79%\u003C\u002Ftd>\n      \u003Ctd>74.72%\u002F75.55%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n## Todo List\n- [ ] KDSVD (now has some bugs)\n- [ ] QuEST: Quantized Embedding Space for Transferring Knowledge\n- [ ] EEL: Learning an Evolutionary Embedding via Massive Knowledge Distillation\n- [ ] OnAdvFD: Feature-map-level Online Adversarial Knowledge Distillation\n- [ ] CS-KD: Regularizing Class-wise Predictions via Self-knowledge Distillation\n- [ ] PAD: Prime-Aware Adaptive Distillation\n- [ ] DCM: Knowledge Transfer via Dense Cross-Layer Mutual-Distillation\n- [ ] ESKD: On the Efficacy of Knowledge Distillation\n- [ ] GKA: Teachers Do More Than Teach: Compressing Image-to-Image Models\n- [ ] KD-fn: Feature Normalized Knowledge Distillation for Image Classification\n- [ ] FSD: Knowledge Distillation via Adaptive Instance Normalization\n- [ ] CSKD: Improving Knowledge Distillation via Category Structure\n- [ ] CD & GKD: Channel Distillation: Channel-Wise Attention for Knowledge Distillation\n- [ ] CRCD: Complementary Relation Contrastive Distillation\n- [ ] MGD: Matching Guided Distillation\n- [ ] SSKD: Knowledge Distillation Meets Self-Supervision\n- [ ] KR: Distilling Knowledge via Knowledge Review\n- [ ] AFD-SAD: Show, Attend and Distill: Knowledge Distillation via Attention-based Feature Matching\n- [ ] SRRL: Knowledge Distillation via Softmax Regression Representation Learning\n- [ ] SemCKD: Cross-Layer Distillation with Semantic Calibration\n- [ ] SKD: Reducing the Teacher-Student Gap via Spherical Knowledge Disitllation\n- [ ] IFDM: Heterogeneous Knowledge Distillation using Information Flow Modeling\n- [ ] LKD: Local Correlation Consistency for Knowledge Distillation\n- [ ] HKD: Distilling Holistic Knowledge with Graph Neural Networks\n- [ ] LONDON: Lipschitz Continuity Guided Knowledge Distillation\n- [ ] CDD: Channel-Wise Knowledge Distillation for Dense Prediction\n- [ ] SCKD: Student Customized Knowledge Distillation: Bridging the Gap Between Student and Teacher\n- [ ] ICKD: Exploring Inter-Channel Correlation for Diversity-preserved Knowledge Distillation\n- [ ] DKMF: Distilling Knowledge by Mimicking Features\n- [ ] CRCD: Complementary Relation Contrastive Distillation\n- [ ] WCoRD: Wasserstein Contrastive Representation Distillation\n- [ ] LKD: Local Correlation Consistency for Knowledge Distillation\n- [ ] KDCL: Online Knowledge Distillation via Collaborative Learning\n- [ ] ONE: Knowledge Distillation by On-the-Fly Native Ensemble\n\n\n## Requirements\n- python 3.7\n- pytorch 1.3.1\n- torchvision 0.4.2\n\n## Acknowledgements\nThis repo is partly based on the following repos, thank the authors a lot.\n- [HobbitLong\u002FRepDistiller](https:\u002F\u002Fgithub.com\u002FHobbitLong\u002FRepDistiller)\n- [bhheo\u002FBSS_distillation](https:\u002F\u002Fgithub.com\u002Fbhheo\u002FBSS_distillation)\n- [clovaai\u002Foverhaul-distillation](https:\u002F\u002Fgithub.com\u002Fclovaai\u002Foverhaul-distillation)\n- [passalis\u002Fprobabilistic_kt](https:\u002F\u002Fgithub.com\u002Fpassalis\u002Fprobabilistic_kt)\n- [lenscloth\u002FRKD](https:\u002F\u002Fgithub.com\u002Flenscloth\u002FRKD)\n\nIf you employ the listed KD methods in your research, please cite the corresponding papers.\n","# 知识蒸馏动物园\n***新闻！我将对这个仓库进行重大更新。新版本将包含待办事项列表中的大多数方法。敬请关注。***\n\n各种知识蒸馏（KD）方法的 PyTorch 实现。\n\n本仓库是一个简单的参考，主要聚焦于基础的知识蒸馏\u002F迁移方法。因此，许多技巧和变体，如逐步训练、迭代训练、教师模型集成、知识蒸馏方法集成、无数据蒸馏、自蒸馏、在线蒸馏等，并未在此考虑。希望它对您的项目或研究有所帮助。\n\n我会定期更新此仓库，添加新的知识蒸馏方法。如果您认为有遗漏的基础方法，请与我联系。\n\n## 列表\n  名称 | 方法 | 论文链接 | 代码链接\n  :---- | ----- | :----: | :----:\n  基线 | 使用 softmax 损失的基本模型 | — | [代码](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Ftrain_base.py)\n  Logits   | 通过回归 logits 进行模仿学习 | [论文](http:\u002F\u002Fpapers.nips.cc\u002Fpaper\u002F5484-do-deep-nets-really-need-to-be-deep.pdf) | [代码](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Flogits.py)\n  ST       | 软目标 | [论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1503.02531.pdf) | [代码](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Fst.py)\n  AT       | 注意力迁移 | [论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1612.03928.pdf) | [代码](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Fat.py)\n  Fitnet   | 针对轻量级深度网络的提示 | [论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1412.6550.pdf) | [代码](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Ffitnet.py)\n  NST      | 神经选择性迁移 | [论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1707.01219.pdf) | [代码](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Fnst.py)\n  PKT      | 概率知识迁移 | [论文](http:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_ECCV_2018\u002Fpapers\u002FNikolaos_Passalis_Learning_Deep_Representations_ECCV_2018_paper.pdf) | [代码](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Fpkt.py)\n  FSP      | 解决方案流程传递 | [论文](http:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_cvpr_2017\u002Fpapers\u002FYim_A_Gift_From_CVPR_2017_paper.pdf) | [代码](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Ffsp.py)\n  FT       | 因子迁移 | [论文](http:\u002F\u002Fpapers.nips.cc\u002Fpaper\u002F7541-paraphrasing-complex-network-network-compression-via-factor-transfer.pdf) | [代码](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Fft.py)\n  RKD      | 关系知识蒸馏 | [论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1904.05068.pdf) | [代码](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Frkd.py)\n  AB       | 激活边界 | [论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1811.03233.pdf) | [代码](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Fab.py)\n  SP       | 相似性保持 | [论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1907.09682.pdf) | [代码](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Fsp.py)\n  Sobolev  | 索博列夫\u002F雅可比匹配 | [论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1706.04859.pdf) | [代码](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Fsobolev.py)\n  BSS      | 边界支持样本 | [论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1805.05532.pdf) | [代码](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Fbss.py)\n  CC       | 相关性一致性 | [论文](http:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_ICCV_2019\u002Fpapers\u002FPeng_Correlation_Congruence_for_Knowledge_Distillation_ICCV_2019_paper.pdf) | [代码](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Fcc.py)\n  LwM      | 不需记忆的学习 | [论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1811.08051.pdf) | [代码](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Flwm.py)\n  IRG      | 实例关系图 | [论文](http:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_CVPR_2019\u002Fpapers\u002FLiu_Knowledge_Distillation_via_Instance_Relationship_Graph_CVPR_2019_paper.pdf) | [代码](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Firg.py)\n  VID      | 变分信息蒸馏 | [论文](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_CVPR_2019\u002Fpapers\u002FAhn_Variational_Information_Distillation_for_Knowledge_Transfer_CVPR_2019_paper.pdf) | [代码](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Fvid.py)\n  OFD      | 特征蒸馏的全面改进 | [论文](http:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_ICCV_2019\u002Fpapers\u002FHeo_A_Comprehensive_Overhaul_of_Feature_Distillation_ICCV_2019_paper.pdf) | [代码](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Fofd.py)\n  AFD      | 注意力特征蒸馏 | [论文](https:\u002F\u002Fopenreview.net\u002Fpdf?id=ryxyCeHtPB) | [代码](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Fafd.py)\n  CRD      | 对比表示蒸馏 | [论文](https:\u002F\u002Fopenreview.net\u002Fpdf?id=SkgpBJrtvS) | [代码](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Fcrd.py)\n  DML      | 深度互学习 | [论文](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_cvpr_2018\u002Fpapers\u002FZhang_Deep_Mutual_Learning_CVPR_2018_paper.pdf) | [代码](https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fblob\u002Fmaster\u002Fkd_losses\u002Fdml.py)\n\n- 注意，本仓库与原始论文之间存在一些差异：\n\t- 对于 `AT`：我使用 p=2 的绝对值之和作为注意力。\n\t- 对于 `Fitnet`：训练过程为单阶段，没有提示层。\n\t- 对于 `NST`：我采用 d=2、c=0 的多项式核。\n\t- 对于 `AB`：采用两阶段训练，前 50 个 epoch 用于初始化，第二阶段仅使用交叉熵损失，不使用软目标。\n\t- 对于 `BSS`：80% 的 epoch 使用交叉熵 + BSS 损失，剩余 20% 仅使用交叉熵。此外，前 10 个 epoch 进行预热。\n\t- 对于 `CC`：为保持一致性，我只考虑不含实例一致性的 CC。由于双线性池化核与 PKT 类似，我选择了高斯 RBF 核，并取其 P=2 阶泰勒展开。未采用特殊的采样策略。\n\t- 对于 `LwM`：我将其应用在 rb2（中间卷积层）之后，而不是 rb3（最后一层卷积层），因为基础网络是 ResNet，以 GAP 结束后接分类器。如果在 rb3 后应用，梯度-CAN 在每个通道的 H 和 W 方向上数值会相同。\n\t- 对于 `IRG`：我仅使用一对一模式。\n\t- 对于 `VID`：我将隐藏层通道数设置为与输出通道数相同，并移除了 μ 中的 BN。\n\t- 对于 `AFD`：我发现原始的注意力实现不稳定，因此用 SE 模块替代了它。\n\t- 对于 `DML`：仅使用两个网络，并同步更新，以避免多次前向传播。\n\n## 数据集\n- CIFAR10\n- CIFAR100\n\n## 网络\n- Resnet-20\n- Resnet-110\n\n这些网络与 [论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1512.03385.pdf) 中的表 6 相同。\n\n## 训练\n- 创建 `.\u002Fdataset` 目录，并在其中下载 CIFAR10\u002FCIFAR100 数据集。\n- 使用脚本 `example_train_script.sh` 来训练各种知识蒸馏方法。你可以直接指定 `train_xxx.py` 中列出的超参数，也可以手动修改它们。\n- 我使用的超参数可以在 [训练日志](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1A0-FCggjwnAtCCoSpGsjzA) 中找到（提取码：ezed）。\n- 一些注意事项：\n\t- Sobolev\u002FLwM 单独使用时不太稳定，建议与其他知识蒸馏方法结合使用。\n\t- BSS 有时可能会破坏训练过程，导致效果不佳。\n\t- 如果原始论文中没有明确说明，所有方法都可以应用于中间特征图；或者只在最后一个卷积层之后才使用多个特征图。扩展到多个特征图非常简单。\n\t- 我假设教师模型和学生模型之间的特征图尺寸（C, H, W）相同。如果不相同，可以使用 1×1 卷积、线性变换或池化操作来调整它们。\n\n## 结果\n- 训练好的基线模型被用作教师模型。为了公平比较，所有学生网络都与基线模型采用相同的初始化方式。\n- 初始模型、训练后的模型以及训练日志已上传至 [这里](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1A0-FCggjwnAtCCoSpGsjzA)（提取码：ezed）。\n- 贸易-off 参数 `--lambda_kd` 以及其他超参数并未经过仔细调优。因此，以下结果并不能反映哪种方法优于其他方法。\n- 一些基于关系的方法，例如 PKT、RKD 和 CC，在 CIFAR100 数据集上的效果较差。这可能是因为 CIFAR100 数据集中类间差异较大，而每个批次内的类内差异较小。你可以尝试增大批次大小、构建记忆库，或者设计更先进的批次采样方法。\n\n\u003Ctable>\n   \u003Ctr>\n      \u003Ctd>教师\u003C\u002Ftd>\n      \u003Ctd>学生\u003C\u002Ftd>\n      \u003Ctd>名称\u003C\u002Ftd>\n      \u003Ctd>CIFAR10\u003C\u002Ftd>\n      \u003Ctd>CIFAR100\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>-\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>基线\u003C\u002Ftd>\n      \u003Ctd>92.37%\u003C\u002Ftd>\n      \u003Ctd>68.92%\u003C\u002Ftd> \n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>Logits\u003C\u002Ftd>\n      \u003Ctd>93.30%\u003C\u002Ftd>\n      \u003Ctd>70.36%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>ST\u003C\u002Ftd>\n      \u003Ctd>93.12%\u003C\u002Ftd>\n      \u003Ctd>70.27%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>AT\u003C\u002Ftd>\n      \u003Ctd>92.89%\u003C\u002Ftd>\n      \u003Ctd>69.70%\u003C\u002Ftd> \n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>Fitnet\u003C\u002Ftd>\n      \u003Ctd>92.73%\u003C\u002Ftd>\n      \u003Ctd>70.08%\u003C\u002Ftd> \n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>NST\u003C\u002Ftd>\n      \u003Ctd>92.79%\u003C\u002Ftd>\n      \u003Ctd>69.21%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>PKT\u003C\u002Ftd>\n      \u003Ctd>92.50%\u003C\u002Ftd>\n      \u003Ctd>69.25%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>FSP\u003C\u002Ftd>\n      \u003Ctd>92.76%\u003C\u002Ftd>\n      \u003Ctd>69.61%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>FT\u003C\u002Ftd>\n      \u003Ctd>92.98%\u003C\u002Ftd>\n      \u003Ctd>69.90%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>RKD\u003C\u002Ftd>\n      \u003Ctd>92.72%\u003C\u002Ftd>\n      \u003Ctd>69.48%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>AB\u003C\u002Ftd>\n      \u003Ctd>93.04%\u003C\u002Ftd>\n      \u003Ctd>69.96%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>SP\u003C\u002Ftd>\n      \u003Ctd>92.88%\u003C\u002Ftd>\n      \u003Ctd>69.85%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>Sobolev\u003C\u002Ftd>\n      \u003Ctd>92.78%\u003C\u002Ftd>\n      \u003Ctd>69.39%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>BSS\u003C\u002Ftd>\n      \u003Ctd>92.58%\u003C\u002Ftd>\n      \u003Ctd>69.96%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>CC\u003C\u002Ftd>\n      \u003Ctd>93.01%\u003C\u002Ftd>\n      \u003Ctd>69.27%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>LwM\u003C\u002Ftd>\n      \u003Ctd>92.80%\u003C\u002Ftd>\n      \u003Ctd>69.23%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>IRG\u003C\u002Ftd>\n      \u003Ctd>92.77%\u003C\u002Ftd>\n      \u003Ctd>70.37%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>VID\u003C\u002Ftd>\n      \u003Ctd>92.61%\u003C\u002Ftd>\n      \u003Ctd>69.39%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>OFD\u003C\u002Ftd>\n      \u003Ctd>92.82%\u003C\u002Ftd>\n      \u003Ctd>69.93%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>AFD\u003C\u002Ftd>\n      \u003Ctd>92.56%\u003C\u002Ftd>\n      \u003Ctd>69.63%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>CRD\u003C\u002Ftd>\n      \u003Ctd>92.96%\u003C\u002Ftd>\n      \u003Ctd>70.33%\u003C\u002Ftd> \n   \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n\u003Ctable>\n   \u003Ctr>\n      \u003Ctd>教师\u003C\u002Ftd>\n      \u003Ctd>学生\u003C\u002Ftd>\n      \u003Ctd>名称\u003C\u002Ftd>\n      \u003Ctd>CIFAR10\u003C\u002Ftd>\n      \u003Ctd>CIFAR100\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>-\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>基线\u003C\u002Ftd>\n      \u003Ctd>92.37%\u003C\u002Ftd>\n      \u003Ctd>68.92%\u003C\u002Ftd> \n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>-\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>基线\u003C\u002Ftd>\n      \u003Ctd>93.86%\u003C\u002Ftd>\n      \u003Ctd>73.15%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>Logits\u003C\u002Ftd>\n      \u003Ctd>92.98%\u003C\u002Ftd>\n      \u003Ctd>69.78%\u003C\u002Ftd> \n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>ST\u003C\u002Ftd>\n      \u003Ctd>92.82%\u003C\u002Ftd>\n      \u003Ctd>70.06%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>AT\u003C\u002Ftd>\n      \u003Ctd>93.21%\u003C\u002Ftd>\n      \u003Ctd>69.28%\u003C\u002Ftd> \n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>Fitnet\u003C\u002Ftd>\n      \u003Ctd>93.04%\u003C\u002Ftd>\n      \u003Ctd>69.81%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>NST\u003C\u002Ftd>\n      \u003Ctd>92.83%\u003C\u002Ftd>\n      \u003Ctd>69.31%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>PKT\u003C\u002Ftd>\n      \u003Ctd>93.01%\u003C\u002Ftd>\n      \u003Ctd>69.31%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>FSP\u003C\u002Ftd>\n      \u003Ctd>92.78%\u003C\u002Ftd>\n      \u003Ctd>69.78%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>FT\u003C\u002Ftd>\n      \u003Ctd>93.01%\u003C\u002Ftd>\n      \u003Ctd>69.49%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>RKD\u003C\u002Ftd>\n      \u003Ctd>93.21%\u003C\u002Ftd>\n      \u003Ctd>69.36%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>AB\u003C\u002Ftd>\n      \u003Ctd>92.96%\u003C\u002Ftd>\n      \u003Ctd>69.41%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>SP\u003C\u002Ftd>\n      \u003Ctd>93.30%\u003C\u002Ftd>\n      \u003Ctd>69.45%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>Sobolev\u003C\u002Ftd>\n      \u003Ctd>92.60%\u003C\u002Ftd>\n      \u003Ctd>69.23%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>BSS\u003C\u002Ftd>\n      \u003Ctd>92.78%\u003C\u002Ftd>\n      \u003Ctd>69.71%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>CC\u003C\u002Ftd>\n      \u003Ctd>92.98%\u003C\u002Ftd>\n      \u003Ctd>69.33%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>LwM\u003C\u002Ftd>\n      \u003Ctd>92.52%\u003C\u002Ftd>\n      \u003Ctd>69.11%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>IRG\u003C\u002Ftd>\n      \u003Ctd>93.13%\u003C\u002Ftd>\n      \u003Ctd>69.36%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>VID\u003C\u002Ftd>\n      \u003Ctd>92.98%\u003C\u002Ftd>\n      \u003Ctd>69.49%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>OFD\u003C\u002Ftd>\n      \u003Ctd>93.13%\u003C\u002Ftd>\n      \u003Ctd>69.81%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>AFD\u003C\u002Ftd>\n      \u003Ctd>92.92%\u003C\u002Ftd>\n      \u003Ctd>69.60%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>CRD\u003C\u002Ftd>\n      \u003Ctd>92.92%\u003C\u002Ftd>\n      \u003Ctd>70.80%\u003C\u002Ftd> \n   \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n\n\u003Ctable>\n   \u003Ctr>\n      \u003Ctd>教师\u003C\u002Ftd>\n      \u003Ctd>学生\u003C\u002Ftd>\n      \u003Ctd>名称\u003C\u002Ftd>\n      \u003Ctd>CIFAR10\u003C\u002Ftd>\n      \u003Ctd>CIFAR100\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>-\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>基线\u003C\u002Ftd>\n      \u003Ctd>93.86%\u003C\u002Ftd>\n      \u003Ctd>73.15%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>Logits\u003C\u002Ftd>\n      \u003Ctd>94.38%\u003C\u002Ftd>\n      \u003Ctd>74.89%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>ST\u003C\u002Ftd>\n      \u003Ctd>94.59%\u003C\u002Ftd>\n      \u003Ctd>74.33%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>AT\u003C\u002Ftd>\n      \u003Ctd>94.42%\u003C\u002Ftd>\n      \u003Ctd>74.64%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>Fitnet\u003C\u002Ftd>\n      \u003Ctd>94.43%\u003C\u002Ftd>\n      \u003Ctd>73.63%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>NST\u003C\u002Ftd>\n      \u003Ctd>94.43%\u003C\u002Ftd>\n      \u003Ctd>73.55%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>PKT\u003C\u002Ftd>\n      \u003Ctd>94.35%\u003C\u002Ftd>\n      \u003Ctd>73.74%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>FSP\u003C\u002Ftd>\n      \u003Ctd>94.39%\u003C\u002Ftd>\n      \u003Ctd>73.59%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>FT\u003C\u002Ftd>\n      \u003Ctd>94.30%\u003C\u002Ftd>\n      \u003Ctd>74.72%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>RKD\u003C\u002Ftd>\n      \u003Ctd>94.39%\u003C\u002Ftd>\n      \u003Ctd>73.78%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>AB\u003C\u002Ftd>\n      \u003Ctd>94.63%\u003C\u002Ftd>\n      \u003Ctd>73.91%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>SP\u003C\u002Ftd>\n      \u003Ctd>94.45%\u003C\u002Ftd>\n      \u003Ctd>74.07%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>Sobolev\u003C\u002Ftd>\n      \u003Ctd>94.26%\u003C\u002Ftd>\n      \u003Ctd>73.14%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>BSS\u003C\u002Ftd>\n      \u003Ctd>94.19%\u003C\u002Ftd>\n      \u003Ctd>73.87%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>CC\u003C\u002Ftd>\n      \u003Ctd>94.49%\u003C\u002Ftd>\n      \u003Ctd>74.43%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>LwM\u003C\u002Ftd>\n      \u003Ctd>94.19%\u003C\u002Ftd>\n      \u003Ctd>73.28%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>IRG\u003C\u002Ftd>\n      \u003Ctd>94.44%\u003C\u002Ftd>\n      \u003Ctd>74.96%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>VID\u003C\u002Ftd>\n      \u003Ctd>94.25%\u003C\u002Ftd>\n      \u003Ctd>73.63%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>OFD\u003C\u002Ftd>\n      \u003Ctd>94.38%\u003C\u002Ftd>\n      \u003Ctd>74.11%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>AFD\u003C\u002Ftd>\n      \u003Ctd>94.44%\u003C\u002Ftd>\n      \u003Ctd>73.90%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>CRD\u003C\u002Ftd>\n      \u003Ctd>94.30%\u003C\u002Ftd>\n      \u003Ctd>75.44%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n\n\u003Ctable>\n   \u003Ctr>\n      \u003Ctd>Net1\u003C\u002Ftd>\n      \u003Ctd>Net2\u003C\u002Ftd>\n      \u003Ctd>名称\u003C\u002Ftd>\n      \u003Ctd>CIFAR10\u003C\u002Ftd>\n      \u003Ctd>CIFAR100\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>-\u003C\u002Ftd>\n      \u003Ctd>resnet-20\u003C\u002Ftd>\n      \u003Ctd>基线\u003C\u002Ftd>\n      \u003Ctd>92.37%\u003C\u002Ftd>\n      \u003Ctd>68.92%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>-\u003C\u002Ftd>\n      \u003Ctd>resnet-110\u003C\u002Ftd>\n      \u003Ctd>基线\u003C\u002Ftd>\n      \u003Ctd>93.86%\u003C\u002Ftd>\n      \u003Ctd>73.15%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet20\u003C\u002Ftd>\n      \u003Ctd>resnet20\u003C\u002Ftd>\n      \u003Ctd>DML\u003C\u002Ftd>\n      \u003Ctd>93.07%\u002F93.37%\u003C\u002Ftd>\n      \u003Ctd>70.39%\u002F70.22%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet110\u003C\u002Ftd>\n      \u003Ctd>resnet20\u003C\u002Ftd>\n      \u003Ctd>DML\u003C\u002Ftd>\n      \u003Ctd>94.45%\u002F92.92%\u003C\u002Ftd>\n      \u003Ctd>74.53%\u002F70.29%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n   \u003Ctr>\n      \u003Ctd>resnet110\u003C\u002Ftd>\n      \u003Ctd>resnet110\u003C\u002Ftd>\n      \u003Ctd>DML\u003C\u002Ftd>\n      \u003Ctd>94.74%\u002F94.79%\u003C\u002Ftd>\n      \u003Ctd>74.72%\u002F75.55%\u003C\u002Ftd>\n   \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n## 待办事项清单\n- [ ] KDSVD（目前存在一些bug）\n- [ ] QuEST：用于知识迁移的量化嵌入空间\n- [ ] EEL：通过大规模知识蒸馏学习进化型嵌入\n- [ ] OnAdvFD：特征图级别的在线对抗性知识蒸馏\n- [ ] CS-KD：通过自知识蒸馏正则化类别级预测\n- [ ] PAD：基于先验信息的自适应蒸馏\n- [ ] DCM：通过密集跨层互蒸馏进行知识迁移\n- [ ] ESKD：关于知识蒸馏有效性的研究\n- [ ] GKA：教师的作用不止于教学：压缩图像到图像模型\n- [ ] KD-fn：用于图像分类的特征归一化知识蒸馏\n- [ ] FSD：通过自适应实例归一化进行知识蒸馏\n- [ ] CSKD：利用类别结构改进知识蒸馏\n- [ ] CD & GKD：通道蒸馏：面向知识蒸馏的通道级注意力机制\n- [ ] CRCD：互补关系对比蒸馏\n- [ ] MGD：匹配引导蒸馏\n- [ ] SSKD：知识蒸馏与自监督学习的结合\n- [ ] KR：通过知识回顾进行知识蒸馏\n- [ ] AFD-SAD：展示、关注并蒸馏：基于注意力的特征匹配知识蒸馏\n- [ ] SRRL：通过Softmax回归表示学习进行知识蒸馏\n- [ ] SemCKD：具有语义校准的跨层蒸馏\n- [ ] SKD：通过球面知识蒸馏缩小师生差距\n- [ ] IFDM：利用信息流建模实现异构知识蒸馏\n- [ ] LKD：面向知识蒸馏的局部相关性一致性\n- [ ] HKD：使用图神经网络蒸馏整体知识\n- [ ] LONDON：基于利普希茨连续性的知识蒸馏\n- [ ] CDD：面向密集预测的通道级知识蒸馏\n- [ ] SCKD：学生定制化知识蒸馏：弥合学生与教师之间的差距\n- [ ] ICKD：探索通道间相关性以保持多样性进行知识蒸馏\n- [ ] DKMF：通过模仿特征进行知识蒸馏\n- [ ] CRCD：互补关系对比蒸馏\n- [ ] WCoRD：Wasserstein对比表示蒸馏\n- [ ] LKD：面向知识蒸馏的局部相关性一致性\n- [ ] KDCL：通过协作学习进行在线知识蒸馏\n- [ ] ONE：通过即时原生集成进行知识蒸馏\n\n\n## 系统要求\n- Python 3.7\n- PyTorch 1.3.1\n- torchvision 0.4.2\n\n## 致谢\n本仓库部分参考了以下项目，特此感谢原作者：\n- [HobbitLong\u002FRepDistiller](https:\u002F\u002Fgithub.com\u002FHobbitLong\u002FRepDistiller)\n- [bhheo\u002FBSS_distillation](https:\u002F\u002Fgithub.com\u002Fbhheo\u002FBSS_distillation)\n- [clovaai\u002Foverhaul-distillation](https:\u002F\u002Fgithub.com\u002Fclovaai\u002Foverhaul-distillation)\n- [passalis\u002Fprobabilistic_kt](https:\u002F\u002Fgithub.com\u002Fpassalis\u002Fprobabilistic_kt)\n- [lenscloth\u002FRKD](https:\u002F\u002Fgithub.com\u002Flenscloth\u002FRKD)\n\n如果您在研究中使用了上述知识蒸馏方法，请引用相应的论文。","# Knowledge-Distillation-Zoo 快速上手指南\n\nKnowledge-Distillation-Zoo 是一个基于 PyTorch 的知识蒸馏（KD）方法集合库，涵盖了多种经典的蒸馏算法（如 Logits, ST, AT, Fitnet, RKD, CRD 等）。本指南将帮助你快速配置环境并运行基础示例。\n\n## 环境准备\n\n在开始之前，请确保你的开发环境满足以下要求：\n\n*   **操作系统**: Linux (推荐) 或 macOS\n*   **Python**: 3.6 或更高版本\n*   **深度学习框架**: PyTorch (建议版本 1.0+)\n*   **其他依赖**: torchvision, numpy\n\n**前置依赖安装：**\n建议使用 `pip` 安装必要的 Python 包。国内用户推荐使用清华源或阿里源加速下载。\n\n```bash\npip install torch torchvision numpy -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n## 安装步骤\n\n该仓库主要包含训练脚本和损失函数定义，无需复杂的编译安装过程，只需克隆代码并准备数据即可。\n\n1.  **克隆仓库**\n    ```bash\n    git clone https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo.git\n    cd Knowledge-Distillation-Zoo\n    ```\n\n2.  **准备数据集**\n    项目默认支持 CIFAR-10 和 CIFAR-100 数据集。你需要手动创建数据目录并下载数据。\n    \n    *   在项目根目录下创建 `dataset` 文件夹：\n        ```bash\n        mkdir .\u002Fdataset\n        ```\n    *   将下载好的 CIFAR-10 或 CIFAR-100 数据解压放入 `.\u002Fdataset` 目录中。\n    *   *注：你可以使用 torchvision 自动下载，或从国内镜像站（如清华开源镜像站）手动下载后放入该目录。*\n\n## 基本使用\n\n本项目提供了统一的训练脚本来运行不同的蒸馏方法。最简单的使用方式是参考提供的示例脚本 `example_train_script.sh`。\n\n### 1. 查看示例脚本\n你可以直接查看示例脚本来了解不同方法的参数配置：\n```bash\ncat example_train_script.sh\n```\n\n### 2. 运行训练\n假设你要训练一个基于 **ST (Soft Target)** 的蒸馏模型，教师网络为 `resnet-110`，学生网络为 `resnet-20`，数据集为 `CIFAR-100`。\n\n你可以直接修改 `train_st.py` 中的超参数，或者通过命令行传递参数运行。以下是一个典型的运行命令示例（具体参数需根据 `train_xxx.py` 文件内的 `argparse` 定义进行调整）：\n\n```bash\npython train_st.py --dataset cifar100 --teacher resnet110 --student resnet20 --lambda_kd 1.0 --temperature 4.0\n```\n\n**关键参数说明：**\n*   `--dataset`: 选择数据集 (`cifar10` 或 `cifar100`)。\n*   `--teacher` \u002F `--student`: 指定教师和学生网络架构 (如 `resnet20`, `resnet110`)。\n*   `--lambda_kd`: 知识蒸馏损失的权重系数。\n*   `--temperature`: 温度参数，用于软化概率分布。\n\n### 3. 添加新的蒸馏方法\n如果需要尝试列表中其他的方法（如 `RKD`, `CRD` 等），只需将上述命令中的脚本文件名替换为对应的 `train_\u003Cmethod>.py` 即可。例如运行关系蒸馏 (RKD)：\n\n```bash\npython train_rkd.py --dataset cifar10 --teacher resnet20 --student resnet20\n```\n\n**注意：**\n*   部分方法（如 `Sobolev`, `LwM`）单独使用时可能不稳定，建议与其他 KD 方法结合使用。\n*   如果教师和学生网络的特征图尺寸不一致，代码逻辑中通常需要通过 1x1 卷积、线性层或池化层进行对齐（本项目假设尺寸一致，若自定义网络需自行处理）。\n*   预训练模型和完整的训练日志可在项目 README 提供的百度网盘链接中获取（提取码：ezed），用于复现结果或作为初始化权重。","某边缘计算团队正致力于将高精度图像分类模型部署到算力受限的无人机摄像头中，需要在极小化模型体积的同时尽可能保留识别准确率。\n\n### 没有 Knowledge-Distillation-Zoo 时\n- **复现成本高昂**：研究人员需逐个阅读数十篇知识蒸馏论文并手动重写 PyTorch 损失函数，极易因公式理解偏差导致代码错误。\n- **算法对比困难**：缺乏统一的基准框架，每次尝试新策略（如从 Logits 切换到注意力转移 AT）都需要重构训练循环，难以公平评估不同方法的优劣。\n- **调参盲目低效**：由于缺少标准实现参考，对于温度系数、中间层对齐等关键超参数只能靠经验盲猜，耗费大量 GPU 机时却难获提升。\n- **技术选型局限**：受限于开发周期，团队往往只敢使用最基础的软目标（ST）方法，错失了 Fitnet、RKD 等更适合小模型的高级蒸馏技巧。\n\n### 使用 Knowledge-Distillation-Zoo 后\n- **即插即用高效集成**：直接调用库中预实现的 ST、AT、Fitnet 等十余种损失函数模块，将算法验证周期从数周缩短至几天。\n- **标准化公平评测**：在完全一致的训练架构和数据流下，快速切换不同蒸馏策略，精准量化出 RKD 或 CC 方法在特定数据集上的增益。\n- **权威参考加速调优**：依托官方提供的标准代码逻辑，迅速定位超参数敏感区间，显著提升了小模型在大模型指导下的收敛速度。\n- **挖掘性能上限**：轻松尝试多种高级变体组合，最终成功将模型压缩至原体积的 1\u002F5，同时准确率损失控制在 1% 以内，满足实时飞行需求。\n\nKnowledge-Distillation-Zoo 通过提供标准化的算法实现库，彻底消除了知识蒸馏领域的重复造轮子现象，让开发者能专注于模型压缩策略的创新与落地。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAberHu_Knowledge-Distillation-Zoo_545aae5f.png","AberHu","Aber Hu","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FAberHu_236e2f5a.png",null,"Beijing, China","huyibo871079699@gmail.com","https:\u002F\u002Faberhu.github.io\u002F","https:\u002F\u002Fgithub.com\u002FAberHu",[82,86],{"name":83,"color":84,"percentage":85},"Python","#3572A5",89.5,{"name":87,"color":88,"percentage":89},"Shell","#89e051",10.5,1746,267,"2026-04-19T11:02:01","未说明","未说明 (基于 PyTorch 实现，通常支持 CUDA，但 README 未指定具体型号或版本)",{"notes":96,"python":93,"dependencies":97},"README 未明确列出具体的操作系统、Python 版本、GPU 型号或内存需求。该项目是多种知识蒸馏方法的 PyTorch 参考实现，主要使用 CIFAR10\u002FCIFAR100 数据集和 ResNet-20\u002F110 网络。用户需自行创建 .\u002Fdataset 目录并下载数据集。部分方法（如 Sobolev, LwM）单独使用可能不稳定，建议与其他方法结合使用。若教师网络与学生网络的特征图尺寸不一致，需自行添加 1x1 卷积、线性层或池化层进行调整。",[98],"PyTorch",[14,100],"其他",[102,103,104,105,106,107,108],"kd-methods","knowledge-transfer","knowledge-distillation","kd","teacher-student","model-compression","distillation","2026-03-27T02:49:30.150509","2026-04-20T19:32:32.771967",[112,117],{"id":113,"question_zh":114,"answer_zh":115,"source_url":116},45589,"在知识蒸馏中，lambda_st 参数的不同计算公式（如 (1-lambda)*cls_loss + lambda*st_loss 与其他变体）有什么影响？","这主要取决于对真实标签损失（ground truth loss）的依赖程度。蒸馏损失（st_loss）通常作为一种约束存在。两种公式通常都能工作，具体效果可能依赖于特定的下游任务。建议根据具体任务进行实验调整。","https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fissues\u002F1",{"id":118,"question_zh":119,"answer_zh":120,"source_url":121},45590,"为什么 CRD Loss 中的学生\u002F教师锚点（student\u002Fteacher anchor）要随机初始化而不是零初始化？","记忆库（memory bank）是通过动量为 `nce_mom` 的移动平均法更新的，因此随机初始化和零初始化理论上都可以工作。但是，如果使用零初始化，在前一次或前几次前向传播中，`weight_t` 和 `weight_s` 将为零，导致 `out_t` 和 `out_s` 也为零。这种情况下，CRD 损失会被破坏（destroyed），因此推荐使用随机初始化。","https:\u002F\u002Fgithub.com\u002FAberHu\u002FKnowledge-Distillation-Zoo\u002Fissues\u002F4",[]]