awesome-equivariant-network

GitHub
1.1k 108 困难 1 次阅读 3天前其他
AI 解读 由 AI 自动生成,仅供参考

awesome-equivariant-network 是一个专注于“等变神经网络”(Equivariant Neural Networks)的开源论文清单项目。它系统性地收集并整理了该领域从奠基之作到前沿进展的核心学术文献,涵盖群等变卷积、可操纵 CNN、球面 CNN 以及针对 3D 点云和密度估计的应用等多个方向。

在深度学习中,传统模型往往需要大量数据才能学会识别旋转或平移后的物体,而等变网络通过数学上的对称性约束,让模型天生具备对几何变换的适应能力。awesome-equivariant-network 正是为了解决研究者难以全面追踪这一快速演进领域的痛点而生,它将分散的顶会论文(如 ICML、NeurIPS、CVPR 等)按理论、应用、置换等变性等主题分类,提供了清晰的学习路径。

该项目特别适合人工智能研究人员、算法工程师以及对几何深度学习感兴趣的学生使用。无论是想要入门该领域的新手,还是希望查找特定群表示(如 SO(3)、SE(3))实现细节的资深开发者,都能从中快速定位关键资源。其独特亮点在于不仅罗列论文,还附带了简要的技术注释,指出每篇工作的核心贡献(如离散群处理、傅里叶空间加速等),并持续收录最新的讲座与教程链接,是探索几何先验与神经网络结合趋势的实用指南。

使用场景

某生物制药公司的算法团队正在研发基于 3D 点云数据的蛋白质结合位点预测模型,需要处理具有复杂空间旋转特性的分子结构数据。

没有 awesome-equivariant-network 时

  • 文献调研效率极低:研究人员需在 arXiv 和各大会议论文集大海捞针,难以系统掌握从基础群卷积到最新规范等变网络(Gauge Equivariant CNNs)的演进脉络。
  • 理论复现门槛高:面对 $SO(3)$ 或 $SE(3)$ 等变性所需的球谐函数、傅里叶变换等深奥数学理论,缺乏权威论文指引导致复现经典模型(如 Tensor Field Networks)时频频出错。
  • 技术选型盲目:无法快速对比不同架构(如 Steerable CNNs 与 Spherical CNNs)在特定三维任务上的优劣,容易选错基线模型,浪费数月算力资源进行无效训练。
  • 遗漏关键优化:因未及时发现利用广义 FFT 加速球面卷积等关键技术细节,导致模型推理速度远慢于行业先进水平。

使用 awesome-equivariant-network 后

  • 一站式知识索引:团队直接利用该清单按“理论”、“应用”、“置换等变”等分类快速定位核心论文,半天内即可构建完整的领域知识图谱。
  • 精准复现路径:通过清单中附带的详细注释(如“离散群”、“区域滤波器”等提示),迅速锁定适合蛋白质结构的 $SE(3)$ 等变模型,大幅降低数学推导与代码实现的试错成本。
  • 科学架构决策:参考清单中收录的基准测试论文,快速选定在 3D 点云任务上表现最佳的 General E(2)-Equivariant Steerable CNNs 作为起点,确保模型先天具备旋转不变性。
  • 前沿技术同步:及时获取关于规范等变网络等最新突破的论文链接,将先进的几何深度学习思想融入现有管线,显著提升了小样本下的预测精度。

awesome-equivariant-network 通过将分散的等变神经网络研究系统化,帮助团队将原本数月的探索周期压缩至数周,实现了从“盲目尝试”到“精准建模”的跨越。

运行环境要求

GPU

未说明

内存

未说明

依赖
notes该仓库(awesome-equivariant-network)是一个等变神经网络相关论文的列表清单,并非可执行的软件工具或代码库,因此 README 中不包含任何操作系统、硬件配置、Python 版本或依赖库的安装需求。用户仅需浏览列出的论文链接即可。
python未说明
awesome-equivariant-network hero image

快速开始

令人惊叹的等变网络

等变神经网络论文列表。仍在编写中。

欢迎以以下格式推荐相关论文。

**群等变卷积网络**  
塔科·S·科恩,马克斯·韦林 ICML 2016 [论文](https://arxiv.org/pdf/1602.07576.pdf)   

致谢: 我要感谢莫里斯·魏勒、法比安·福克斯、泰丝·斯密特、王睿、大卫·普夫、乔纳斯·科勒、塔科·科恩、格雷戈尔·西姆、埃里克·J·贝克尔斯、让-巴蒂斯特·科尔多尼耶、大卫·W·罗梅罗、伊万·索斯诺维克、科斯塔斯·达尼利迪斯提供的论文建议!同时感谢夏伟豪在排版方面的帮助!

目录

等变性与群卷积

  1. 群等变卷积网络
    Taco S. Cohen, Max Welling ICML 2016 论文
    注:首篇论文;离散群;
  2. 可导向CNN
    Taco S. Cohen, Max Welling ICLR 2017 论文
  3. 谐波网络:深度平移与旋转等变性
    Daniel E. Worrall, Stephan J. Garbin, Daniyar Turmukhambetov, Gabriel J. Brostow CVPR 2017 论文
  4. 球面CNN
    Taco S. Cohen, Mario Geiger, Jonas Koehler, Max Welling ICLR 2018 最佳论文 论文
    注:使用广义FFT加速在$S^2$和$SO(3)$上的卷积
  5. 克莱布什-高登网络:全傅里叶空间的球面卷积神经网络
    Risi Kondor, Zhen Lin, Shubhendu Trivedi NeurIPS 2018 论文
    注:在傅里叶空间中执行等变非线性;
  6. 一般E(2)等变可导向CNN
    Maurice Weiler, Gabriele Cesa NeurIPS 2019 论文
    注:对不同表示进行了良好的基准测试
  7. 学习用于旋转等变CNN的可导向滤波器
    Maurice Weiler, Fred A. Hamprecht, Martin Storath CVPR 2018 论文
    注:群卷积,核在圆谐基中参数化(可导向滤波器);
  8. 利用球面CNN学习SO(3)等变表示
    Carlos Esteves, Christine Allen-Blanchette, Ameesh Makadia, Kostas Daniilidis ECCV 2018 论文
    注:SO(3)等变性;区域滤波器
  9. 极坐标变换网络
    Carlos Esteves, Christine Allen-Blanchette, Xiaowei Zhou, Kostas Daniilidis ICLR 2018 论文
  10. 3D可导向CNN:在体数据中学习旋转等变特征
    Maurice Weiler, Mario Geiger, Max Welling, Wouter Boomsma, Taco Cohen NeurIPS 2018 论文
    注:SE(3)等变性;刻画了可导向核的基底
  11. 张量场网络:针对3D点云的旋转和平移等变神经网络
    Nathaniel Thomas, Tess Smidt, Steven Kearnes, Lusann Yang, Li Li, Kai Kohlhoff, Patrick Riley 论文
    注:点云的SE(3)等变性
  12. 等变多视角网络
    Carlos Esteves, Yinshuang Xu, Christine Allen-Blanchette, Kostas Daniilidis ICCV 2019 论文
  13. 规范等变卷积网络与二十面体CNN
    Taco S. Cohen, Maurice Weiler, Berkay Kicanaoglu, Max Welling ICML 2019 论文, 演讲
    注:一般流形上的规范等变性
  14. 鸬鹚:协变分子神经网络
    Brandon Anderson, Truong-Son Hy, Risi Kondor NeurIPS 2019 论文
  15. 深度尺度空间:尺度上的等变性
    Daniel Worrall, Max Welling NeurIPS 2019 论文
  16. 尺度等变可导向网络
    Ivan Sosnovik, Michał Szmaja, Arnold Smeulders ICLR 2020 论文
  17. 李群上的B样条CNN
    Erik J Bekkers ICLR 2020 论文
  18. SE(3)-Transformer:3D旋转-平移等变注意力网络
    Fabian B. Fuchs, Daniel E. Worrall, Volker Fischer, Max Welling NeurIPS 2020 论文, 博客
    注:TFN + 等变自注意力;改进了球谐函数计算
  19. 规范等变网格CNN:几何图上的各向异性卷积
    Pim de Haan, Maurice Weiler, Taco Cohen, Max Welling ICLR 2021 论文
    注:各向异性规范等变核 + 通过沿网格边平行传输特征进行消息传递
  20. 适用于粒子物理的洛伦兹群等变神经网络
    Alexander Bogatskiy, Brandon Anderson, Jan T. Offermann, Marwah Roussi, David W. Miller, Risi Kondor ICML 2020 论文
    注:SO(1, 3)等变性
  21. 利用旋转等变特征的曲面上的CNN
    Ruben Wiersma, Elmar Eisemann, Klaus Hildebrandt SIGGRAPH 2020 论文, 代码
  22. 将卷积神经网络泛化以实现对任意连续数据上李群的等变性
    Marc Finzi, Samuel Stanton, Pavel Izmailov, Andrew Gordon Wilson ICML 2020 论文
    注:较为通用的架构;采用蒙特卡洛采样以在期望意义上实现等变性;
  23. 自旋加权球面CNN
    Carlos Esteves, Ameesh Makadia, Kostas Daniilidis NeurIPS 2020 论文
    注:用于球面上矢量场的各向异性滤波器
  24. 神经网络中的不变性学习
    Gregory Benton, Marc Finzi, Pavel Izmailov, Andrew Gordon Wilson NeurIPS 2020 论文
    注:非常有趣的方法;通过同时学习模型参数和增强分布来强制实现“软”不变性
  25. LieTransformer:李群的等变自注意力
    Michael Hutchinson, Charline Le Lan, Sheheryar Zaidi, Emilien Dupont, Yee Whye Teh, Hyunjik Kim 论文
    注:对任意李群及其离散子群的等变自注意力
  26. 协同注意力等变神经网络:将等变性聚焦于数据中同时发生的变换
    David W. Romero, Mark Hoogendoorn ICLR 2020 论文
  27. 注意力型群等变卷积网络
    David W. Romero, Erik J. Bekkers, Jakub M. Tomczak, Mark Hoogendoorn ICML 2020 论文
  28. 小波网络:从原始波形中学习尺度等变性
    David W. Romero, Erik J. Bekkers, Jakub M. Tomczak, Mark Hoogendoorn 论文
  29. 面向视觉的独立群等变自注意力
    David W. Romero, Jean-Baptiste Cordonnier ICLR 2021 论文
  30. 将对称性融入深度动力学模型以提升泛化能力
    Rui Wang, Robin Walters, Rose Yu ICLR 2021 论文
  31. MDP同态网络:强化学习中的群对称性
    Elise van der Pol, Daniel E. Worrall, Herke van Hoof, Frans A. Oliehoek, Max Welling NeurIPS 2020 论文
  32. 等距变换不变且等变的图卷积网络
    Masanobu Horie, Naoki Morita, Toshiaki Hishinuma, Yu Ihara, Naoto Mitsume ICLR 2021 论文
  33. E(n)等变图神经网络
    Victor Garcia Satorras, Emiel Hoogeboom, Max Welling ICML 2021 论文
    注:一种简单的替代方案,可实现E(n)等变性
  34. 向量神经元:SO(3)等变网络的一般框架
    Congyue Deng, Or Litany, Yueqi Duan, Adrien Poulenard, Andrea Tagliasacchi, Leonidas Guibas 论文 注:一种用于1型特征的简单MLP
  35. 用于预测张量性质和分子光谱的等变消息传递
    Kristof T. Schütt, Oliver T. Unke, Michael Gastegger ICML 2021 论文
  36. 面向表面CNN的场卷积
    Thomas W. Mitchel, Vladimir G. Kim, Michael Kazhdan ICCV 2021(口头报告)论文
  37. 标量是普适的:等变机器学习,结构如同经典物理学
    Soledad Villar, David W.Hogg, Kate Storey-Fisher, Weichi Yao, Ben Blum-Smith NeruIPS 2021 论文
  38. 高效等变网络
    Lingshen He, Yuxuan Chen, Zhengyang shen, Yiming Dong, Yisen Wang, Zhouchen Lin NeruIPS 2021 论文, 代码
  39. GemNet:适用于分子的通用方向图神经网络
    Johannes Klicpera, Florian Becker, Stephan Günnemann NeurIPS 2021 论文
  40. 利用李代数卷积网络自动发现对称性
    Nima Dehmamy, Robin Walters, Yanchen Liu, Dashun Wang, Rose Yu NeurIPS 2021 论文
  41. 几何与物理量改善E(3)等变消息传递
    Johannes Brandstetter、Rob Hesselink、Elise van der Pol、Erik J Bekkers以及Max Welling ICLR 2022(亮点论文)论文代码
  42. 用于不变与等变网络设计的帧平均法
    Omri Puny、Matan Atzmon、Heli Ben-Hamu、Ishan Misra、Aditya Grover、Edward J. Smith、Yaron Lipman 论文 ICLR 2022
  43. 为大规模原子级动力学学习局部等变表示
    Albert Musaelian、Simon Batzner、Anders Johansson、Lixin Sun、Cameron J. Owen、Mordechai Kornbluth、Boris Kozinsky 论文
  44. 面向球面CNN的莫比乌斯卷积
    Thomas W. Mitchel、Noam Aigerman、Vladimir G. Kim、Michael Kazhdan SIGGRAPH 2022 论文
    (注:对球面上SL(2, C)的作用具有等变性。据我们所知,这是首个共形等变的表面卷积网络)
  45. DeltaConv:用于点云几何深度学习的各向异性算子
    Ruben Wiersma、Ahmad Nasikun、Elmar Eisemann、Klaus Hildebrandt SIGGRAPH 2022 论文代码
    通过使用微分算子实现旋转等变性。
  46. 神经ePDOs:基于空间自适应等变偏微分算子的网络
    Lingshen He*、Yuxuan Chen*、Zhengyang shen、Yibo Yang、Zhouchen Lin ICLR 2023(亮点论文)论文代码
  47. 用于等变神经网络的可导向偏微分算子
    Erik Jenner、Maurice Weiler ICLR 2022 论文
  48. 构建E(N)等变可导向CNN的程序
    Gabriele Cesa、Leon Lang、Maurice Weiler ICLR 2022 论文
  49. 克利福德-可导向卷积神经网络
    Maksim Zhdanov、David Ruhe、Maurice Weiler、Ana Lucic、Johannes Brandstetter、Patrick Forré ICML 2024 论文

理论

  1. 关于神经网络中等变性和卷积向紧致群作用的推广
    Risi Kondor, Shubhendu Trivedi ICML 2018 论文
    注:对于标量场,卷积就足够了。

  2. 齐次空间上等变卷积神经网络的一般理论
    Taco Cohen, Mario Geiger, Maurice Weiler NeurIPS 2019 论文
    注:对于一般场,卷积就足够了。

  3. 通过参数共享实现等变性
    Siamak Ravanbakhsh, Jeff Schneider, Barnabas Poczos ICML 2017 论文

  4. 神经网络对不变映射的通用逼近
    Dmitry Yarotsky 论文

  5. 群等变卷积核的Wigner-Eckart定理
    Leon Lang, Maurice Weiler ICLR 2021 论文
    注:可导向核空间已被完全理解,并以以下三类参数化表示:1) 广义约化矩阵元,2) Clebsch-Gordan系数,以及 3) 齐次空间上的调和基函数。

  6. 旋转等变点云网络的通用性研究
    Nadav Dym, Haggai Maron ICLR 2021 论文
    注:TFN和se3-transformer具有通用性。

  7. 通用等变多层感知机
    Siamak Ravanbakhsh 论文

  8. 等变模型在泛化能力上的严格优势证明
    Bryn Elesedy, Sheheryar Zaidi ICML 2021 论文

  9. 线性等变网络的隐式偏差
    Hannah Lawrence, Kristian Georgiev, Andrew Dienes, Bobak T. Kiani ICML 2022 论文

  10. 几何图神经网络的表达能力研究
    Chaitanya K. Joshi, Cristian Bodnar, Simon V. Mathis, Taco Cohen, Pietro Liò ICML 2023 论文

  11. 等变且坐标无关的卷积神经网络——神经网络的规范场论
    Maurice Weiler ,  Patrick Forré ,  Erik Verlinde ,  Max Welling 书籍

等变密度估计与采样

  1. 等变流:针对对称密度的精确似然生成学习
    Jonas Köhler, Leon Klein, Frank Noé ICML 2020 论文
    注:在欧几里得空间上构建等变归一化流的一般框架。应用于粒子系统/点云时,同时具备SE(3)和排列等变性。
  2. 等变哈密顿流
    Danilo Jimenez Rezende, Sébastien Racanière, Irina Higgins, Peter Toth NeurIPS 2019 ML4Phys研讨会 论文
    注:利用哈密顿动力学构建相空间中等变归一化流的一般框架。应用于SE(2)等变性。
  3. 使用SU(N)规范等变流进行采样
    Denis Boyda, Gurtej Kanwar, Sébastien Racanière, Danilo Jimenez Rezende, Michael S. Albergo, Kyle Cranmer, Daniel C. Hackett, Phiala E. Shanahan 论文
    注:用于格点规范场论的归一化流。应用于SU(2)/SU(3)等变性。
  4. 用于集合建模的交换神经ODE
    Yang Li, Haidong Yi, Christopher M. Bender, Siyuan Shan, Junier B. Oliva NeurIPS 2020 论文
    注:用于集合数据的排列等变流框架。应用于排列等变性。
  5. 用于点过程和集合的等变归一化流
    Marin Biloš, Stephan Günnemann NeurIPS 2020 论文
    注:用于集合数据的排列等变流框架。应用于排列等变性。
  6. 卷积指数与广义Sylvester流
    Emiel Hoogeboom, Victor Garcia Satorras, Jakub M. Tomczak, Max Welling NeurIPS 2020 论文
    注:可逆卷积算子。应用于排列等变性。
  7. 通过学习映射进行目标自由能估计
    Peter Wirnsberger, Andrew J. Ballard, George Papamakarios, Stuart Abercrombie, Sébastien Racanière, Alexander Pritzel, Danilo Jimenez Rezende, Charles Blundell J Chem Phys. 2020 Oct 14;153(14):144112. 论文
    注:用于环面上粒子系统的归一化流。应用于排列等变性。
  8. 温度可控流
    Manuel Dibak, Leon Klein, Frank Noé NeurIPS 2020 ML4Phys研讨会 论文
    注:相空间中的归一化流,对温度变化具有等变性。
  9. 等变流形流
    Isay Katsman, Aaron Lou, Derek Lim, Qingxuan Jiang, Ser-Nam Lim, Christopher De Sa NeurIPS 2021 论文 注:允许在任意黎曼流形上学习的归一化流,能够适应任意对称性(即等距子群作用不变性)。

应用

  1. 使用等变连续卷积进行轨迹预测
    Robin Walters、Jinxi Li、Rose Yu ICLR 2021 论文
  2. 用于数据高效且精确的原子间势的SE(3)等变图神经网络
    Simon Batzner、Tess E. Smidt、Lixin Sun、Jonathan P. Mailoa、Mordechai Kornbluth、Nicola Molinari、Boris Kozinsky 论文
  3. 利用欧几里得神经网络寻找对称性破缺序参量
    Tess E. Smidt、Mario Geiger、Benjamin Kurt Miller 论文
  4. 群等变生成对抗网络
    Neel Dey、Antong Chen、Soheil Ghafurian ICLR 2021 论文
  5. 用深度神经网络从头计算求解多电子薛定谔方程
    David Pfau、James S. Spencer、Alexander G. de G. Matthews、W. M. C. Foulkes 论文
  6. 面向3D分子设计的对称性感知演员-评论家方法
    Gregor N. C. Simm、Robert Pinsler、Gábor Csányi、José Miguel Hernández-Lobato ICLR 2021 论文
  7. 旋转变换等变卷积网络:在组织病理学图像分析中的应用
    Maxime W. Lafarge、Erik J. Bekkers、Josien P.W. Pluim、Remco Duits、Mitko Veta MedIA 论文
  8. 尺度等变性提升孪生跟踪性能
    Ivan Sosnovik*、Artem Moskalev*、Arnold Smeulders WACV 2021 论文
  9. 用于肺结节检测的3D G-CNN
    Marysia Winkels、Taco S. Cohen 论文
    国际深度学习医学影像会议(MIDL),2018年。
  10. 用于医学图像分析的旋转变换协变卷积网络
    Erik J. Bekkers、Maxime W. Lafarge、Mitko Veta、Koen A.J. Eppenhof、Josien P.W. Pluim、Remco Duits MICCAI 2018 年青年科学家奖 论文
  11. 等变球面反卷积:从球面数据中学习稀疏的方向分布函数
    Axel Elaldi*、Neel Dey*、Heejong Kim、Guido Gerig,医学影像信息处理会议(IPMI)2021 论文
  12. 用于扩散磁共振成像的旋转等变深度学习
    Philip Müller、Vladimir Golkov、Valentina Tomassini、Daniel Cremers 论文
  13. 数字岩石物理学中的等变几何学习:基于莫尔斯图估计地层因子和有效渗透率张量
    Chen Cai、Nikolaos Vlassis、Lucas Magee、Ran Ma、Zeyu Xiong、Bahador Bahmani、Teng-Fong Wong、Yusu Wang、WaiChing Sun 论文
    注:等变网络结合莫尔斯图用于渗透率张量预测
  14. 用欧几里得神经网络直接预测声子态密度
    Zhantao Chen、Nina Andrejevic、Tess Smidt、Zhiwei Ding、Yen-Ting Chi、Quynh T. Nguyen、Ahmet Alatas、Jing Kong、Mingda Li,《先进科学》(2021)论文 arXiv
  15. SE(3)等变预测分子波函数和电子密度
    Oliver T. Unke、Mihail Bogojeski、Michael Gastegger、Mario Geiger、Tess Smidt、Klaus-Robert Müller 论文
  16. 独立的SE(3)等变模型用于端到端刚性蛋白质对接
    Octavian-Eugen Ganea、Xinyuan Huang、Charlotte Bunne、Yatao Bian、Regina Barzilay、Tommi Jaakkola、Andreas Krause,正在审稿中,2022年 论文
  17. 用于相互作用动力系统的旋转变换局部坐标系
    Miltiadis Kofinas、Naveen Shankar Nagaraja、Efstratios Gavves NeurIPS 2021 论文
  18. MACE:高阶等变消息传递神经网络,用于快速准确的力场计算
    Ilyes Batatia、Dávid Péter Kovács、Gregor N. C. Simm、Christoph Ortner、Gábor Csányi,正在审稿中,2022年 论文代码
  19. 空间动作空间中的等变Q学习
    Dian Wang、Robin Walters、Xupeng Zhu、Robert Platt,CoRL 2021 论文
  20. SO(2)等变强化学习
    Dian Wang、Robin Walters、Robert Platt,ICLR 2022 论文
  21. 利用等变模型实现高效抓取学习
    Xupeng Zhu、Dian Wang、Ondrej Biza、Guanang Su、Robin Walters、Robert Platt,RSS 2022 论文
  22. 等变搬运网络
    Haojie Huang、Dian Wang、Robin Walters、Robert Platt,RSS 2022 论文
  23. 基于等变模型的机器人本体学习
    Dian Wang、Mingxi Jia、Xupeng Zhu、Robin Walters、Robert Platt,CoRL 2022 论文
  24. 边缘抓取网络:基于图的SE(3)不变抓取检测方法
    Haojie Huang、Dian Wang、Xupeng Zhu、Robin Walters、Robert Platt,正在审稿中 论文
  25. SEIL:仿真增强的等变模仿学习
    Mingxi Jia、Dian Wang、Guanang Su、David Klee、Xupeng Zhu、Robin Walters、Robert Platt,正在审稿中 论文
  26. 等变模型在具有隐式对称性的领域中的惊人有效性
    Dian Wang、Jung Yeon Park、Neel Sortur、Lawson L.S. Wong、Robin Walters、Robert Platt,正在审稿中 论文

排列等变性

关于这一主题的论文有很多。我只添加了其中很少的一部分。

  1. PointNet:用于3D分类与分割的点云深度学习
    Charles R. Qi、Hao Su、Kaichun Mo、Leonidas J. Guibas CVPR 2017 论文
  2. 深度集合
    Manzil Zaheer、Satwik Kottur、Siamak Ravanbakhsh、Barnabas Poczos、Ruslan Salakhutdinov、Alexander Smola NeurIPS 2017 论文
  3. 不变与等变图网络
    Haggai Maron、Heli Ben-Hamu、Nadav Shamir、Yaron Lipman ICLR 2019 论文
  4. 可证明强大的图网络
    Haggai Maron、Heli Ben-Hamu、Hadar Serviansky、Yaron Lipman NeurIPS 2019 论文
  5. 通用的不变与等变图神经网络
    Nicolas Keriven、Gabriel Peyré NeurIPS 2019 论文
  6. 关于对称元素集合的学习
    Haggai Maron、Or Litany、Gal Chechik、Ethan Fetaya ICML 2020最佳论文
  7. 关于不变网络的通用性
    Haggai Maron、Ethan Fetaya、Nimrod Segol、Yaron Lipman 论文
  8. Transformer可以推广DeepSets,并可扩展到图和超图 Jinwoo Kim、Saeyoon Oh、Seunghoon Hong 论文

讲座与教程

IAS:图网络:下一代——Max Welling - YouTube

Equivariance与数据增强研讨会:许多精彩的报告

IPAM:Tess Smidt:“用于模拟从头计算并生成原子…”的欧几里得神经网络 - YouTube

IPAM:E(3)等变神经网络教程

IPAM:Risi Kondor:“傅里叶空间神经网络”

NeurIPS 2020教程:等变网络

Yaron Lipman - 不规则与几何数据的深度学习 - YouTube

Math-ML:Erik J Bekkers:超越旋转平移的群等变CNN:李群上的B样条CNN

Kostas Daniilidis:几何感知深度学习:等变表示的历史简述及最新成果

Andrew White:分子与材料的深度学习

Erik Bekkers:群等变深度学习导论 阿姆斯特丹大学开设的课程

Michael M. Bronstein、Joan Bruna、Taco Cohen、Petar Veličković:几何深度学习课程

背景知识

我绝不是这个领域的专家。以下是Taco Cohen在被问及学习群论和表示论的相关参考时推荐的书籍和文章。

  1. Carter,《可视化的群论》
    注:非常基础的群论入门

  2. 《群等变神经网络的理论方面》
    Carlos Esteves
    注:以相当紧凑且易懂的方式涵盖了等变网络所需的所有数学知识。

  3. Serre,《有限群的线性表示》
    注:关于有限群表示的经典著作。前几章与等变网络相关。

  4. G B Folland,《抽象调和分析课程》
    注:涵盖局部紧群的表示;诱导表示。

  5. David Gurarie,《对称性与拉普拉斯算子:调和分析、群表示及应用导论》

  6. Mark Hamilton,《数学规范理论:附粒子物理标准模型的应用》
    注:涵盖纤维丛,有助于理解齐次G-CNN和规范CNN。

论文 / 学位论文

  1. Taco Cohen,《等变卷积网络》,阿姆斯特丹大学博士论文,2021年 [pdf](注:第二部分包含大量此前未发表的新内容)

  2. 通过空间自适应对齐扩展卷积
    Thomas W. Mitchel,约翰霍普金斯大学博士论文,2022年 pdf
    提出了一种新颖的统一理论框架,用于任意齐次空间和二维黎曼流形上的变换等变卷积。能够处理高维、非紧致的变换群。

待读

有许多论文我尚未仔细阅读。

  1. 使卷积网络再次具备平移不变性
    Richard Zhang ICML 2019 论文
  2. 概率对称性与不变神经网络
    Benjamin Bloem-Reddy、Yee Whye Teh JMLR 论文
  3. 关于表示(反)对称函数的研究
    Marcus Hutter 论文
  4. 基于偏微分方程的群等变卷积神经网络
    Bart M.N. Smets、Jim Portegies、Erik J. Bekkers、Remco Duits 论文

相似工具推荐

ML-For-Beginners

ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程,旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周,包含 26 节精炼课程和 52 道配套测验,内容涵盖从基础概念到实际应用的完整流程,有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。 无论是希望转型的开发者、需要补充算法背景的研究人员,还是对人工智能充满好奇的普通爱好者,都能从中受益。课程不仅提供了清晰的理论讲解,还强调动手实践,让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持,通过自动化机制提供了包括简体中文在内的 50 多种语言版本,极大地降低了全球不同背景用户的学习门槛。此外,项目采用开源协作模式,社区活跃且内容持续更新,确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路,ML-For-Beginners 将是理想的起点。

85.1k|★★☆☆☆|3天前
图像数据工具视频

funNLP

funNLP 是一个专为中文自然语言处理(NLP)打造的超级资源库,被誉为"NLP 民工的乐园”。它并非单一的软件工具,而是一个汇集了海量开源项目、数据集、预训练模型和实用代码的综合性平台。 面对中文 NLP 领域资源分散、入门门槛高以及特定场景数据匮乏的痛点,funNLP 提供了“一站式”解决方案。这里不仅涵盖了分词、命名实体识别、情感分析、文本摘要等基础任务的标准工具,还独特地收录了丰富的垂直领域资源,如法律、医疗、金融行业的专用词库与数据集,甚至包含古诗词生成、歌词创作等趣味应用。其核心亮点在于极高的全面性与实用性,从基础的字典词典到前沿的 BERT、GPT-2 模型代码,再到高质量的标注数据和竞赛方案,应有尽有。 无论是刚刚踏入 NLP 领域的学生、需要快速验证想法的算法工程师,还是从事人工智能研究的学者,都能在这里找到急需的“武器弹药”。对于开发者而言,它能大幅减少寻找数据和复现模型的时间;对于研究者,它提供了丰富的基准测试资源和前沿技术参考。funNLP 以开放共享的精神,极大地降低了中文自然语言处理的开发与研究成本,是中文 AI 社区不可或缺的宝藏仓库。

79.9k|★☆☆☆☆|5天前
语言模型数据工具其他

cs-video-courses

cs-video-courses 是一个精心整理的计算机科学视频课程清单,旨在为自学者提供系统化的学习路径。它汇集了全球知名高校(如加州大学伯克利分校、新南威尔士大学等)的完整课程录像,涵盖从编程基础、数据结构与算法,到操作系统、分布式系统、数据库等核心领域,并深入延伸至人工智能、机器学习、量子计算及区块链等前沿方向。 面对网络上零散且质量参差不齐的教学资源,cs-video-courses 解决了学习者难以找到成体系、高难度大学级别课程的痛点。该项目严格筛选内容,仅收录真正的大学层级课程,排除了碎片化的简短教程或商业广告,确保用户能接触到严谨的学术内容。 这份清单特别适合希望夯实计算机基础的开发者、需要补充特定领域知识的研究人员,以及渴望像在校生一样系统学习计算机科学的自学者。其独特的技术亮点在于分类极其详尽,不仅包含传统的软件工程与网络安全,还细分了生成式 AI、大语言模型、计算生物学等新兴学科,并直接链接至官方视频播放列表,让用户能一站式获取高质量的教育资源,免费享受世界顶尖大学的课堂体验。

79.8k|★☆☆☆☆|5天前
其他图像数据工具

ragflow

RAGFlow 是一款领先的开源检索增强生成(RAG)引擎,旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体(Agent)能力相结合,不仅支持从各类文档中高效提取知识,还能让模型基于这些知识进行逻辑推理和任务执行。 在大模型应用中,幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构(如表格、图表及混合排版),显著提升了信息检索的准确度,从而有效减少模型“胡编乱造”的现象,确保回答既有据可依又具备时效性。其内置的智能体机制更进一步,使系统不仅能回答问题,还能自主规划步骤解决复杂问题。 这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统,还是致力于探索大模型在垂直领域落地的创新者,都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口,既降低了非算法背景用户的上手门槛,也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目,它正成为连接通用大模型与行业专有知识之间的重要桥梁。

77.1k|★★★☆☆|1周前
Agent图像开发框架

PaddleOCR

PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来,转换成计算机可读取的结构化数据,让机器真正“看懂”图文内容。 面对海量纸质或电子文档,PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域,它扮演着连接图像与大型语言模型(LLM)的桥梁角色,能将视觉信息直接转化为文本输入,助力智能问答、文档分析等应用场景落地。 PaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显:不仅支持全球 100 多种语言的识别,还能在 Windows、Linux、macOS 等多个系统上运行,并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目,PaddleOCR 既能满足快速集成的需求,也能支撑前沿的视觉语言研究,是处理文字识别任务的理想选择。

75.5k|★★★☆☆|今天
语言模型图像开发框架

awesome-machine-learning

awesome-machine-learning 是一份精心整理的机器学习资源清单,汇集了全球优秀的机器学习框架、库和软件工具。面对机器学习领域技术迭代快、资源分散且难以甄选的痛点,这份清单按编程语言(如 Python、C++、Go 等)和应用场景(如计算机视觉、自然语言处理、深度学习等)进行了系统化分类,帮助使用者快速定位高质量项目。 它特别适合开发者、数据科学家及研究人员使用。无论是初学者寻找入门库,还是资深工程师对比不同语言的技术选型,都能从中获得极具价值的参考。此外,清单还延伸提供了免费书籍、在线课程、行业会议、技术博客及线下聚会等丰富资源,构建了从学习到实践的全链路支持体系。 其独特亮点在于严格的维护标准:明确标记已停止维护或长期未更新的项目,确保推荐内容的时效性与可靠性。作为机器学习领域的“导航图”,awesome-machine-learning 以开源协作的方式持续更新,旨在降低技术探索门槛,让每一位从业者都能高效地站在巨人的肩膀上创新。

72.1k|★☆☆☆☆|1周前
开发框架其他