Awesome-Deep-Learning-Papers-for-Search-Recommendation-Advertising
Awesome-Deep-Learning-Papers-for-Search-Recommendation-Advertising 是一份专为工业界打造的深度学习论文精选清单,聚焦于搜索、推荐系统与广告领域的核心算法演进。它系统性地梳理了从基础嵌入(Embedding)到复杂排序(Ranking)、重排序(Re-ranking),乃至大语言模型(LLM)与强化学习等前沿方向的关键研究成果。
在海量数据场景下,如何高效提取特征、精准匹配用户意图并优化点击率(CTR)或转化率(CVR)是业界长期面临的挑战。这份资源通过分类整理经典与最新论文,帮助从业者快速定位技术脉络,避免在浩如烟海的文献中迷失方向。无论是重温 Word2vec、DeepWalk 等奠基之作,还是研究阿里巴巴、Pinterest 等大厂落地的 Billion-scale Embedding 与 PinSage 等实战方案,都能在此找到权威参考。
该资源特别适合从事算法研发的工程师、攻读相关方向的研究生以及希望深入了解推荐机制的技术决策者。其独特亮点在于不仅涵盖学术界顶会(如 KDD、NIPS、ICLR)的理论突破,更着重收录了具有大规模工业应用背景的实战论文,实现了理论与实践的紧密衔接。对于想要构建高效推荐系统或追踪行业技术风向的专业人士而言,这是一份极具价值的入门指南与进阶手册。
使用场景
某电商平台的推荐算法团队正面临用户点击率增长瓶颈,急需引入工业界验证过的深度学习模型来优化商品嵌入(Embedding)与匹配策略。
没有 Awesome-Deep-Learning-Papers-for-Search-Recommendation-Advertising 时
- 文献检索如大海捞针:工程师需手动在 arXiv、Google Scholar 等平台搜索"Graph Embedding"或"CTR Prediction",耗费数周才能拼凑出零散的论文列表,且难以区分学术理论与工业落地方案。
- 技术选型缺乏依据:面对 Word2vec、Node2vec、GCN 等众多模型,团队不清楚哪些是谷歌、阿里、Pinterest 等大厂在实际亿级数据场景中验证有效的,容易盲目尝试不成熟的算法。
- 知识体系碎片化:团队成员对从预排序到重排序的全链路技术认知不一,缺乏统一的参考标准,导致技术方案讨论时经常因信息不对称而陷入低效争论。
使用 Awesome-Deep-Learning-Papers-for-Search-Recommendation-Advertising 后
- 一站式获取工业级方案:团队直接查阅该清单中"00_Embedding"章节,迅速定位到阿里巴巴的 Billion-scale Commodity Embedding 和 Pinterest 的 PinSage 等经典论文,将调研周期从数周缩短至两天。
- 精准对标落地场景:通过清单中明确标注的厂商(如 Google、Alibaba)和应用场景(如电商推荐、社交网络),团队果断放弃纯学术模型,优先复现已在大规模生产中验证过的 GraphSAGE 和 GAT 算法。
- 构建系统化技术图谱:依托清单涵盖的嵌入、匹配、排序及强化学习等全链路分类,团队快速统一了技术视野,基于成熟的工业界演进路径制定了清晰的模型迭代路线图。
Awesome-Deep-Learning-Papers-for-Search-Recommendation-Advertising 将分散的顶会论文转化为结构化的工业实战指南,帮助算法团队大幅降低试错成本并加速核心指标提升。
运行环境要求

快速开始
面向工业界搜索、推荐和广告的优秀深度学习论文。这些论文主要关注嵌入、匹配、预排序、排序(CTR/CVR预测)、后排序、相关性、大语言模型、强化学习等领域。
00_嵌入
- 2013年(谷歌)(NIPS)[Word2vec] 单词与短语的分布式表示及其组合性
- 2014年(KDD)[DeepWalk] DeepWalk - 社交网络表示的在线学习
- 2015年(WWW)[LINE] LINE 大规模信息网络嵌入
- 2016年(KDD)[Node2vec] node2vec - 可扩展的网络特征学习
- 2017年(ICLR)[GCN] 图卷积网络的半监督分类
- 2017年(KDD)[Struc2vec] struc2vec - 从结构身份中学习节点表示
- 2017年(NIPS)[GraphSAGE] 大规模图上的归纳式表示学习
- 2018年(阿里巴巴)(KDD)*[阿里巴巴嵌入] 阿里巴巴电商推荐中的百亿级商品嵌入
- 2018年(ICLR)[GAT] 图注意力网络
- 2018年(Pinterest)(KDD)*[PinSage] 用于大规模推荐系统的图卷积神经网络
- 2018年(WSDM)[NetMF] 网络嵌入即矩阵分解 - 统一deepwalk、line、pte和node2vec
- 2019年(阿里巴巴)(KDD)*[GATNE] 带属性的多层异构网络表示学习
01_匹配
- 1994年(CSCW)[用户协同过滤] GroupLens - 面向Netnews协同过滤的开放架构
- 1998年(微软)协同过滤预测算法的实证分析
- 2003年(亚马逊)[物品协同过滤] Amazon.com推荐——基于物品的协同过滤
- 2009年(Computer)[矩阵分解] 推荐系统中的矩阵分解技术
- 2013年(微软)(CIKM)[DSSM] 使用点击数据学习用于网络搜索的深度结构化语义模型
- 2015年(KDD)[Sceptre] 推断可替代与互补产品的网络
- 2016年(谷歌)(RecSys)**[YouTube DNN] 用于YouTube推荐的深度神经网络
- 2018年(Airbnb)(KDD)*[Airbnb Embedding] 使用嵌入进行实时个性化:Airbnb搜索排序
- 2018年(阿里巴巴)(KDD)* [TDM] 学习用于推荐系统的树形深度模型
- 2018年(Pinterest)(KDD)*[PinSage] 用于大规模推荐系统的图卷积神经网络
- 2019年(阿里巴巴)(CIKM)**[MIND] 基于动态路由的多兴趣网络,用于天猫推荐
- 2019年(阿里巴巴)(CIKM)*[SDM] SDM——面向在线大规模推荐系统的序列式深度匹配模型
- 2019年(阿里巴巴)(NIPS)*[JTM] 推荐系统中基于树的索引与深度模型的联合优化
- 2019年(亚马逊)(KDD)语义产品搜索
- 2019年(百度)(KDD)*[MOBIUS] MOBIUS——迈向百度竞价排名中下一代查询与广告匹配
- 2019年(谷歌)(RecSys)**[双塔] 针对大型语料库物品推荐的采样偏差校正神经网络模型
- 2019年(谷歌)(WSDM)*[Top-K 离策略] 针对REINFORCE推荐系统的Top-K离策略校正
- 2019年(腾讯)(KDD)腾讯查询与文档理解中的以用户为中心的概念挖掘系统
- 2020年(阿里巴巴)(Arxiv)[SWING] 用于电子商务推荐的大规模商品图构建
- 2020年(阿里巴巴)(ICML)[OTM] 在束搜索下学习最优树模型
- 2020年(阿里巴巴)(KDD)*[ComiRec] 可控多兴趣框架用于推荐
- 2020年(Facebook)(KDD)**[Facebook搜索中的嵌入] Facebook搜索中的基于嵌入的召回
- 2020年(谷歌)(WWW)*[MNS] 混合负采样用于学习推荐中的双塔神经网络
- 2020年(京东)(CIKM)*[DecGCN] 用于推断可替代与互补商品的解耦图卷积网络
- 2020年(京东)(SIGIR)[DPSR] 向个性化与语义召回迈进——通过嵌入学习实现电商搜索的端到端解决方案
- 2020年(微软)(Arxiv)TwinBERT——将知识蒸馏至孪生结构的BERT模型,以实现高效检索
- 2021年(阿里巴巴)(KDD)* [MGDSPR] 淘宝搜索中的基于嵌入的商品召回
- 2021年(阿里巴巴)(SIGIR)* [PDN] 基于路径的深度网络,用于推荐中的候选商品匹配
- 2021年(亚马逊)(KDD)产品搜索中语义匹配的极端多标签学习
- 2021年(百度)(KDD)百度搜索中面向网络规模召回的预训练语言模型
- 2021年(字节跳动)(Arxiv)[DR] 深度召回——为大规模推荐学习可检索结构
- 2021年(美团)(DLP-KDD)[DAT] 用于在线大规模推荐的双重增强双塔模型
- 2022年(阿里巴巴)(CIKM)**[NANN] 大规模推荐中基于神经相似性度量的近似最近邻搜索
- 2022年(阿里巴巴)(CIKM)[CLE-QR] 淘宝搜索中的查询改写
- 2022年(阿里巴巴)**(CIKM)[MOPPR] 淘宝搜索中的多目标个性化商品召回
- 2024年(字节跳动)(KDD)[Trinity] Trinity——将多兴趣、长尾及长期兴趣融为一体
- 2024年(Meta)(Arxiv)** [GR] 行动胜于言语——用于生成式推荐的万亿参数序列转换器
- 2025年(字节跳动)(Arxiv)[LongRetriever] LongRetriever——迈向基于超长序列的推荐候选召回
- 2025年(字节跳动)(KDD)[VQ] 基于流式向量量化检索器的实时索引,用于大规模推荐
- 2025年(京东)(KDD)[UniERF] UniERF——面向电商搜索的统一嵌入式召回框架
- 2025年(Meta)(KDD)[MTMH] 提升召回还是相关性?推荐中基于多任务多头的物品间召回方法
- 2025年(Meta)[RADAR ] RADAR——通过延迟异步召回提升召回率
- 2025年(腾讯)(Arxiv)一种高效的GPU加速特征交互的嵌入式广告召回
近似最近邻搜索
- 2017 (Arxiv) (Meta) [FAISS] 基于GPU的十亿级相似度搜索
- 2020 (PAMI) [HNSW] 使用分层可导航小世界图的高效且鲁棒的近似最近邻搜索
- 2021 (TPAMI) [IVF-PQ] 用于最近邻搜索的产品量化
图神经网络
- 2017 (ICLR) [GCN] 基于图卷积网络的半监督分类
- 2018 (ICLR) [GAT] 图注意力网络
- 2018 (Pinterest) (KDD) [PinSage] 面向大规模推荐系统的图卷积神经网络
- 2019 (Alibaba) (KDD) [IntentGC] IntentGC——一种融合异构信息的可扩展图卷积框架,用于推荐
- 2019 (Alibaba) (KDD) [MEIRec] 基于元路径引导的异构图神经网络,用于意图推荐
- 2019 (Alibaba) (SIGIR) [GIN] 用于赞助搜索中点击率预测的图意图网络
- 2020 (Alibaba) (SIGIR) [ATBRG] ATBRG——一种自适应目标-行为关系图网络,用于有效推荐
LLM_匹配
- 2021年(百度)(KDD)用于百度搜索中Web规模检索的预训练语言模型
- 2023年(谷歌)(NIPS)[TIGER] 基于生成式检索的推荐系统
- 2024年(阿里巴巴)(WWW)[BEQUE] 淘宝搜索中基于大语言模型的长尾查询改写
- 2024年(快手)(Arxiv)[KuaiFormer] KuaiFormer - 快手基于Transformer的检索
- 2024年(Meta)(Arxiv)** [GR] 行动胜于言辞 - 用于生成式推荐的万亿参数序列转换器
- 2024年(Meta)(Arxiv)统一生成式与稠密检索用于序列推荐
- 2024年(小红书)(WWW)[NoteLLM] NoteLLM - 用于推荐的多模态大型表示模型
- 2025年(快手)(Arxiv)[OneRec] OneRec - 统一检索与排序,结合生成式推荐与偏好对齐
- 2025年(阿里巴巴)(Arxiv)[TBGRecall] TBGRecall - 面向电商推荐场景的生成式检索模型
- 2025年(腾讯)(Arxiv)[RARE] 基于大语言模型生成商业意图的实时广告检索,用于赞助搜索广告
- 2025年(百度)(Arxiv)[COBRA] 稀疏遇见稠密 - 结合级联稀疏-稠密表征的统一生成式推荐
- 2025年(谷歌)[PLUM] PLUM - 为工业规模生成式推荐适配预训练语言模型
- 2025年(京东)(Arxiv)[GRAM] 生成式检索与对齐模型 - 电商检索的新范式
- 2025年(快手)(AAAI)[Align3GR] Align3GR - 面向基于大语言模型的生成式推荐的统一多层级对齐
- 2025年(快手)(Arxiv)[LARM] LLM对齐直播推荐pdf
- 2025年(快手)(Arxiv)[LEARN] LEARN - 将大语言模型的知识适配到推荐系统中,以实现实际工业应用
- 2025年(Meta)(Arxiv)[DRAMA] DRAMA - 从大语言模型到小型稠密检索器的多样化增强
- 2025年(Meta)(Arxiv)[ROO] 仅针对请求的推荐系统优化
- 2025年(Pinterest)[PinRec] PinRec - 面向工业规模推荐系统的、基于结果条件的多令牌生成式检索
- 2025年(小红书)(KDD)[NoteLLM-2] NoteLLM-2 - 用于推荐的多模态大型表示模型
02_预排序
- 2020年(阿里巴巴)(DLP-KDD)[COLD] COLD - 迈向下一代预排序系统
- 2022年(华为)(SIGIR)[RankFlow] RankFlow - 将多阶段级联排序系统作为流进行联合优化
- 2022年(华为)(CIKM)[IntTower] IntTower - 预排序系统的下一代双塔模型
- 2023年(阿里巴巴)(CIKM)[COPR] COPR - 面向一致性的在线广告预排序
- 2023年(阿里巴巴)(KDD)[ASMOL] 重新思考大规模电商搜索系统中预排序的作用
- 2025年(腾讯)(Arxiv)[HIT] HIT模型 - 一种用于预排序系统的分层交互增强型双塔模型
03_排序
- 2014年(ADKDD)(Facebook)从Facebook广告点击率预测中获得的实践经验
- 2016年(Google)(DLRS)**[Wide & Deep] 面向推荐系统的宽深学习
- 2016年(Google)(RecSys)**[Youtube DNN] 面向YouTube推荐的深度神经网络
- 2018年(阿里巴巴)(KDD)**[DIN] 用于点击率预测的深度兴趣网络
- 2019年(阿里巴巴)(AAAI)**[DIEN] 用于点击率预测的深度兴趣演化网络
- 2019年(CIKM)** [AutoInt] AutoInt - 基于自注意力神经网络的自动特征交互学习
- 2019年(Facebook)(Arxiv)[DLRM] (Facebook)面向个性化和推荐系统的深度学习推荐模型,Facebook
- 2019年(Google)(Recsys)** [Youtube多任务] 推荐下一个要观看的视频——一个多任务排名系统
- 2020年(阿里巴巴)(Arxiv)** [SIM] 基于搜索的用户兴趣建模:利用终身序列行为数据进行点击率预测
- 2020年(阿里巴巴)(NIPS)使用极化正则化的神经元级结构化剪枝
- 2020年(京东)(CIKM)**[DMT] 面向大规模电商推荐系统的多目标排序的深度多面Transformer
- 2020年(腾讯)(Recsys)** [PLE] 渐进式分层提取(PLE)——一种用于个性化推荐的新型多任务学习(MTL)模型
- 2021年(阿里巴巴)(CIKM)* [ZEUS] 面向电商多场景排序的用户自发行为自监督学习
- 2021年(阿里巴巴)(CIKM)[STAR] 一模型服务所有——面向多领域点击率预测的星型拓扑自适应推荐器
- 2021年(谷歌)(WWW)* [DCN V2] DCN V2 — 改进的深度交叉网络及面向Web规模排序学习系统的实践启示
- 2022年(阿里巴巴)(Arxiv)** [ETA] 面向点击率预测的高效长序列用户数据建模
- 2022年(阿里巴巴)(WSDM)面向电商搜索点击率预测的用户情境化页面级反馈建模
- 2022年(Meta)** (Arxiv)DHEN — 用于大规模点击率预测的深度分层集成网络
- 2023年(阿里巴巴)(Arxiv)[ESLM] 全空间学习框架——在推荐系统全阶段实现无偏转化率预测
- 2023年(谷歌)(Arxiv)工厂车间——工业规模广告推荐模型的机器学习工程
- 2023年(谷歌)** (Arxiv)[Hiformer] Hiformer — 基于Transformer的异构特征交互学习,用于推荐系统
- 2023年(快手)(Arixiv)[TWIN] TWIN — 双阶段兴趣网络,用于快手点击率预测中的终身用户行为建模
- 2023年(快手)(KDD)[PEPNet] PEPNet — 参数与嵌入个性化网络,用于注入个性化先验信息
- 2024年(快手)(CIKM)[TWINv2] TWIN V2 — 扩展超长用户行为序列建模,以提升快手点击率预测能力
- 2024年(Meta)(Arxiv)** [GR] 行动胜于言语——用于生成式推荐的万亿参数序列转换器
- 2024年(Meta)** (PMLR)[Wukong] Wukong — 朝着大规模推荐的规模定律迈进
- 2025年(字节跳动)** (Arxiv)[LONGER] LONGER — 在工业级推荐系统中扩展长序列建模
- 2025年(字节跳动)** (Arxiv)[RankMixer] RankMixer — 在工业级推荐系统中扩展排名模型
- 2025年(字节跳动)** (Arxiv)[STCA] 让它更长,保持快速——在抖音上以十亿规模实现端到端1万序列建模
- 2026年(Meta)(KDD)[Lattice] Meta Lattice — 面向成本效益的工业规模广告推荐的模型空间重新设计
激活函数
校准
经典
DNN
延迟反馈问题
- 2008年(KDD)仅从正例和未标记数据中学习分类器
- 2014年(Criteo)(KDD)[DFM] 展示广告中的延迟反馈建模
- 2018年(Arxiv)[NoDeF] 用于转化率预测的非参数化延迟反馈模型
- 2019年(Twitter)(RecSys)在CTR预测中使用神经网络进行持续训练时处理延迟反馈的问题
- 2020年(AdKDD)基于负二项式回归的多转化延迟反馈模型
- 2020年(京东)(IJCAI)[TS-DL] 基于注意力机制的延迟反馈转化率预测模型,通过点击后校准实现
- 2020年(SIGIR)[DLA-DF] 针对延迟转化的双学习算法
- 2020年(WWW)[FSIW] 在延迟反馈下预测转化率时的反馈偏移修正
- 2021年(阿里巴巴)(AAAI)[ES-DFM] 通过经过时间采样捕捉转化率预测中的延迟反馈
- 2021年(阿里巴巴)(AAAI)[ESDF] 针对全空间转化率预测的延迟反馈建模
- 2021年(阿里巴巴)(Arxiv)[Defer] 真实负样本很重要——使用真实负样本进行持续训练以建模延迟反馈
- 2021年(谷歌)(Arxiv)在延迟反馈建模中处理每次点击的多次转化
- 2021年(腾讯)(SIGIR)针对具有延迟反馈的流式推荐的反事实奖励修正
- 2022年(阿里巴巴)(WWW)[DEFUSE] 通过标签修正实现延迟反馈建模的渐近无偏估计
蒸馏
- 2020年(阿里巴巴)(KDD)*[特权特征蒸馏] 淘宝推荐中的特权特征蒸馏
- 2024年(谷歌)面向谷歌规模推荐系统的自辅助蒸馏,用于高效样本学习
- 2025年(字节跳动)(KDD)[HA-PFD] 基于潜在对齐的硬度感知特权特征蒸馏,用于CVR预测
- 2025年(快手)[MIKD] 面向短视频推荐的互信息感知知识蒸馏
实验
特征交叉
- 2010年(ICDM)[FM] 因子分解机
- 2013年(谷歌)(KDD)[LR] 广告点击预测——来自一线的经验
- 2016年(Arxiv)[PNN] 基于产品的神经网络用于用户响应预测
- 2016年(Criteo)(Recsys)[FFM] 领域感知因子分解机用于CTR预测
- 2016年(ECIR)[FNN] 多领域分类数据上的深度学习——以用户响应预测为例
- 2016年(KDD)[Deepintent] Deepintent——利用循环神经网络为在线广告学习注意力机制
- 2016年(微软)(KDD)[Deep Crossing] Deep Crossing——无需人工设计组合特征的Web规模建模
- 2017年(谷歌)(ADKDD)[DCN] 深度与交叉网络用于广告点击预测
- 2017年(华为)(IJCAI)[DeepFM] DeepFM——基于因子分解机的神经网络用于CTR预测
- 2017年(IJCAI)[AFM] 注意力因子分解机——通过注意力网络学习特征交互权重
- 2017年(SIGIR)[NFM] 用于稀疏预测分析的神经因子分解机
- 2017年(WWW)[NCF] 神经协同过滤
- 2018年(谷歌)(WSDM)[Latent Cross] Latent Cross——在循环推荐系统中利用上下文信息
- 2018年(KDD)[xDeepFM] xDeepFM——结合显式和隐式特征交互用于推荐系统
- 2018年(TOIS)[PNN] 基于产品神经网络的多领域分类数据用户响应预测
- 2019年(CIKM)** [AutoInt] AutoInt——通过自注意力神经网络自动学习特征交互
- 2019年(华为)(WWW)[FGCNN] 卷积神经网络生成特征用于点击率预测
- 2019年(Sina)(Arxiv)[FAT-DeepFFM] FAT-DeepFFM——领域注意力深度领域感知因子分解机
- 2019年(腾讯)(AAAI)[IFM] 面向推荐系统的交互感知因子分解机
- 2020年(百度)(KDD)[CAN] 百度视频广告的组合注意力网络
- 2021年(谷歌)(NIPS)[MLP-Mixer] MLP-Mixer——一种全MLP架构用于视觉任务
- 2021年(谷歌)(WWW)* [DCN V2] DCN V2——改进的深度与交叉网络及Web规模排序学习系统的实践经验
- 2022年(阿里巴巴)(WSDM)* [CAN] CAN——用于点击率预测的特征协同作用网络
- 2022年(Meta)**(Arxiv)DHEN——用于大规模点击率预测的深度分层集成网络
- 2023年(CIKM)* [GDCN] 朝着更深层、更轻量且可解释的交叉网络发展,用于CTR预测
- 2023年(谷歌)**(Arxiv)[Hiformer] Hiformer——利用Transformer学习异构特征交互,用于推荐系统
- 2023年(Sina)(CIKM)[MemoNet] MemoNet——通过多哈希码本网络高效记忆所有交叉特征的表示,用于CTR预测
- 2024年(Meta)**(PMLR)[Wukong] Wukong——迈向大规模推荐的规模定律
- 2024年(LinkedIn)(KDD)[RDCN] LiRank——LinkedIn的工业级大规模排序模型
- 2025年(阿里巴巴)[HHFT] HHFT——面向推荐系统的分层异构特征Transformer
- 2025年(字节跳动)**(Arxiv)[Pyramid Mixer] Pyramid Mixer——用于序列推荐的多维度多周期兴趣建模
- 2025年(字节跳动)**(Arxiv)[RankMixer] RankMixer——在工业推荐系统中扩展排序模型
- 2025年(字节跳动)**(CIKM)[RankMixer] RankMixer——在工业推荐系统中扩展排序模型
- 2025年(Meta)(CIKM)[InterFormer] InterFormer——有效学习异构交互,用于点击率预测
- 2025年(腾讯)(Arxiv)[D-MoE] 通过去相关专家网络提升CTR预测
- 2025年(阿里巴巴)[FAT] 从规模化到结构化表达——重新思考用于CTR预测的Transformer
- 2025年(字节跳动)(Arxiv)[OneTrans] OneTrans——在工业推荐系统中用一个Transformer实现统一的特征交互与序列建模
- 2026年(字节跳动)(Arxiv)[MixFormer] MixFormer——在工业推荐系统中同时扩展密集型和序列型模型
- 2026年(字节跳动)(Arxiv)[TokenMixer-Large] TokenMixer-Large——在工业推荐系统中扩展大型排序模型
- 2026年(字节跳动)(Arxiv)[Zenith] Zenith——为十亿级直播推荐扩展排序模型
- 2026年(快手)(Arxiv)[UniMixer] UniMixer——用于推荐系统规模定律的统一架构
特征重要性
门控机制
- 2014年(TASLP)* [LHUC] 用于无监督声学模型自适应的隐藏单元贡献学习
- 2018年(CVPR)* [SENet] 激励挤压网络
- 2019年(新浪)(Recsys)[FiBiNET] FiBiNET - 结合特征重要性和双线性特征交互的点击率预估
- 2020年(新浪)(Arxiv)[GateNet] GateNet - 用于点击率预估的门控增强深度网络
- 2021年(新浪)(Arxiv)[ContextNet] ContextNet - 利用上下文信息精炼特征嵌入的点击率预估框架
- 2021年(新浪)(DLP-KDD)[MaskNet] MaskNet - 通过实例引导的掩码将逐特征乘法引入CTR排序模型
- 2023年(快手)(KDD)[PEPNet] PEPNet - 用于注入个性化先验信息的参数与嵌入个性化网络
- 2023年(新浪)(CIKM)[FiBiNet++] FiBiNet++ - 通过低秩特征交互层降低CTR预测模型规模
- 2025年(字节跳动)[ADS] 推荐系统中面向个性化序列建模的自适应域缩放
LLM_Ranking
- 2019 (CIKM) [AutoInt] AutoInt -Automatic Feature Interaction Learning via Self-Attentive Neural Networks
- 2020 (Arxiv) Scaling Laws for Neural Language Models
- 2021 (Baidu) (KDD) Pre-trained Language Model based Ranking in Baidu Search
- 2021 (Google) (Arxiv) [MLP-Mixer] MLP-Mixer - An all-MLP Architecture for Vision
- 2022 (Meta) ** (Arxiv) DHEN - A Deep and Hierarchical Ensemble Network for Large-Scale Click-Through Rate Prediction
- 2023 (Arxiv) [E4SRec] E4SRec - An Elegant Effective Efficient Extensible Solution of Large Language Models for Sequential Recommendation
- 2023 (Google) ** (Arxiv) [Hiformer] Hiformer - Heterogeneous Feature Interactions Learning with Transformers for Recommender Systems
- 2024 (Alibaba) (Arxiv) [BAHE] Breaking the Length Barrier - LLM-Enhanced CTR Prediction in Long Textual User Behaviors
- 2024 (Bytedance) (Arxiv) [HLLM] HLLM - Enhancing Sequential Recommendations via Hierarchical Large Language Models for Item and User Modeling
- 2024 (Google) (Arxiv) LLMs for User Interest Exploration in Large-scale Recommendation Systems
- 2024 (Google) (Arxiv) [CALRec] CALRec - Contrastive Alignment of Generative LLMs for Sequential Recommendation
- 2024 (Google) (ICLR) From Sparse to Soft Mixtures of Experts
- 2024 (Kuaishou) (Arxiv) [LEARN] LEARN - Knowledge Adaptation from Large Language Model to Recommendation for Practical Industrial Application
- 2024 (Kuaishou) (KDD) [NAR4Rec] Non-autoregressive Generative Models for Reranking Recommendation
- 2024 (Meituan) (Arxiv) [SRP4CTR] Enhancing CTR Prediction through Sequential Recommendation Pre-training - Introducing the SRP4CTR Framework
- 2024 (Meta) (Arxiv) ** [GR] Actions Speak Louder than Words - Trillion-Parameter Sequential Transducers for Generative Recommendations
- 2024 (Meta) (Arxiv) Unifying Generative and Dense Retrieval for Sequential Recommendation
- 2024 (Meta) (Arxiv) [SUM] Scaling User Modeling - Large-scale Online User Representations for Ads Personalization in Meta
- 2024 (Meta) ** (PMLR) [Wukong] Wukong - Towards a Scaling Law for Large-Scale Recommendation
- 2025 (Kuaishou) (Arxiv)[OneRec] OneRec - Unifying Retrieve and Rank with Generative Recommender and Preference Alignment
- 2025 (Alibaba) (Arxiv) Unlocking Scaling Law in Industrial Recommendation Systems with a Three-step Paradigm based Large User Model
- 2025 (Alibaba) (Arxiv) [HeterRec] Hierarchical Causal Transformer with Heterogeneous Information for Expandable Sequential Recommendation
- 2025 (Alibaba) (Arxiv) [LREA] Efficient Long Sequential Low-rank Adaptive Attention for Click-through rate Prediction
- 2025 (Alibaba) (Arxiv) [URM] Large Language Models Are Universal Recommendation Learners
- 2025 (Alibaba) (KDD) [GPSD] Scaling Transformers for Discriminative Recommendation via Generative Pretraining
- 2025 (Alibaba) (WWW) Explainable LLM-driven Multi-dimensional Distillation for E-Commerce Relevance Learning
- 2025 (Amazon) (Arxiv) SynerGen - Contextualized Generative Recommender for Unified Search and Recommendation
- 2025 (Arxiv) (Pinterest) [PinRec] PinRec - Outcome-Conditioned, Multi-Token Generative Retrieval for Industry-Scale Recommendation Systems
- 2025 (Arxiv) (Xiaohongshu) [GenRank] Towards Large-scale Generative Ranking
- 2025 (Baidu) (Arxiv) [COBRA] Sparse Meets Dense -Unified Generative Recommendations with Cascaded Sparse-Dense Representations
- 2025 (Bytedance) (Arxiv) [RankMixer] RankMixer - Scaling Up Ranking Models in Industrial Recommenders
- 2025 (Bytedance) ** (Arxiv) [LONGER] LONGER - Scaling Up Long Sequence Modeling in Industrial Recommenders
- 2025 (Bytedance) ** (CIKM) [RankMixer] RankMixer - Scaling Up Ranking Models in Industrial Recommenders
- 2025 (Google) (Arxiv) User Feedback Alignment for LLM-powered Exploration in Large-scale Recommendation Systems
- 2025 (Google) (Arxiv) [STAR] STAR - A Simple Training-free Approach for Recommendations using Large Language Models
- 2025 (Google) ** (Arxiv) [Hiformer] Hiformer - Heterogeneous Feature Interactions Learning with Transformers for Recommender Systems
- 2025 (Kuaishou) (Arxiv) [GenSAR] Unified Generative Search and Recommendation
- 2025 (Kuaishou) (Arxiv) [LARM] LLM-Alignment Live-Streaming Recommendationpdf
- 2025 (Kuaishou) (Arxiv) [LEARN] LEARN - Knowledge Adaptation from Large Language Model to Recommendation for Practical Industrial Application
- 2025 (Kuaishou) (Arxiv) [OneLoc] OneLoc - Geo-Aware Generative Recommender Systems for Local Life Service
- 2025 (Kuaishou) (Arxiv) [OneRec-V2] OneRec Technical Report v2
- 2025 (Kuaishou) (Arxiv) [OneRec] OneRec - Unifying Retrieve and Rank with Generative Recommender and Preference Alignment
- 2025 (Kuaishou) (Arxiv) [OneRec] OneRec Technical Report
- 2025 (Kuaishou) (Arxiv) [OneSearch] OneSearch - A Preliminary Exploration of the Unified End-to-End Generative Framework for E-commerce Search
- 2025 (Kuaishou) (Arxiv) [OneSug] OneSug - The Unified End-to-End Generative Framework for E-commerce Query Suggestion
- 2025 (Meituan) (Arxiv) [DFGR] Action is All You Need - Dual-Flow Generative Ranking Network for Recommendation
- 2025 (Meituan) (Arxiv) [MTGR] MTGR - Industrial-Scale Generative Recommendation Framework in Meituan
- 2025 (Meituan) (Arxiv) [UniROM] One Model to Rank Them All - Unifying Online Advertising with End-to-End Learning
- 2025 (Meta) (Arxiv) [HyperCast] Realizing Scaling Laws in Recommender Systems - A Foundation–Expert Paradigm for Hyperscale Model Deployment
- 2025 (Microsoft) (KDD)Towards Web-scale Recommendations with LLMs - From Quality-aware Ranking to Candidate Generation
- 2025 (Pinterest) (Arxiv) [PinFM] PinFM - Foundation Model for User Activity Sequences at a Billion-scale Visual Discovery Platform
- 2025 (Shopee) (Arxiv) OnePiece - Bringing Context Engineering and Reasoning to Industrial Cascade Ranking System
- 2025 (Tencent) (Arxiv) [GPR] GPR - Towards a Generative Pre-trained One-Model Paradigm for Large-Scale Advertising Recommendation
- 2025 (eBay) (Arxiv) LLMDistill4Ads - Using Cross-Encoders to Distill from LLM Signals for Advertiser Keyphrase Recommendations at eBay
- 2025 (Bytedance) (Arxiv) [OneTrans] OneTrans - Unified Feature Interaction and Sequence Modeling with One Transformer in Industrial Recommender
- 2025 (Bytedance) ** (Arxiv) [STCA] Make It Long, Keep It Fast - End-to-End 10k-Sequence Modeling at Billion Scale on Douyin
- 2026 (Alibaba) (Arxiv) [EST] EST - Towards Efficient Scaling Laws in Click-Through Rate Prediction via Unified Modeling
- 2026 (Alibaba) (Arxiv) [SORT] SORT - A Systematically Optimized Ranking Transformer for Industrial-scale Recommenders
- 2026 (Bytedance) (Arxiv) [HyFormer] HyFormer - Revisiting the Roles of Sequence Modeling and Feature Interaction in CTR Prediction
- 2026 (Bytedance) (Arxiv) [MixFormer] MixFormer - Co-Scaling Up Dense and Sequence in Industrial Recommenders
- 2026 (Bytedance) (Arxiv) [TokenMixer-Large] TokenMixer-Large - Scaling Up Large Ranking Models in Industrial Recommenders
- 2026 (Bytedance) (Arxiv) [UG-Sep] Compute Only Once - UG-Separation for Efficient Large Recommendation Models
- 2026 (Bytedance) (Arxiv) [Zenith] Zenith - Scaling up Ranking Models for Billion-scale Livestreaming Recommendation
- 2026 (Kuaishou) (Arxiv) [GR4AD] Generative Recommendation for Large-Scale Advertising
- 2026 (Meta) (Arxiv) [Kunlun] Kunlun - Establishing Scaling Laws for Massive-Scale Recommendation Systems through Unified Architecture Design
- 2026 (Meta) (Arxiv) [LLaTTE] LLaTTE - Scaling Laws for Multi-Stage Sequence Modeling in Large-Scale Ads Recommendation
- 2026 (Meta) (Arxiv) [ULTRA-HSTU] Bending the Scaling Law Curve in Large-Scale Recommendation Systems
- 2026 (Bytedance) (Arxiv) [MDL] MDL - A Unified Multi-Distribution Learner in Large-scale Industrial Recommendation through Tokenization
-
损失函数
- 2015年(Twitter)(KDD)Twitter时间线广告点击率预估
- 2022年(Google)(KDD)深度排序模型的规模校准
- 2023年(阿里巴巴)(KDD)基于上下文混合模型的排序与校准联合优化
- 2023年(Google)(CIKM)面向二值相关性的校准排序的回归兼容列表级目标函数
- 2024年(腾讯)(KDD)理解稀疏用户反馈下的推荐排序损失
多模态
- 2018年(阿里巴巴)(CIKM)[图片CTR] 图片很重要——利用先进模型服务器对用户行为进行视觉建模
- 2024年(阿里巴巴)(CIKM)利用多模态表示增强淘宝展示广告——挑战、方法与洞察
- 2026年(阿里巴巴)(WSDM)[MOON] MOON——基于生成式多模态大语言模型的多模态表征学习,用于电商商品理解
多领域-多场景
- 2014年(TASLP) * [LHUC] 用于无监督声学模型自适应的隐藏单元贡献学习
- 2015年(微软)(WWW)推荐系统中跨域用户建模的多视图深度学习方法
- 2018年(谷歌)(KDD) ** [MMoE] 基于多门控专家混合的多任务学习中任务关系建模
- 2019年(阿里巴巴)(CIKM) [WE-CAN] 带有Wasserstein正则项的跨域注意力网络用于电商搜索
- 2020年(阿里巴巴)(Arxiv) [SAML] 面向电商多场景推荐的情境感知与互惠驱动方法
- 2020年(阿里巴巴)(CIKM) [HMoE] 通过利用标签空间中的任务关系提升电商多场景排序学习
- 2020年(阿里巴巴)(CIKM) [MiNet] MiNet - 用于跨域点击率预估的混合兴趣网络
- 2020年(腾讯)(Recsys) ** [PLE] 渐进式分层提取(PLE)——一种用于个性化推荐的新型多任务学习(MTL)模型
- 2021年(阿里巴巴)(CIKM) * [ZEUS] 针对电商多场景排序的用户自发行为自监督学习
- 2021年(阿里巴巴)(CIKM) ** [STAR] 一模型通天下——面向多域点击率预估的星型拓扑自适应推荐系统
- 2021年(谷歌)(ICLR) 超网格Transformer——迈向多任务单一模型
- 2021年(快手)(Arxiv) [POSO] POSO——大规模推荐系统中的个性化冷启动模块
- 2022年(阿里巴巴)(CIKM) AdaSparse——面向多域点击率预估的自适应稀疏结构学习
- 2022年(阿里巴巴)(NIPS) ** [APG] APG——用于点击率预估的自适应参数生成网络
- 2023年(阿里巴巴)(CIKM) [HC2] 用于多场景广告排序的混合对比约束
- 2023年(阿里巴巴)(CIKM) [MMN] 掩码多域网络——单模型实现多类型、多场景转化率预测
- 2023年(阿里巴巴)(CIKM) [Rec4Ad] Rec4Ad——淘宝广告点击率预估中缓解样本选择偏倚的免费午餐
- 2023年(阿里巴巴)(SIGIR) [MARIA] 基于自适应特征学习的多场景排序
- 2023年(CIKM) [HAMUR] HAMUR——多域推荐的超适配器
- 2023年(华为)(CIKM) [DFFM] DFFM——面向点击率预估的领域促进特征建模
- 2023年(快手)(KDD) * [PEPNet] PEPNet——用于注入个性化先验信息的参数与嵌入个性化网络
- 2023年(腾讯)(KDD) 场景适应性特征交互用于点击率预估
- 2024年(阿里巴巴)(CIKM) * [MultiLoRA] MultiLoRA——面向多域推荐的多方向低秩适配
- 2024年(阿里巴巴)(RecSys) * [MLoRA] MLoRA——用于点击率预估的多域低秩适应网络
- 2024年(快手)(SIGIR) [M3oE] M3oE——多域多任务专家混合推荐框架
- 2024年(腾讯)(KDD) [LCN] 面向在线点击率预估的跨域终身序列建模
- 2024年(WSDM) 探索基于适配器的迁移学习在推荐系统中的应用——实证研究与实践启示
- 2025年(快手)(KDD) [HoME] HoME——快手多任务学习中的多门控专家层级
多任务
- (2018) (ICML) GradNorm - 用于深度多任务网络中自适应损失平衡的梯度归一化
- 2014 (TASLP) [LHUC] 用于无监督声学模型自适应的隐藏单元贡献学习
- 2017 (Google) (ICLR) [Sparsely-Gated MOE] 极大规模神经网络——稀疏门控专家混合层
- 2018 (Alibaba) (KDD) [DUPN] 深度感知用户——从多个电商任务中学习通用用户表示
- 2018 (Alibaba) (SIGIR) [ESMM] 全空间多任务模型——一种有效估计点击后转化率的方法
- 2018 (CVPR) 利用不确定性权衡场景几何与语义的多任务学习
- 2018 (Google) (KDD) ** [MMoE] 基于多门控专家混合体的多任务学习中任务关系建模
- 2019 (Alibaba) (CIKM) 基于多任务的在线促销销量预测
- 2019 (Alibaba) (Recys) 一种在电商推荐中进行多目标优化的帕累托高效算法
- 2019 (Google) (AAAI) SNR子网络路由:用于多任务学习中的灵活参数共享
- 2019 (Google) (Recsys) ** [Youtube多任务] 推荐下一个观看的视频——一个多任务排序系统
- 2019 (NIPS) 帕累托多任务学习
- 2020 (Alibaba) (SIGIR) [ESM2] 通过点击后行为分解进行全空间多任务建模,以预测转化率
- 2020 (Alibaba) (WWW) 大规模因果方法:利用多任务学习去偏点击后转化率估计
- 2020 (Amazon) (WWW) 使用随机标签聚合的产品搜索多目标排序优化
- 2020 (Google) (KDD) [MoSE] 针对用户活动流的多任务序列专家混合体
- 2020 (JD) (CIKM) *[DMT] 用于大规模电商推荐系统中多目标排序的深层多面Transformer
- 2020 (腾讯) (Recsys) ** [PLE] 渐进式分层提取(PLE)——一种用于个性化推荐的新型多任务学习(MTL)模型
- 2021 (Alibaba) (SIGIR) [HM3] 通过多任务学习分层建模微观和宏观行为,以预测转化率
- 2021 (Alibaba) (SIGIR) [MSSM] MSSM——一种高效的多任务学习多层次稀疏共享模型
- 2021 (百度) (SIGIR) [GemNN] GemNN——带有特征交互学习的门控增强型多任务神经网络,用于CTR预测
- 2021 (Google) (Arxiv) [DSelect-k] 专家混合体中的可微选择及其在多任务学习中的应用
- 2021 (Google) (KDD) 理解并改进多任务学习中的公平性与准确性权衡
- 2021 (JD) (ICDE) 带有类别层次软约束的对抗性专家混合体
- 2021 (美团) (KDD) 在定向展示广告中,利用多任务学习建模受众多步转化之间的顺序依赖关系
- 2021 (腾讯) (Arxiv) 用于多目标用户画像建模的虚拟内核专家混合体
- 2021 (腾讯) (WWW) 个性化近似帕累托有效的推荐
- 2022 (Google) (WWW) 小头部能有所帮助吗?理解并改进多任务泛化能力
- 2023 (Airbnb) (KDD) 利用多任务学习优化Airbnb搜索旅程
- 2023 (Alibaba) (CIKM) [DTRN] 用于多任务推荐的深度任务特定底层表示网络
- 2023 (Google) (CIKM) 面向沉浸式信息流且无需再点击的多任务排序系统——短视频推荐案例研究
- 2023 (Google) (KDD) 改善推荐系统中多任务排序模型的训练稳定性
- 2023 (Meta) (KDD) AdaTT——用于推荐领域多任务学习的自适应任务间融合网络
- 2024 (Airbnb) (KDD) 通过模型蒸馏进行多目标排序学习
- 2024 (快手) (KDD) [GradCraft] GradCraft——通过整体梯度设计提升多任务推荐
- 2024 (快手) [HoME] HoME——快手多任务学习中的多门专家层级结构
- 2024 (Shopee) (KDD) [ResFlow] 用于应用排序的残差多任务学习者
- 2024 (腾讯) (KDD) [STEM] 广告推荐在崩塌且纠缠的世界中
- 2025 (百度) (KDD) [RankExpert] RankExpert——一种文本与行为专家混合体,用于网络搜索中的多目标排序学习
- 2025 (字节跳动) (CIKM) [PMTA] PMTA——感知驱动的多任务Transformer网络,用于个性化的多领域适配
- 2025 (阿里巴巴) (CIKM) [MAL] 看得更远——多归因学习带来更好的转化率预测
参数服务器
- 2014年(百度)(OSDI)利用参数服务器扩展分布式机器学习
- 2019年(阿里巴巴)(DLP-KDD)[XDL] XDL——面向高维稀疏数据的工业级深度学习框架
- 2020年(字节跳动)(OSDI)[BytePS] 一种用于加速异构GPU-CPU集群中分布式DNN训练的统一架构
- 2022年(快手)(KDD)[Persia] Persia——一个开放的混合系统,可将基于深度学习的推荐系统扩展至100万亿参数
预训练
- 2019年(阿里巴巴)(IJCAI)[DeepMCP] 基于表示学习的点击率预估
- 2019年(SIGIR)[BERT4Rec] (阿里巴巴)(SIGIR2019)BERT4Rec——基于Transformer双向编码器表示的序列化推荐
序列建模
- 2016年(谷歌)(RecSys)**[YouTube DNN] 用于YouTube推荐的深度神经网络
- 2017年(谷歌)(NIPS)**注意力就是一切
- 2018年(阿里巴巴)(KDD)**[DIN] 用于点击率预估的深度兴趣网络
- 2018年(阿里巴巴)(KDD)[DUPN] 深度感知用户——从多个电商任务中学习通用用户表示
- 2019年(阿里巴巴)(AAAI)**[DIEN] 用于点击率预估的深度兴趣演化网络
- 2019年(阿里巴巴)(IJCAI)[DSIN] 用于点击率预估的深度会话兴趣网络
- 2019年(阿里巴巴)(KDD)[BST] 阿里巴巴电商推荐中的行为序列Transformer
- 2019年(阿里巴巴)(KDD)[DSTN] 用于点击率预估的深度时空神经网络
- 2019年(阿里巴巴)(WWW)[TiSSA] TiSSA——一种基于时间切片自注意力的序列用户行为建模方法
- 2019年(腾讯)(KDD)[RALM] 面向推荐系统的实时注意力相似模型
- 2020年(阿里巴巴)(SIGIR)[DHAN] 用于点击率预估的层次化注意力深度兴趣网络
- 2020年(谷歌)(KDD)[Google Drive] 提升Google Drive中的推荐质量
- 2020年(京东)(CIKM)**[DMT] 用于大规模电商推荐系统多目标排序的深度多面Transformer
- 2020年(京东)(NIPS)[KFAtt] 用于CTR预估中用户行为建模的卡尔曼滤波注意力机制
- 2020年(京东)(WSDM)[HUP] 用于电商推荐系统的层次化用户画像
- 2022年(阿里巴巴)(WSDM)[RACP] 用于电商搜索中点击率预估的用户情境化页面级反馈建模
- 2022年(京东)(WWW)通过候选商品进行隐式用户感知建模以用于搜索广告的CTR预估
- 2022年(WWW)[FMLP] 对于序列推荐,只需增强型MLP即可
- 2023年(京东)(CIKM)[IUI] IUI——用于点击率预估的意图增强型用户兴趣建模
- 2023年(美团)(CIKM)[DCIN] 用于点击率预估的深度上下文兴趣网络
- 2023年(Pinterest)(KDD)TransAct——基于Transformer的Pinterest实时用户行为推荐模型
- 2025年(快手)(SIGIR)[FIM] FIM——面向本地生活服务推荐的频率感知多视角兴趣建模
序列建模-长期
- 2019年(阿里巴巴)(KDD)[MIMN] 用于点击率预估的长序列用户行为建模实践
- 2019年(谷歌)(WWW)面向长时序依赖用户序列的神经混合推荐系统
- 2020年(阿里巴巴)(Arxiv)** [SIM] 基于搜索的用户兴趣建模:利用终身序列行为数据进行点击率预估
- 2020年(ICLR)Reformer - 高效的Transformer
- 2020年(SIGIR)[UBR4CTR] 用于点击率预估的用户行为检索
- 2021年(阿里巴巴)(Arxiv)[ETA] 点击率预估模型中的端到端用户行为检索
- 2022年(阿里巴巴)(Arxiv)** [ETA] 用于点击率预估的高效长序列用户数据建模
- 2022年(美团)(CIKM)[SDIM] 对于CTR预估中长期用户行为建模,采样就够了
- 2023年(快手)(Arixiv)[TWIN] TWIN - 双阶段兴趣网络:用于快手CTR预估中的终身用户行为建模
- 2023年(快手)(CIKM)[QIN] 面向大规模搜索排序的查询主导型用户兴趣网络
- 2024年(快手)(CIKM)[TWINv2] TWIN V2 - 扩展超长用户行为序列建模,以提升快手的点击率预估能力
- 2024年(腾讯)(KDD)[LCN] 面向在线点击率预估的跨领域终身序列建模
- 2025年(阿里巴巴)(Arxiv)[MUSE] MUSE - 一个简单而高效的多模态搜索框架,用于终身用户兴趣建模
- 2025年(字节跳动)**(Arxiv)[LONGER] LONGER - 扩大工业级推荐系统中的长序列建模规模
- 2025年(快手)(KDD)[HiT-LBM] 基于层次树搜索的用户终身行为建模,应用于大型语言模型
- 2025年(Meta)(Arxiv)[VISTA] 具有数百万亿参数的大规模记忆功能,适用于序列转换器生成式推荐系统
- 2025年(Meta)(KDD)DV365 - 在Instagram上进行极长用户历史建模
- 2025年(Pinterest)(Arxiv)[TransActV2] TransAct V2 - Pinterest推荐系统中的终身用户行为序列建模
- 2025年(字节跳动)**(Arxiv)[STCA] 要做就做长、要快就保持快 - 在抖音上实现百亿规模下的端到端1万序列建模
迁移学习
- 2014年(谷歌)(NIPS)[知识蒸馏] 蒸馏神经网络中的知识
- 2015年(ICLR)[Fitnets] Fitnets - 精简深度网络的提示
- 2018年(阿里巴巴)(AAAI)[Rocket] 火箭发射 - 一种通用且高效的框架,用于训练性能优异的轻量级网络
- 2018年(KDD)[排序蒸馏] 排序蒸馏 - 学习适用于推荐系统的高性能紧凑型排序模型
-
-
触发机制
04_排序后处理
- 1998年(SIGIR)** [MRR] 基于多样性的MMR重排序在文档重新排序与摘要生成中的应用
- 2005年(WWW)通过主题多样化改进推荐列表
- 2008年(SIGIR)[α-NDCG] 信息检索评价中的新颖性与多样性
- 2009年(微软)(WSDM)搜索结果的多样化
- 2010年(WWW)利用查询改写实现网页搜索结果的多样化
- 2016年(亚马逊)(RecSys)面向视觉发现的自适应个性化多样性
- 2017年(Hulu)(NIPS)[DPP] 快速贪婪MAP推断用于行列式点过程以提升推荐多样性
- 2018年(阿里巴巴)(IJCAI)[阿里巴巴GMV] 电商搜索中全局优化的相互影响感知排序
- 2018年(谷歌)(CIKM)[DPP] 使用行列式点过程在YouTube上实现实用的多样化推荐
- 2018年(SIGIR)[DLCM] 学习深度列表上下文模型以优化排序
- 2019年(阿里巴巴)(WWW)[基于价值的强化学习] 基于强化学习利润最大化的价值感知推荐
- 2019年(阿里巴巴)(KDD)[GAttN] 通过最大团优化实现Exact-K推荐
- 2019年(阿里巴巴)(RecSys)** [PRM] 推荐系统的个性化重排序
- 2019年(谷歌)(Arxiv)基于Slate的推荐系统强化学习——一种可处理的分解及实用方法
- 2019年(谷歌)(Arxiv)Seq2slate——使用RNN进行重排序与排版优化
- 2019年(谷歌)(IJCAI)[SlateQ] SLATEQ——一种针对推荐集合强化学习的可处理分解
- 2020年(Airbnb)(KDD)管理Airbnb搜索中的多样性
- 2020年(阿里巴巴)(CIKM)[EdgeRec] EdgeRec——手机淘宝端边缘计算推荐系统
- 2020年(华为)(Arxiv)个性化重排序以提升实时推荐系统的多样性
- 2021年(阿里巴巴)(Arxiv)** [PRS] 从排列视角重审推荐系统
- 2021年(谷歌)(WSDM)用户响应模型以改进REINFORCE推荐系统
- 2021年(微软)随时随地的多样性!在最大诱导基数目标下的流式行列式点过程
- 2023年(亚马逊)(KDD)RankFormer——使用列表级标签的列表式学习排序
- 2023年(美团)(KDD)PIER——基于排列级别的兴趣端到端电商重排序框架
- 2024年(快手)(KDD)[NAR4Rec] 非自回归生成模型用于推荐重排序
- 2025年(阿里巴巴)(SIGIR)[SORT-Gen] 针对淘宝列表级多目标优化的生成式重排序模型
Seq2Slate
- 2015年(Google)(Arxiv) 大型离散动作空间中的深度强化学习
- 2015年(Google)(Arxiv) 带注意力机制的深度强化学习在高维状态与动作的Slate马尔可夫决策过程中的应用
- 2017年(KDD)[DCM] 使用指针网络的深度选择模型用于航空公司行程预测
- 2018年(Microsoft)(EMNLP)[RL4NMT] 针对神经机器翻译的强化学习研究
- 2019年(Google)(Arxiv)Seq2slate——利用RNN进行重排序与展示列表优化
05_相关性排序
- 2013年(微软)(CIKM)[DSSM] 利用点击数据学习用于网络搜索的深度结构化语义模型
- 2016年(雅虎)(KDD)雅虎搜索中的相关性排序
- 2020年(ICLR)[StructBERT] StructBERT - 将语言结构融入预训练以实现深度语言理解
- 2021年(阿里巴巴)(WWW)[MASM] 从电商点击数据中学习商品相关性模型
- 2022年(阿里巴巴)(KDD)[ReprBERT] ReprBERT - 将BERT蒸馏为高效的基于表示的相关性模型,用于电子商务
- 2023年(美团)(CIKM)[SPM] SPM - 面向美团搜索相关性建模的结构化预训练与匹配架构
- 2024年(阿里巴巴)(KDD)[DeepBoW] 深度词袋模型 - 一种高效且可解释的中文电商相关性架构
- 2024年(沃尔玛)(SIGIR)用于商品搜索相关性判断的大语言模型
- 2025年(阿里巴巴)(Arxiv)LORE - 用于搜索相关性的大型生成模型
- 2025年(阿里巴巴)(WWW)[ELLM] 可解释的LLM驱动多维蒸馏在电商相关性学习中的应用
- 2025年(快手)(Arxiv)[HCMRM] HCMRM - 用于搜索广告的高一致性多模态相关性模型
- 2025年(LinkedIn)(Arxiv)大规模求职搜索的动力 - 职位匹配系统中增强型LLM查询理解
- 2025年(阿里巴巴)(Arxiv)TaoSR1 - 电商相关性搜索的思维模型
- 2025年(腾讯)(KDD)[GenFR] 在腾讯中应用大语言模型进行相关性搜索
06_LLM
01_LLM_经典
- 2013年(谷歌)(NIPS)[Word2vec] 单词和短语的分布式表示及其组合性
- 2014年(谷歌)(NIPS)[Seq2Seq] 基于神经网络的序列到序列学习
- 2017年(谷歌)(NIPS)[Transformer] “注意力就是你所需要的”
- 2017年(OpenAI)(NIPS)[RLHF] 基于人类偏好的深度强化学习
- 2018年(OpenAI)(Arxiv)[GPT-1] 通过生成式预训练提升语言理解能力
- 2019年(谷歌)(NAACL)[Bert] BERT——面向语言理解的深度双向Transformer预训练
- 2019年(OpenAI)(Arxiv)[GPT-2] 语言模型是无监督的多任务学习者
- 2020年(Arxiv)神经语言模型的规模法则
- 2020年(Meta)(NIPS)[RAG] 面向知识密集型NLP任务的检索增强生成
- 2020年(OpenAI)(Arxiv)[GPT-3] 语言模型是少样本学习者
- 2021年(微软)(Arxiv)[LoRA] LoRA——大型语言模型的低秩适应
- 2022年(谷歌)(Arxiv)[PaLM] PaLM——通过Pathways扩展语言建模
- 2022年(谷歌)(JMLR)[SwitchTransfomers] Switch Transformers——以简单高效的稀疏性扩展至万亿参数模型
- 2022年(谷歌)(NIPS)[COT] 思维链提示在大型语言模型中激发推理能力
- 2022年(谷歌)(NIPS)[ChainOfThought] 思维链提示在大型语言模型中激发推理能力
- 2022年(谷歌)(TMLR)[Emergent] 大型语言模型的涌现能力
- 2022年(OpenAI)(Arxiv)[InstructGPT] [RLHF] 通过人类反馈训练语言模型遵循指令
- 2022年(OpenAI)(Arxiv)[PPO] 近端策略优化算法
- 2022年(OpenAI)(Arxiv)[WebGPT] 从人类反馈中学习总结
- 2022年(OpenAI)(Arxiv)[WebGPT] WebGPT——基于浏览器的人工协助问答系统
- 2023年(阿里巴巴)(Arxiv)[QWEN] QWEN技术报告
- 2023年(Meta)(Arxiv)[LLaMA-2] Llama 2——开放的基础模型与微调后的聊天模型
- 2023年(Meta)(Arxiv)[LLaMA] LLaMA——开放且高效的语言基础模型
- 2023年(OpenAI)(Arxiv)[GPT4] GPT-4技术报告
- 2024年(阿里巴巴)(Arxiv)[QWEN2] QWEN2技术报告
- 2024年(Arxiv)[TinyLlama] Arxiv TinyLlama——一个开源的小型语言模型
- 2024年(DeepSeek)(Arxiv)[GRPO] DeepSeekMath——推动开放语言模型中的数学推理极限
- 2025年(阿里巴巴)(Arxiv)[QWEN-2.5] QWEN 2.5技术报告
- 2025年(阿里巴巴)(Arxiv)[Qwen2.5-VL] Qwen2.5-VL技术报告
- 2025年(阿里巴巴)(Arxiv)[Qwen3 Embedding] Qwen3嵌入——通过基础模型推进文本嵌入与重排序
- 2025年(阿里巴巴)(Arxiv)[Qwen3] Qwen3技术报告
- 2025年(Arxiv)大型语言模型综述
- 2025年(DeepSeek)(Nature)[DeepSeek-R1] DeepSeek-R1通过强化学习激励LLM中的推理能力
- 2025年(DeepSeek)[DeepSeek-R1] DeepSeek-R1——通过强化学习激励LLM中的推理能力
- 2025年(DeepSeek)[DeepSeek-V3] DeepSeek-V3技术报告
- 2025年(谷歌)(Arxiv)[SigLIP2] SigLIP 2——具有改进语义理解、定位能力和密集特征的多语言视觉-语言编码器
-
-
-
-
-
-
-
-
- 资源
02_自监督学习
- 2020年(阿里巴巴)(AAAI)[DMR] 用于个性化点击率预估的深度匹配排序模型
- 2020年(阿里巴巴)(CIKM)[BERT4Rec] BERT4Rec - 基于Transformer双向编码器表示的序列推荐
- 2020年(阿里巴巴)(KDD)序列推荐中的解耦自监督学习
- 2020年(Arxiv)UserBERT - 自监督用户表征学习
- 2020年(Arxiv)[SGL] 用于推荐的自监督图学习
- 2020年(CIKM)[S3Rec] S3-Rec - 基于互信息最大化的序列推荐自监督学习
- 2020年(EMNLP)[PTUM] PTUM - 基于自监督从无标签用户行为中预训练用户模型
- 2020年(SIGIR)推荐系统的自监督强化学习
- 2021年(阿里巴巴)(Arxiv)[CLRec] 大规模推荐系统中去偏候选生成的对比学习
- 2021年(阿里巴巴)(CIKM)* [ZEUS] 针对电商多场景排序的用户自发行为自监督学习
- 2021年(阿里巴巴)(WWW)序列推荐的对比预训练
- 2021年(Google)(CIKM)大规模物品推荐的自监督学习
- 2021年(WSDM)[Prop] PROP - 面向即席检索的代表性词预测预训练
07_强化学习
- 2010年(雅虎)(WWW)[LinUCB] 基于上下文多臂老虎机的个性化新闻文章推荐方法
- 2018年(Spotify)(Recsys)[Spotify Bandit] 探索、利用与解释:用多臂老虎机实现可解释的个性化推荐
- 2018年[微软](WWW)[DRN] DRN——用于新闻推荐的深度强化学习框架
- 2019年(谷歌)(IJCAI)*[SlateQ] SLATEQ——面向推荐集合的强化学习中的一种可处理分解方法
- 2019年(谷歌)(WSDM)*[Top-K离策略] REINFORCE推荐系统中的Top-K离策略校正
- 2019年(Sigweb)搜索、推荐与在线广告领域的深度强化学习——综述
- 2020年(字节跳动)(KDD)[RAM] 联合学习推荐与广告投放
- 2020年(京东)(SIGIR)[NICF] 神经交互式协同过滤
RL_classical
- 1992年(ML)[REINFORCE] 连接主义强化学习中的简单统计梯度跟踪算法
- 1999年(NIPS)[Actor-Critic] Actor-Critic算法
- 2013年(DeepMind)(Arxiv)[DQN] 使用深度强化学习玩Atari游戏
- 2015年(DeepMind)(AAAI)[Double Q-learning] 使用双Q学习的深度强化学习
- 2015年(DeepMind)(Nature)[DQN] 通过深度强化学习实现人类水平的控制
- 2016年(谷歌)(Arxiv)[A3C] 深度强化学习的异步方法
- 2016年(OpenAI)(Nature)使用深度神经网络和树搜索掌握围棋游戏
- 2017年(JMLR)[TRPO] 信任域策略优化
- 2017年(OpenAI)(Arxiv)[PPO] 近端策略优化算法
- 2017年(OpenAI)(Arxiv)[ES] 进化策略作为强化学习的可扩展替代方案
08_深度学习
- 2012年(NIPS)[CNN] 使用深度卷积神经网络进行ImageNet分类
- 2014年(JMLR)[Dropout] Dropout——防止神经网络过拟合的简单方法
- 2015年(Google)(JMLR)[BatchNorm] 批量归一化——通过减少内部协变量偏移加速深度网络训练
- 2015年(OpenAI)(ICLR)[Adam] Adam——一种随机优化方法
- 2016年(CVPR)[ResNet] 用于图像识别的深度残差学习
- 2016年(OpenAI)(NIPS)[Weight Norm] 权重归一化——一种简单的重新参数化方法,可加速深度神经网络的训练
- 2017年(Arxiv)[LayerNorm] 层归一化
- 2017年(Google)(NIPS)[Transformer] “注意力就是你所需要的”
- 2020年(Arxiv)GLU变体改进Transformer
- 2020年(ICML)关于Transformer架构中的层归一化
相似工具推荐
openclaw
OpenClaw 是一款专为个人打造的本地化 AI 助手,旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚,能够直接接入你日常使用的各类通讯渠道,包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息,OpenClaw 都能即时响应,甚至支持在 macOS、iOS 和 Android 设备上进行语音交互,并提供实时的画布渲染功能供你操控。 这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地,用户无需依赖云端服务即可享受快速、私密的智能辅助,真正实现了“你的数据,你做主”。其独特的技术亮点在于强大的网关架构,将控制平面与核心助手分离,确保跨平台通信的流畅性与扩展性。 OpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者,以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力(支持 macOS、Linux 及 Windows WSL2),即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你
stable-diffusion-webui
stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面,旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点,将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。 无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师,还是想要深入探索模型潜力的开发者与研究人员,都能从中获益。其核心亮点在于极高的功能丰富度:不仅支持文生图、图生图、局部重绘(Inpainting)和外绘(Outpainting)等基础模式,还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外,它内置了 GFPGAN 和 CodeFormer 等人脸修复工具,支持多种神经网络放大算法,并允许用户通过插件系统无限扩展能力。即使是显存有限的设备,stable-diffusion-webui 也提供了相应的优化选项,让高质量的 AI 艺术创作变得触手可及。
everything-claude-code
everything-claude-code 是一套专为 AI 编程助手(如 Claude Code、Codex、Cursor 等)打造的高性能优化系统。它不仅仅是一组配置文件,而是一个经过长期实战打磨的完整框架,旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。 通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能,everything-claude-code 能显著提升 AI 在复杂任务中的表现,帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略,使得模型响应更快、成本更低,同时有效防御潜在的攻击向量。 这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库,还是需要 AI 协助进行安全审计与自动化测试,everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目,它融合了多语言支持与丰富的实战钩子(hooks),让 AI 真正成长为懂上
ComfyUI
ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎,专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式,采用直观的节点式流程图界面,让用户通过连接不同的功能模块即可构建个性化的生成管线。 这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景,也能自由组合模型、调整参数并实时预览效果,轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性,不仅支持 Windows、macOS 和 Linux 全平台,还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构,并率先支持 SDXL、Flux、SD3 等前沿模型。 无论是希望深入探索算法潜力的研究人员和开发者,还是追求极致创作自由度的设计师与资深 AI 绘画爱好者,ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能,使其成为当前最灵活、生态最丰富的开源扩散模型工具之一,帮助用户将创意高效转化为现实。
markitdown
MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具,专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片(含 OCR)、音频(含语音转录)、HTML 乃至 YouTube 链接等多种格式的解析,能够精准提取文档中的标题、列表、表格和链接等关键结构信息。 在人工智能应用日益普及的今天,大语言模型(LLM)虽擅长处理文本,却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点,它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式,成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外,它还提供了 MCP(模型上下文协议)服务器,可无缝集成到 Claude Desktop 等 LLM 应用中。 这款工具特别适合开发者、数据科学家及 AI 研究人员使用,尤其是那些需要构建文档检索增强生成(RAG)系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性,但其核心优势在于为机器
LLMs-from-scratch
LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目,旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型(LLM)。它不仅是同名技术著作的官方代码库,更提供了一套完整的实践方案,涵盖模型开发、预训练及微调的全过程。 该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型,却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码,用户能够透彻掌握 Transformer 架构、注意力机制等关键原理,从而真正理解大模型是如何“思考”的。此外,项目还包含了加载大型预训练权重进行微调的代码,帮助用户将理论知识延伸至实际应用。 LLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API,而是渴望探究模型构建细节的技术人员而言,这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计:将复杂的系统工程拆解为清晰的步骤,配合详细的图表与示例,让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础,还是为未来研发更大规模的模型做准备