</details)

综述论文

• 信息检索中的预训练方法。 Yixing Fan, Xiaohui Xie 等. FnTIR 2022
• 基于预训练语言模型的稠密文本检索：综述。 Wayne Xin Zhao, Jing Liu 等. Arxiv 2022
• 用于文本排序的预训练Transformer：BERT及其之后。 Jimmy Lin 等. M&C 2021
• 初检阶段的语义模型：全面回顾。 Jiafeng Guo 等. TOIS 2021
• 深入探讨信息检索中的神经网络排序模型。 Jiafeng Guo 等. IPM 2020

第一阶段检索

稀疏检索

神经网络术语重加权

• 利用分布式表示学习术语重加权。 Guoqing Zheng, Jamie Callan SIGIR 2015。（DeepTR）
• 面向第一阶段段落检索的上下文感知术语权重调整。 Zhuyun Dai等 SIGIR 2020 短文。[代码]（DeepCT）
• 面向即席检索的上下文感知文档术语权重调整。 Zhuyun Dai等 WWW 2020。[代码]（HDCT）
• 学习术语判别能力。 Jibril Frej等 SIGIR 2020。（IDF-重加权）
• COIL：用上下文化倒排索引重新审视信息检索中的精确词汇匹配。 Luyu Gao等 NAACL 2020。[代码]（COIL）
• 为倒排索引学习段落影响。 Antonio Mallia等 SIGIR 2021 短文。[代码]（DeepImapct）

查询或文档扩展

• 基于查询预测的文档扩展。 Rodrigo Nogueira等 [doc2query 代码, docTTTTTquery 代码]（doc2query, docTTTTTquery）
• 用于开放域问答的生成增强型检索。 Yuning Mao等 ACL 2021。[代码]（使用 BART 进行查询扩展）
• 利用随机文本生成进行信息检索的无监督文档扩展。 Jeong等 arXiv 2021。[代码]（无监督文档扩展）

稀疏表示学习

• SparTerm：学习基于术语的稀疏表示以实现快速文本检索。 Yang Bai, Xiaoguang Li等 Arxiv 2020。（SparTerm：由 MLM+二值术语门控得到的术语重要性分布）
• 面向实时开放域问答的上下文化稀疏表示。 Jinhyuk Lee, Minjoon Seo等 ACL 2020。[代码]（SPARC，稀疏向量）
• SPLADE：用于第一阶段排序的稀疏词汇及扩展模型。，以及 v2。 Thibault Formal等 SIGIR 2021。[代码]（SPLADE）
• 通过二值化实现超高维稀疏表示以提高文本检索效率。 Kyoung-Rok Jang等 EMNLP 2021。（UHD）
• 用于开放域问答的哈希高效段落检索。 Ikuya Yamada等 ACL 2021。[代码]（BPR，将嵌入向量转换为二进制码）

密集检索

硬负采样

• 用于开放域问答的密集段落检索。 Vladimir Karpukhin, Barlas Oguz等 EMNLP 2020 [代码]（DPR，批次内负样本）
• RepBERT：用于第一阶段检索的上下文化文本嵌入。 Jingtao Zhan等 Arxiv 2020。[代码]（RepBERT）
• 密集文本检索中的近似最近邻负对比学习。 Lee Xiong, Chenyan Xiong等 [代码]（ANCE，训练期间刷新索引）
• RocketQA：一种优化的训练方法，用于开放域问答的密集段落检索。 Yingqi Qu等 NAACL 2021。（RocketQA：跨批次负样本、去噪硬负样本和数据增强）
• 利用硬负样本优化密集检索模型训练。 Jingtao Zhan等 SIGIR 2021。[代码]（ADORE&STAR，基于预训练文档编码器的查询端微调）
• 通过平衡的主题感知采样高效地训练有效的密集检索器。 Sebastian Hofstätter等 SIGIR 2021。[代码]（TAS-Balanced，从查询簇中采样并从 BERT 集成模型中蒸馏）
• PAIR：利用以段落为中心的相似性关系改进密集段落检索 Ruiyang Ren等 EMNLP Findings 2021。[代码]（PAIR）

晚期交互与多向量表示

• ColBERT：通过在 BERT 上进行上下文化的晚期交互实现高效且有效的段落搜索。 Omar Khattab等 SIGIR 2020。[代码]（ColBERT）
• 多编码器：用于快速准确的多句评分的架构和预训练策略。 Samuel Humeau, Kurt Shuster等 ICLR 2020。[代码]（多编码器）
• 用于文本检索的稀疏、密集和注意力机制表示。 Yi Luan, Jacob Eisenstein等 TACL 2020。（ME-BERT，多向量）
• 通过生成伪查询嵌入来改进文档表示，以用于密集检索。 Hongyin Tang, Xingwu Sun等 ACL 2021。
• 使用密集-稀疏短语索引实现实时开放域问答。 Minjoon Seo, Jinhyuk Lee等 ACL 2019。[代码]（DENSPI）
• 大规模学习短语的密集表示。 Jinhyuk Lee, Danqi Chen等 ACL 2021。[代码]（DensePhrases）
• 面向开放域密集检索的多视角文档表示学习。 Shunyu Zhang等 ACL 2022。（MVR）
• 用于信息检索的多变量表示学习。 Hamed Zamani等 SIGIR 2023。（学习多变量分布）

知识蒸馏

• 从阅读器向检索器蒸馏知识用于问答。 Gautier Izacard, Edouard Grave. ICLR 2020。[非官方代码] (将阅读器的交叉注意力蒸馏到检索器)
• 为快速检索型聊天机器人进行知识蒸馏。 Amir Vakili Tahami等。 SIGIR 2020。[代码] (从交叉编码器蒸馏到双编码器)
• 通过跨架构知识蒸馏改进高效的神经排序模型。 Sebastian Hofstätter等。 Arxiv 2020。[代码] (从BERT集成模型蒸馏)
• 利用紧密耦合的教师模型蒸馏密集表示以用于排序。 Sheng-Chieh Lin, Jheng-Hong Yang, Jimmy Lin。 Arxiv 2020。[代码] (TCTColBERT：从ColBERT蒸馏)
• 通过平衡的主题感知采样高效地训练有效的密集检索器。 Sebastian Hofstätter等。 SIGIR 2021。[代码] (TAS-Balanced，从查询簇中采样并从BERT集成模型蒸馏)
• RocketQAv2：一种用于密集段落检索和段落重排序的联合训练方法。 Ruiyang Ren, Yingqi Qu等。 EMNLP 2021。[代码] (RocketQAv2，通过知识蒸馏进行联合学习)
• 面向少样本对话式密集检索的课程式对比上下文去噪。 Kelong Mao等。 SIGIR 2022。

针对密集检索量身定制的预训练

• 用于弱监督开放域问答的潜在检索。 Kenton Lee等。 ACL 2019。[代码] (ORQA，ICT)
• 基于嵌入的大规模检索的预训练任务。 Wei-Cheng Chang等。 ICLR 2020。(ICT、BFS和WLP)
• REALM：检索增强的语言模型预训练。 Kelvin Guu、Kenton Lee等。 ICML 2020。[代码] (REALM)
• 少即是多：使用弱解码器为密集检索预训练强大的文本编码器。 Shuqi Lu、Di He、Chenyan Xiong等。 EMNLP 2021。[代码] (Seed)
• Condenser：一种用于密集检索的预训练架构。 Luyu Gao等。 EMNLP 2021。[代码] (Condenser)
• 面向多语言密集检索的无监督上下文感知句子表示预训练。 Ning Wu等。 JICAI 2022。[代码] (CCP，跨语言预训练)
• 面向密集段落检索的无监督语料库感知语言模型预训练。 Luyu Gao等。 ACL 2022。[代码] (coCondenser)
• LaPraDoR：用于零样本文本检索的无监督预训练密集检索器。 Canwen Xu、Daya Guo等。 ACL 2022。[代码] (LaPraDoR，ICT+dropout)
• 一种通过对比预训练学习用于密集检索的判别自编码器的方法。 Xinyu Ma等。 CIKM 2022。(CPADE，基于文档词频分布的对比预训练)
• 通过对比跨度预测为密集检索预训练判别性文本编码器 Xinyu Ma等。 SIGIR 2022。[代码] (COSTA，分组对比学习)
• H-ERNIE：一种用于网页搜索的多粒度预训练语言模型。 Xiaokai Chu等。 SIGIR 2022。(H-ERNIE)
• 保持结构与语义的文档表示。 Natraj Raman等。 SIGIR 2022。
• Contriever：利用对比学习实现无监督的密集信息检索。 Gautier Izacard等。 TMLR 2022。[代码] (Contriever)
• 通过插值与扰动生成密集检索用的文档表示。 Jeong等。 ACL 2022。[代码] (用于密集检索的增强)

检索与索引的联合学习

• 深度检索模型与基于产品量化技术的嵌入索引的联合学习。 Han Zhang等。 SIGIR 2021短会。[代码] (Poeem)
• 联合优化查询编码器和产品量化以提升检索性能。 Jingtao Zhan等。 CIKM 2021。[代码] (JPQ)
• 通过约束聚类学习离散表示以实现有效且高效的密集检索。 Jingtao Zhan等。 WSDM 2022。[代码] (RepCONC)
• 面向即席检索的匹配导向嵌入量化。 Shitao Xiao等。 EMNLP 2021。[代码]
• Distill-VQ：通过从密集嵌入中蒸馏知识来学习面向检索的向量量化。 Shitao Xiao等。 SIGIR 2022。[代码]

多跳密集检索

• 利用多跳密集检索回答复杂的开放域问题。 Wenhan Xiong、Xiang Lorraine Li等。 ICLR 2021 [代码] (迭代地将问题和先前检索到的文档编码为查询向量)

领域适应

• 面向知识密集型任务的多任务检索。 Jean Maillard、Vladimir Karpukhin^等。 ACL 2021。(多任务学习)
• 评估密集检索的外推性能。 Jingtao Zhan等。 CIKM 2022。[代码]

查询改写

• 用于多表示密集检索的伪相关反馈。 Xiao Wang等 ICTIR 2021 (ColBERT-PRF)
• 利用伪相关反馈改进密集检索的查询表示。 HongChien Yu等 CIKM 2021。[代码] (ANCE-PRF)
• LoL：一种用于伪相关反馈的查询改写损失比较正则化损失。 Yunchang Zhu等 SIGIR 2022。[代码] (LoL，伪相关反馈)

偏差

• 密集段落检索中的隐式反馈：一种反事实方法。 Shengyao Zhuang等 SIGIR 2022。[代码] (CoRocchio，反事实Rocchio算法)
• 硬负样本还是假负样本：纠正训练神经排序模型中的池化偏差。 Yinqiong Cai等 CIKM 2022。

混合检索

• 基于稠密-稀疏短语索引的实时开放域问答。 Minjoon Seo、Jinhyuk Lee等 ACL 2019。[代码] (DENSPI)
• 用语义残差嵌入补充词汇检索模型。 Luyu Gao等 ECIR 2021。
• 基于BERT的密集检索器需要与BM25进行插值才能有效进行段落检索。 Shuai Wang等 ICTIR 2021。
• 渐进优化的双粒度文档表示用于可扩展的基于嵌入的检索。 Shitao Xiao等 WWW 2022。[代码]

重排序阶段

基本用法

判别式排序模型

表示聚焦型

• 理解BERT在排序中的行为。 Yifan Qiao等 Arxiv 2019。(表示聚焦型和交互聚焦型)

交互聚焦型

• 使用BERT对段落进行重排序。 Rodrigo Nogueira等 [代码] (monoBERT：可能是最早将BERT应用于信息检索的工作)
• 使用BERT进行多阶段文档排序， 预训练序列到序列模型用于文本排序的Expando-Mono-Duo设计模式。 Rodrigo Nogueira等 Arxiv 2020。(Expando-Mono-Duo：doc2query+点对点+成对)
• CEDR：用于文档排序的上下文化嵌入。 Sean MacAvaney等 SIGIR 2020简报。[代码] (CEDR：BERT+neuIR模型)

生成式排序模型

• 通过生成式排序超越[CLS]。 Cicero Nogueira dos Santos等 EMNLP 2020简报。(使用GPT和BART生成查询)
• 使用预训练序列到序列模型进行文档排序。 Rodrigo Nogueira、Zhiying Jiang等 EMNLP 2020。[代码] (使用T5生成相关性标记)
• RankT5：使用排序损失对T5进行微调以用于文本排序。 Honglei Zhuang等 Arxiv 2022。

混合排序模型

• 利用生成任务泛化判别式检索模型。 Bingsheng Liu、Hamed Zamani等 WWW 2021。(GDMTL，多任务学习的联合判别式和生成式模型)

长文档处理技术

段落得分聚合

• 借助上下文神经语言建模实现更深入的IR文本理解。 Zhuyun Dai等 SIGIR 2020简报。[代码] (BERT-MaxP、BERT-firstP、BERT-sumP：段落级别)
• BERT在即席文档检索中的简单应用， 使用Birch将BERT应用于文档检索， 跨领域建模句子级证据用于文档检索。 Wei Yang、Haotian Zhang等 Arxiv 2020，Zeynep Akkalyoncu Yilmaz等 EMNLP 2019简报。[代码] (Birch：句子级别)
• 文档内级联：学习选择段落以进行神经文档排序。 Sebastian Hofstätter等 SIGIR 2021。[代码] (将排序模型蒸馏到conv-knrm以选择前k个段落)

段落表示聚合

• PARADE：用于文档重排序的段落表示聚合。 Canjia Li等 Arxiv 2020。[代码] (对各种段落表示聚合方法进行了广泛比较)
• 利用段落级累积增益进行文档排序。 Zhijing Wu等 WWW 2020。(PCGM)

设计新架构

• 针对长文本的局部自注意力机制以实现高效文档检索。 Sebastian Hofstätter等 SIGIR 2020简报。[代码] (TKL：用于长文本的Transformer-Kernel)
• 超越512个token：用于长文档匹配的暹罗多深度Transformer分层编码器。 Liu Yang等 CIKM 2020。[代码] (SMITH用于文档到文档的匹配)
• Socialformer：受社交网络启发的长文档建模用于文档排序。 Yujia Zhou等 WWW 2022。(Socialformer)

提高效率

解耦交互

• DC-BERT：为高效上下文编码解耦问题与文档。 张宇宇、聂平等 SIGIR 2020 短文。（DC-BERT）
• 通过预计算词项表示实现 Transformer 的高效文档重排序。 肖恩·麦卡维尼等 SIGIR 2020。[代码]（PreTTR）
• 基于 Transformer 的模块化排序框架。 高璐宇等 EMNLP 2020。[代码]（MORES，类似于 PreTTR）
• TILDE：用于段落重排序的词项独立似然模型。 庄圣尧、圭多·祖孔 SIGIR 2021。[代码]（TILDE）
• 用于高效文档排序的快速前向索引。 尤雷克·莱昂哈特等 WWW 2022。（快速前向索引）

知识蒸馏

• 理解蒸馏下的 BERT 排序器。 高璐宇等 ICTIR 2020。（语言模型蒸馏 + 排序器蒸馏）
• 简化版 TinyBERT：用于文档检索的知识蒸馏。 陈宣昂等 ECIR 2021。[代码]（TinyBERT+知识蒸馏）

部分微调

• 采用轻量级微调的半暹罗双编码器神经排序模型。 郑恩娜、崔在赫等 WWW 2022。[代码]（轻量级微调）
• 分散还是连接？一种面向信息检索的优化参数高效微调方法。 马鑫宇等 CIKM 2022。（IAA，引入旁路模块以稳定训练）

早期退出

• 级联 Transformer：一种用于高效答案句子选择的应用。 卢卡·索尔代尼等 ACL 2020。[代码]（级联 Transformer：按层剪枝候选）
• 用于高效文档排序的 BERT 早期退出。 辛吉等 EMNLP 2020 SustaiNLP 工作坊。[代码]（早期退出）

其他主题

查询扩展

• BERT-QE：用于文档重排序的上下文化查询扩展。 郑志等 EMNLP 2020 Findings。[代码]（BERT-QE）

重新加权训练样本

• 开放域答案重排序的训练课程。 肖恩·麦卡维尼等 SIGIR 2020。[代码]（基于 BM25 的课程学习）
• 并非所有相关性得分都相等：深度检索模型的高效不确定性与校准建模。 丹尼尔·科恩等 SIGIR 2021。

针对重排序量身定制的预训练

• MarkedBERT：将传统 IR 特征融入预训练语言模型以进行段落检索。 莉拉·布阿利利等 SIGIR 2020 短文。[代码]（MarkedBERT）
• 面向神经信息检索的选择性弱监督。 张凯涛等 WWW 2020。[代码]（ReInfoSelect）
• PROP：针对即席检索的代表性词预测预训练。 马鑫宇等 WSDM 2021。[代码]（PROP）
• 用于检索的跨语言语言模型预训练。 于普轩等 WWW 2021。
• B-PROP：基于代表性词预测的即席检索自举式预训练。 马鑫宇等 SIGIR 2021。[代码]（B-PROP）
• 即席检索的预训练：超链接也是你需要的。 马正毅等 CIKM 2021。[代码]（HARP）
• 面向上下文文档排序的用户行为序列对比学习。 朱宇涛等 CIKM 2021。[代码]（COCA）
• 百度搜索中基于预训练语言模型的排序。 邹立新等 KDD 2021。
• 用于段落排序与扩展的统一预训练框架。 严明等 AAAI 2021。（UED，联合训练排序与查询生成）
• 面向即席搜索的公理化正则化预训练。 陈佳等 SIGIR 2022。[代码]（ARES）
• Webformer：面向信息检索的网页预训练。 郭宇等 SIGIR 2022。（Webformer）

对抗攻击与防御

• 竞争性搜索。 奥伦·库兰德等 SIGIR 2022。
• PRADA：针对神经排序模型的实用黑盒对抗攻击。 吴晨等 Arxiv 2022。
• 有序—无序：针对黑盒神经排序模型的模仿式对抗攻击 刘嘉伟等 CCS 2022。
• 神经排序模型是否鲁棒？ 吴晨等 TOIS。
• 神经排序模型对词语替换排序攻击的认证鲁棒性 吴晨等 CIKM 2022。
• 面向黑盒神经排序模型的主题导向对抗攻击。 刘宇安等 SIGIR 2023。

跨语言检索

• 用于迭代自监督训练的跨语言检索。 周 Tran 等 NIPS 2020。[代码]（CRISS）
• CLIRMatrix：一个超大规模的双语和多语数据集，用于跨语言信息检索。 孙硕等 EMNLP 2020。[代码]（多语数据集—CLIRMatrix 和多语 BERT）

检索与重排序的联合学习

• RocketQAv2：密集段落检索与段落重排序的联合训练方法。 任瑞阳、屈英琪等 EMNLP 2021。[代码] (RocketQAv2)
• 用于密集文本检索的对抗性检索器-排序器。 张航等 ICLR 2022。[代码] (AR2)
• RankFlow：将多阶段级联排序系统作为流进行联合优化。 秦嘉睿等 SIGIR 2022。(RankFlow)

基于模型的IR系统

• 重新思考搜索：让业余爱好者成为领域专家。 唐纳德·梅茨勒等 SIGIR Forum 2020。 (构想了基于模型的IR系统)
• Transformer内存作为可微分的搜索索引。 泰毅等 Arxiv 2022。 (DSI)
• DynamicRetriever：一种既无稀疏索引也无稠密索引的预训练模型IR系统。 周宇佳等 Arxiv 2022。 (DynamicRetriever)
• 用于文档检索的神经语料库索引器。 王玉静等 Arxiv 2022。（NCI）
• 自回归搜索引擎：生成子字符串作为文档标识符。 米凯莱·贝维拉夸等 Arxiv 2022。[代码] (SEAL)
• CorpusBrain：为知识密集型语言任务预训练生成式检索模型。 陈江贵等 CIKM 2022。[代码] (CorpusBrain)
• 通过提示学习实现知识密集型语言任务的统一生成式检索器。 陈江贵等 SIGIR 2023。[代码] (UGR)
• TOME：一种基于模型的两阶段检索方法。 任瑞阳等 ACL 2023。（TOME：先生成段落，再生成URL）
• 生成式检索如何扩展到数百万个段落？ 罗纳克·普拉迪普、凯辉等 Arxiv 2023。（对所提出方法的全面研究，使用合成查询作为文档ID）
• 受学习策略启发的语义增强可微分搜索索引。 唐宇宝等 KDD 2023。（语义增强版DSI）

LLM与IR

观点或综述

• 信息检索遇上大语言模型：来自中国IR界的策略报告。 青瑶AI等 CCIR社区。AI Open 2023。
• 面向信息检索的大语言模型：综述。 朱宇涛等 中国人民大学。Arxiv 2023。
• 借助AI副驾驶应对复杂的搜索任务。 赖恩·W·怀特 微软研究院。Arxiv 2023。

检索增强LLM

• 用于知识密集型NLP任务的检索增强生成。 帕特里克·刘易斯、伊森·佩雷斯等 NIPS 2020。（RAG，针对4.4亿参数的BART）
• 通过从数万亿个标记中检索来改进语言模型。 塞巴斯蒂安·博尔戈、阿瑟·门施、乔丹·霍夫曼等 ICML 2022。[代码]（*RETRO，编码解码架构，75亿参数）
• Atlas：利用检索增强语言模型进行少样本学习。 高蒂埃·伊扎卡尔、帕特里克·刘易斯等 Arxiv 2022。[代码] (Atlas，T5，110亿参数)
• 通过少样本提示对开放域问答进行互联网增强的语言模型。 安杰莉基·拉扎里杜等 Arxiv 2022。（Gopher 280B，以谷歌搜索结果为条件）
• 通过迭代的检索-生成协同作用增强检索增强大型语言模型。 邵志宏等 Arxiv 2023。
• 检索增强预训练后的指令调优。 王博欣等 Arxiv 2023。
• 检索任何内容以增强大型语言模型。

LLM用于IR

合成查询生成

• 通过零样本问题生成改进段落检索。 Devendra Singh Sachan 等人 EMNLP 2022。[代码](UPR，基于GPT-neo 2.7B/T0 3B、11B的查询似然对文档进行重排序)
• Promptagator：仅用8个示例实现少样本密集检索。 Zhuyun Dai 等人 ICLR 2023。(使用上下文学习和FLAN 137B生成伪查询)
• UDAPDR：通过LLM提示和重排序器蒸馏实现无监督领域适应。 Jon Saad-Falcon、Omar Khattab 等人 Arxiv 2023。代码
• InPars：利用大型语言模型进行信息检索的数据增强。 Luiz Bonifacio 等人 Arxiv 2022。[代码](使用GPT-3 Curie通过上下文学习生成伪查询，并根据查询生成概率选择前k个q-d对)
• InPars-v2：大型语言模型作为信息检索的高效数据生成器。 Vitor Jeronymo 等人 Arxiv 2023。[代码](与InPars类似，使用GPT-J 6B LLM及微调后的重排序器作为选择器)
• InPars-Light：经济高效的高效排序器无监督训练。 Leonid Boytsov 等人 Arxiv 2023。(与InPars相似，使用GPT-J 6B和BLOOM 7B)
• 基于大型语言模型的生成式相关性反馈。 Iain Mackie 等人 SIGIR 2023简报。(GRF，使用GPT3生成多种信息用于相关性反馈)
• 通过提示大型语言模型进行查询扩展。 Rolf Jagerman 等人 Arxiv 2023。
• 探索合成查询生成在相关性预测中的可行性。 Aditi Chaudhary 等人 Arxiv 2023。(使用FLAN-137B进行标签条件生成)
• 基于大型语言模型的淘宝搜索长尾查询改写。 Wenjun Peng 等人 Arxiv 2023。
• 生成、过滤与融合：面向零样本神经排序器的多步关键词生成查询扩展。 Minghan Li 等人 Arxiv 2023。(使用Flan-PaLM2-S生成关键词)
• 利用LLM在多语言密集检索中跨多种语言合成训练数据。 Nandan Thakur 等人 Arxiv 2023。

合成文档生成

• 与其检索，不如生成：大型语言模型是强大的上下文生成器。 Wenhao Yu 等人 ICLR 2023。[代码] (GenRead，使用InstructGPT生成读者所需的伪文档)
• 背诵增强型语言模型。 Zhiqing Sun 等人 ICLR 2023。[代码] (与GenRead类似)
• 无需相关性标签的精准零样本密集检索。 Luyu Gao、Xueguang Ma 等人 Arxiv 2022。[代码] (HyDE，InstructGPT生成伪文档，Contriever检索真实文档)
• Query2doc：利用大型语言模型进行查询扩展。 Liang Wang 等人 Arxiv 2023。(使用上下文学习生成伪文档，然后与查询拼接，采用text-davinci-003)
• 大型语言模型是强大的零样本检索器。 Tao Shen 等人 Arxiv 2023。(与Hyde类似，使用BM25将检索到的文档补充到LLM中)
• 为交叉编码器重排序器生成合成文档：ChatGPT与人类专家的比较研究。 Arian Askari 等人 Arxiv 2023。[代码] (使用ChatGPT生成的合成数据进行排序)

用于相关性评分的大语言模型

• 基于指令的任务感知检索。 浅井明里、蒂莫·希克等 Arxiv 2022年。[代码] (TART，包含40个带指令的任务数据集，15亿参数的FLAN-T5)
• 一个嵌入器，任意任务：指令微调的文本嵌入。 苏洪进、史伟嘉等 代码
• ExaRanker：基于解释增强的神经排序器。 费尔南多·费拉雷托等 Arxiv 2023年。[代码] (使用monoT5同时训练相关性分数和由GPT-3.5（text-davinci-002）生成的解释)
• 关于大语言模型在相关性判断中的视角。 古列尔莫·法吉奥利等 Arxiv 2023年。(观点论文)
• 利用大语言模型进行零样本列表式文档重排序。 马学光等 Arxiv 2023年。(LRL，使用GPT3生成排序列表)
• 大语言模型本身就是自回归搜索引擎。 诺亚·齐姆斯等 Arxiv 2023年。(LLM-URL，使用GPT-3 text-davinci-003生成URL，基于模型的信息检索)
• ChatGPT擅长搜索吗？探究大语言模型作为重排序代理。 孙伟伟等 EMNLP主会2023年。代码
• 通过成对排序提示，大语言模型可有效进行文本排序。 秦振等 Arxiv 2023年。
• RankVicuna：利用开源大语言模型进行零样本列表式文档重排序。 罗纳克·普拉迪普等 Arxiv 2023年。[代码]
• 中间发现：排列自一致性提升大语言模型中的列表式排序。 拉斐尔·唐、张欣宇等 Arxiv 2023年。[代码]
• 为多阶段文本检索微调LLaMA。 马学光等 Arxiv 2023年。
• 一种集合式方法，用于高效且有效的零样本排序大语言模型。 庄圣尧等 Arxiv 2023年。
• 开源大语言模型是强大的零样本查询似然模型，可用于文档排序。 庄圣尧等 Arxiv 2023年。[代码]
• PaRaDe：利用大语言模型进行演示的段落排名。 安德鲁·德罗佐夫等 Arxiv 2023年。
• 超越“是”与“否”：通过细粒度的相关性标签评分改进零样本大语言模型排序器。 庄宏磊等 Arxiv 2023年。
• 大语言模型可以准确预测搜索者的偏好。 保罗·托马斯等 Arxiv 2023年。
• RankZephyr：高效稳健的零样本列表式重排序轻而易举！ 罗纳克·普拉迪普等 Arxiv 2023年。
• 无需GPT的排序：基于开源大语言模型构建独立于GPT的列表式重排序器。 张欣宇等 Arxiv 2023年。

用于生成式检索的大语言模型

• ACID：基于内容的抽象ID，用于语言模型驱动的文档检索。 李浩鑫等 Arxiv 2023年。(使用GPT-3.5生成关键词)

检索增强型文本生成

• WebGPT：浏览器辅助的人工反馈问答系统。 中野玲一郎、雅各布·希尔顿、苏奇尔·巴拉吉等 Arxiv 2022年。(WebGPT，GPT3)
• 教导语言模型用经过验证的引文支持答案。 DeepMind Arxiv 2022年。
• 评估生成式搜索引擎中的可验证性。 尼尔森·F·刘等 Arxiv 2023年。[代码]
• 使大语言模型能够生成带有引用的文本。 高天宇等 Arxiv 2023年。[代码] (ALCE基准测试)
• FreshLLMs：通过搜索引擎增强刷新大语言模型。 涂武等 Arxiv 2023年。[代码]
• 检索任何内容以增强大语言模型。 张培田、肖世涛等 Arxiv 2023年。[代码]
• 利用事件模式提出澄清问题，用于对话式法律案件检索。 刘步楼等 CIKM 2023年。
• 知道该去哪里：让大语言模型成为相关、负责且值得信赖的搜索引擎。 石翔等。
• 评估生成式临时信息检索。 卢卡斯·吉纳普等 Arxiv 2023年。

其他

• 演示–搜索–预测：将检索与语言模型结合用于知识密集型自然语言处理。 奥马尔·哈塔卜等 Arxiv 2023年。代码

多模态检索

统一单流架构

• Unicoder-VL：通过跨模态预训练实现视觉与语言的通用编码器。 李根、段楠等 AAAI 2020。[代码] (Unicoder-VL)
• XGPT：用于图像字幕生成的跨模态生成式预训练。 夏乔林、黄浩洋、段楠等 Arxiv 2020。[代码] (XGPT)
• UNITER：通用图像-文本表示学习。 陈彦淳、李林杰等 ECCV 2020。[代码] (UNITER)
• Oscar：面向视觉-语言任务的物体语义对齐预训练。 李秀军、尹曦等 ECCV 2020。[代码] (Oscar)
• VinVL：在视觉-语言模型中强化视觉表示的重要性。 张鹏川、李秀军等 ECCV 2020。[代码] (VinVL)
• 用于图文检索的动态模态交互建模。 Qu Leigang等 SIGIR 2021 最佳学生论文。[代码] (DIME)

应用于输入的多流架构

• ViLBERT：面向视觉-语言任务的预训练无关任务视觉语言表示。 陆嘉森、Dhruv Batra等 NeurIPS 2019。[代码] (VilBERT)
• 12-in-1：多任务视觉与语言表示学习。 陆嘉森、Dhruv Batra等 CVPR 2020。[代码] (基于VilBERT的多任务模型)
• 从自然语言监督中学习可迁移的视觉模型。 Alec Radford等 CVPR 2020。[代码] (CLIP，GPT团队)
• ERNIE-ViL：通过场景图增强知识的视觉-语言表示。 于飞、唐继吉等 Arxiv 2020。[代码] (ERNIE-ViL，VCR排行榜第一名)
• M6-v0：面向多模态预训练的视觉-语言交互。 林俊阳、杨安等 KDD 2020。(M6-v0/InterBERT)
• M3P：通过多任务、多语言、多模态预训练学习通用表示。 黄浩洋、苏琳等 CVPR 2021。[代码] (M3P，MILD数据集)

其他资源

一些检索工具包

• Faiss：用于高效相似性搜索和稠密向量聚类的库
• Pyserini：支持稀疏和稠密表示的Python工具包
• MatchZoo：包含多种流行神经网络文本匹配模型的库

关于NLP预训练模型的其他资源

• 自然语言处理中的预训练模型：综述。 邱锡鹏等
• BERT相关论文
• 清华大学NLP组的预训练语言模型论文

关于高效Transformer的综述

• 高效Transformer：综述。 Yi Tay、Mostafa Dehghani等 Arxiv 2020。