[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-danieljf24--awesome-video-text-retrieval":3,"tool-danieljf24--awesome-video-text-retrieval":65},[4,23,32,40,49,57],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":22},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,2,"2026-04-05T10:45:23",[13,14,15,16,17,18,19,20,21],"图像","数据工具","视频","插件","Agent","其他","语言模型","开发框架","音频","ready",{"id":24,"name":25,"github_repo":26,"description_zh":27,"stars":28,"difficulty_score":29,"last_commit_at":30,"category_tags":31,"status":22},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,3,"2026-04-04T04:44:48",[17,13,20,19,18],{"id":33,"name":34,"github_repo":35,"description_zh":36,"stars":37,"difficulty_score":29,"last_commit_at":38,"category_tags":39,"status":22},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",74913,"2026-04-05T10:44:17",[19,13,20,18],{"id":41,"name":42,"github_repo":43,"description_zh":44,"stars":45,"difficulty_score":46,"last_commit_at":47,"category_tags":48,"status":22},3215,"awesome-machine-learning","josephmisiti\u002Fawesome-machine-learning","awesome-machine-learning 是一份精心整理的机器学习资源清单，汇集了全球优秀的机器学习框架、库和软件工具。面对机器学习领域技术迭代快、资源分散且难以甄选的痛点，这份清单按编程语言（如 Python、C++、Go 等）和应用场景（如计算机视觉、自然语言处理、深度学习等）进行了系统化分类，帮助使用者快速定位高质量项目。\n\n它特别适合开发者、数据科学家及研究人员使用。无论是初学者寻找入门库，还是资深工程师对比不同语言的技术选型，都能从中获得极具价值的参考。此外，清单还延伸提供了免费书籍、在线课程、行业会议、技术博客及线下聚会等丰富资源，构建了从学习到实践的全链路支持体系。\n\n其独特亮点在于严格的维护标准：明确标记已停止维护或长期未更新的项目，确保推荐内容的时效性与可靠性。作为机器学习领域的“导航图”，awesome-machine-learning 以开源协作的方式持续更新，旨在降低技术探索门槛，让每一位从业者都能高效地站在巨人的肩膀上创新。",72149,1,"2026-04-03T21:50:24",[20,18],{"id":50,"name":51,"github_repo":52,"description_zh":53,"stars":54,"difficulty_score":46,"last_commit_at":55,"category_tags":56,"status":22},2234,"scikit-learn","scikit-learn\u002Fscikit-learn","scikit-learn 是一个基于 Python 构建的开源机器学习库，依托于 SciPy、NumPy 等科学计算生态，旨在让机器学习变得简单高效。它提供了一套统一且简洁的接口，涵盖了从数据预处理、特征工程到模型训练、评估及选择的全流程工具，内置了包括线性回归、支持向量机、随机森林、聚类等在内的丰富经典算法。\n\n对于希望快速验证想法或构建原型的数据科学家、研究人员以及 Python 开发者而言，scikit-learn 是不可或缺的基础设施。它有效解决了机器学习入门门槛高、算法实现复杂以及不同模型间调用方式不统一的痛点，让用户无需重复造轮子，只需几行代码即可调用成熟的算法解决分类、回归、聚类等实际问题。\n\n其核心技术亮点在于高度一致的 API 设计风格，所有估算器（Estimator）均遵循相同的调用逻辑，极大地降低了学习成本并提升了代码的可读性与可维护性。此外，它还提供了强大的模型选择与评估工具，如交叉验证和网格搜索，帮助用户系统地优化模型性能。作为一个由全球志愿者共同维护的成熟项目，scikit-learn 以其稳定性、详尽的文档和活跃的社区支持，成为连接理论学习与工业级应用的最",65628,"2026-04-05T10:10:46",[20,18,14],{"id":58,"name":59,"github_repo":60,"description_zh":61,"stars":62,"difficulty_score":10,"last_commit_at":63,"category_tags":64,"status":22},3364,"keras","keras-team\u002Fkeras","Keras 是一个专为人类设计的深度学习框架，旨在让构建和训练神经网络变得简单直观。它解决了开发者在不同深度学习后端之间切换困难、模型开发效率低以及难以兼顾调试便捷性与运行性能的痛点。\n\n无论是刚入门的学生、专注算法的研究人员，还是需要快速落地产品的工程师，都能通过 Keras 轻松上手。它支持计算机视觉、自然语言处理、音频分析及时间序列预测等多种任务。\n\nKeras 3 的核心亮点在于其独特的“多后端”架构。用户只需编写一套代码，即可灵活选择 TensorFlow、JAX、PyTorch 或 OpenVINO 作为底层运行引擎。这一特性不仅保留了 Keras 一贯的高层易用性，还允许开发者根据需求自由选择：利用 JAX 或 PyTorch 的即时执行模式进行高效调试，或切换至速度最快的后端以获得最高 350% 的性能提升。此外，Keras 具备强大的扩展能力，能无缝从本地笔记本电脑扩展至大规模 GPU 或 TPU 集群，是连接原型开发与生产部署的理想桥梁。",63927,"2026-04-04T15:24:37",[20,14,18],{"id":66,"github_repo":67,"name":68,"description_en":69,"description_zh":70,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":77,"owner_avatar_url":78,"owner_bio":77,"owner_company":79,"owner_location":80,"owner_email":77,"owner_twitter":77,"owner_website":81,"owner_url":82,"languages":77,"stars":83,"forks":84,"last_commit_at":85,"license":77,"difficulty_score":86,"env_os":87,"env_gpu":88,"env_ram":88,"env_deps":89,"category_tags":92,"github_topics":77,"view_count":10,"oss_zip_url":77,"oss_zip_packed_at":77,"status":22,"created_at":93,"updated_at":94,"faqs":95,"releases":96},3238,"danieljf24\u002Fawesome-video-text-retrieval","awesome-video-text-retrieval","A curated list of deep learning resources for video-text retrieval.","awesome-video-text-retrieval 是一个专为视频 - 文本检索领域打造的深度学习资源合集。它致力于解决在海量视频数据中，如何通过自然语言描述快速、精准地定位目标内容的技术难题。随着多模态人工智能的发展，让机器理解“视频画面”与“文字语义”之间的关联变得至关重要，而该列表正是为了降低这一领域的研究门槛而生。\n\n这份资源库非常适合人工智能研究人员、算法工程师以及计算机视觉领域的开发者使用。无论是刚入门探索的新手，还是寻求最新突破的资深专家，都能从中获益。其核心亮点在于“精选”与“全面”：不仅按年份系统梳理了从早期经典到 2023 年 CVPR 等顶会的最新论文（如 CLIPPING、IMAGEBIND 等前沿工作），还贴心地整理了基于 PyTorch、TensorFlow 等主流框架的代码实现链接，并涵盖了关键数据集和实用工具包。通过提供论文、代码和项目主页的一站式索引，awesome-video-text-retrieval 极大地节省了从业者搜集资料的时间，帮助大家更高效地复现算法、验证想法或开展新的科研工作，是深耕视频语言多模态任务不可或缺的导航图。","# Awesome Video-Text Retrieval by Deep Learning [![Awesome](https:\u002F\u002Fcdn.rawgit.com\u002Fsindresorhus\u002Fawesome\u002Fd7305f38d29fed78fa85652e3a63e154dd8e8829\u002Fmedia\u002Fbadge.svg)](https:\u002F\u002Fgithub.com\u002Fsindresorhus\u002Fawesome)\r\n\r\nA curated list of deep learning resources for video-text retrieval.\r\n\r\n## Contributing\r\nPlease feel free to [pull requests](https:\u002F\u002Fgithub.com\u002Fdanieljf24\u002Fawesome-video-text-retrieval\u002Fpulls) to add papers.\r\n\r\nMarkdown format:\r\n\r\n```markdown\r\n- `[Author Journal\u002FBooktitle Year]` Title. Journal\u002FBooktitle, Year. [[paper]](link) [[code]](link) [[homepage]](link)\r\n```\r\n\r\n\r\n## Table of Contents\r\n- [Implementations](#implementations)\r\n  - [PyTorch](#pytorch)\r\n  - [TensorFlow](#tensorflow)\r\n  - [Others](#others)\r\n- [Papers](#papers)\r\n  - [2023](#2023) - [2022](#2022) - [2021](#2021) - [2020](#2020) - [2019](#2019) - [2018](#2018) - [Before](#before)\r\n  - [Ad-hoc Video Search](#ad-hoc-video-search)\r\n  - [Other Related](#other-related)\r\n- [Datasets](#datasets)\r\n\r\n\r\n\r\n## Implementations\r\n\r\n#### PyTorch\r\n- [hybrid_space](https:\u002F\u002Fgithub.com\u002Fdanieljf24\u002Fhybrid_space)\r\n- [dual_encoding](https:\u002F\u002Fgithub.com\u002Fdanieljf24\u002Fdual_encoding)\r\n- [w2vvpp](https:\u002F\u002Fgithub.com\u002Fli-xirong\u002Fw2vvpp)\r\n- [Mixture-of-Embedding-Experts](https:\u002F\u002Fgithub.com\u002Fantoine77340\u002FMixture-of-Embedding-Experts)\r\n- [howto100m](https:\u002F\u002Fgithub.com\u002Fantoine77340\u002Fhowto100m)\r\n- [collaborative](https:\u002F\u002Fgithub.com\u002Falbanie\u002Fcollaborative-experts)\r\n- [hgr](https:\u002F\u002Fgithub.com\u002Fcshizhe\u002Fhgr_v2t)\r\n- [coot](https:\u002F\u002Fgithub.com\u002Fgingsi\u002Fcoot-videotext)\r\n- [mmt](https:\u002F\u002Fgithub.com\u002Fgabeur\u002Fmmt)\r\n- [ClipBERT](https:\u002F\u002Fgithub.com\u002Fjayleicn\u002FClipBERT)\r\n\r\n#### TensorFlow\r\n- [jsfusion](https:\u002F\u002Fgithub.com\u002Fyj-yu\u002Flsmdc)\r\n\r\n#### Others\r\n- [w2vv](https:\u002F\u002Fgithub.com\u002Fdanieljf24\u002Fw2vv)(Keras)\r\n\r\n#### Useful Toolkit\r\n- [Extracting CNN features from video frames by MXNet](https:\u002F\u002Fgithub.com\u002Fxuchaoxi\u002Fvideo-cnn-feat)\r\n\r\n## Papers\r\n### 2023\r\n- `[Pei et al. CVPR23]` CLIPPING: Distilling CLIP-Based Models with a Student Base for Video-Language Retrieval. CVPR, 2023. [[paper]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FCVPR2023\u002Fpapers\u002FPei_CLIPPING_Distilling_CLIP-Based_Models_With_a_Student_Base_for_Video-Language_CVPR_2023_paper.pdf) \r\n- `[Li et al. CVPR23]` SViTT: Temporal Learning of Sparse Video-Text Transformers. CVPR, 2023. [[paper]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FCVPR2023\u002Fpapers\u002FLi_SViTT_Temporal_Learning_of_Sparse_Video-Text_Transformers_CVPR_2023_paper.pdf) [[code]](http:\u002F\u002Fsvcl.ucsd.edu\u002Fprojects\u002Fsvitt\u002F)\r\n- `[Wu et al. CVPR23]` Cap4Video: What Can Auxiliary Captions Do for Text-Video Retrieval. CVPR, 2023. [[paper]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FCVPR2023\u002Fpapers\u002FWu_Cap4Video_What_Can_Auxiliary_Captions_Do_for_Text-Video_Retrieval_CVPR_2023_paper.pdf) [[code]](https:\u002F\u002Fgithub.com\u002Fwhwu95\u002FCap4Video)\r\n- `[Ko et al. CVPR23]` MELTR: Meta Loss Transformer for Learning to Fine-tune Video Foundation Models. CVPR, 2023. [[paper]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FCVPR2023\u002Fpapers\u002FKo_MELTR_Meta_Loss_Transformer_for_Learning_To_Fine-Tune_Video_Foundation_CVPR_2023_paper.pdf) [[code]](https:\u002F\u002Fgithub.com\u002Fmlvlab\u002F)\r\n- `[Wang et al. CVPR23]` All in One: Exploring Unified Video-Language Pre-Training. CVPR, 2023. [[paper]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FCVPR2023\u002Fhtml\u002FWang_All_in_One_Exploring_Unified_Video-Language_Pre-Training_CVPR_2023_paper.html) [[code]](https:\u002F\u002Fgithub.com\u002Fshowlab\u002Fall-in-one)\r\n- `[Girdhar et al. CVPR23]` IMAGEBIND: One Embedding Space To Bind Them All. CVPR, 2023. [[paper]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FCVPR2023\u002Fpapers\u002FGirdhar_ImageBind_One_Embedding_Space_To_Bind_Them_All_CVPR_2023_paper.pdf) [[code]](https:\u002F\u002Ffacebookresearch.github.io\u002FImageBind)\r\n- `[Huang et al. CVPR23]` VoP: Text-Video Co-Operative Prompt Tuning for Cross-Modal Retrieval. CVPR, 2023. [[paper]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FCVPR2023\u002Fhtml\u002FHuang_VoP_Text-Video_Co-Operative_Prompt_Tuning_for_Cross-Modal_Retrieval_CVPR_2023_paper.html) [[code]](https:\u002F\u002Fgithub.com\u002Fbighuang624\u002FVoP)\r\n- `[Li et al. CVPR23]` LAVENDER: Unifying Video-Language Understanding As Masked Language Modeling. CVPR, 2023. [[paper]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FCVPR2023\u002Fpapers\u002FLi_LAVENDER_Unifying_Video-Language_Understanding_As_Masked_Language_Modeling_CVPR_2023_paper.pdf) [[code]](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FLAVENDER)\r\n- `[Huang et al. CVPR23]` Clover: Towards a Unified Video-Language Alignment and Fusion Model. CVPR, 2023. [[paper]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FCVPR2023\u002Fpapers\u002FHuang_Clover_Towards_a_Unified_Video-Language_Alignment_and_Fusion_Model_CVPR_2023_paper.pdf) [[code]](https:\u002F\u002Fgithub.com\u002FLeeYN-43\u002FClover)\r\n- `[Ji et al. CVPR23]` Seeing What You Miss: Vision-Language Pre-Training With Semantic Completion Learning. CVPR, 2023. [[paper]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FCVPR2023\u002Fpapers\u002FJi_Seeing_What_You_Miss_Vision-Language_Pre-Training_With_Semantic_Completion_Learning_CVPR_2023_paper.pdf) \r\n- `[Gan et al. CVPR23]` CNVid-3.5M: Build, Filter, and Pre-train the Large-scale Public Chinese Video-text Dataset. CVPR, 2023. [[paper]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FCVPR2023\u002Fpapers\u002FGan_CNVid-3.5M_Build_Filter_and_Pre-Train_the_Large-Scale_Public_Chinese_Video-Text_CVPR_2023_paper.pdf) [[code]](https:\u002F\u002Fgithub.com\u002FCNVid\u002FCNVid-3.5M)\r\n- `[Zhao et al. CVPRW23]` Cali-NCE: Boosting Cross-Modal Video Representation Learning With Calibrated Alignment. CVPRWorkshop, 2023. [[paper]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FCVPR2023W\u002FWFM\u002Fpapers\u002FZhao_Cali-NCE_Boosting_Cross-Modal_Video_Representation_Learning_With_Calibrated_Alignment_CVPRW_2023_paper.pdf) \r\n- `[Ma et al. TCSVT23]` Using Multimodal Contrastive Knowledge Distillation for Video-Text Retrieval. TCSVT, 2023. [[paper]](https:\u002F\u002Fieeexplore.ieee.org\u002Fabstract\u002Fdocument\u002F10068529) \r\n### 2022\r\n- `[Dong et al. ACMMM22]` Partially Relevant Video Retrieval. ACM Multimedia, 2022. [[homepage]](http:\u002F\u002Fdanieljf24.github.io\u002Fprvr\u002F) [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2208.12510)  [[code]](https:\u002F\u002Fgithub.com\u002FHuiGuanLab\u002Fms-sl) `A new text-to-video retrieval subtask`\r\n- `[Wang et al. ACMMM22]` Cross-Lingual Cross-Modal Retrieval with Noise-Robust Learning. ACM Multimedia, 2022. [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2208.12526)  [[code]](https:\u002F\u002Fgithub.com\u002FHuiGuanLab\u002Fnrccr)\r\n- `[Wang et al. ACMMM22]` Learn to Understand Negation in Video Retrieval. ACM Multimedia, 2022. [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2205.00132)  [[code]](https:\u002F\u002Fgithub.com\u002Fruc-aimc-lab\u002Fnt2vr)\r\n- `[Falcon et al. ACMMM22]` A Feature-space Multimodal Data Augmentation Technique for Text-video Retrieval. ACM Multimedia, 2022. [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2208.02080)  [[code]](https:\u002F\u002Fgithub.com\u002Faranciokov\u002FFSMMDA_VideoRetrieval)\r\n- `[Ma et al. ACMMM22]` X-CLIP: End-to-End Multi-grained Contrastive Learning for Video-Text Retrieval. ACM Multimedia, 2022. [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2207.07285) \r\n- `[Hu et al. ECCV22]` Lightweight Attentional Feature Fusion: A New Baseline for Text-to-Video Retrieval.  ECCV, 2022. [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2112.01832)  [[code]](https:\u002F\u002Fgithub.com\u002Fruc-aimc-lab\u002Flaff)\r\n- `[Liu et al. ECCV22]` TS2-Net: Token Shift and Selection Transformer for Text-Video Retrieval.  ECCV, 2022. [[paper]]( https:\u002F\u002Farxiv.org\u002Fabs\u002F2207.07852)  [[code]](https:\u002F\u002Fgithub.com\u002Fyuqi657\u002Fts2_net)\r\n- `[Dong et al. TCSVT22]` Reading-strategy Inspired Visual Representation Learning for Text-to-Video Retrieval. TCSVT, 2022. [[paper]]( https:\u002F\u002Farxiv.org\u002Fabs\u002F2201.09168) [[code]](https:\u002F\u002Fgithub.com\u002FLiJiaBei-7\u002Frivrl)\r\n- `[Li et al. CVPR22]` Align and Prompt: Video-and-Language Pre-training with Entity Prompts, CVPR, 2022. [[paper]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2112.09583.pdf) [[code]](https:\u002F\u002Fgithub.com\u002Fsalesforce\u002FALPRO)\r\n- `[Shvetsova et al. CVPR22]`Everything at Once -- Multi-modal Fusion Transformer for Video Retrieval. CVPR, 2022. [[paper]]( https:\u002F\u002Farxiv.org\u002Fabs\u002F2112.04446) [[code]](https:\u002F\u002Fgithub.com\u002Fninatu\u002Feverything_at_once)\r\n- `[Ge et al. CVPR22]`Bridging Video-text Retrieval with Multiple Choice Questions. CVPR, 2022. [[paper]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FCVPR2022\u002Fpapers\u002FGe_Bridging_Video-Text_Retrieval_With_Multiple_Choice_Questions_CVPR_2022_paper.pdf) [[code]](https:\u002F\u002Fgithub.com\u002FTencentARC\u002FMCQ)\r\n- `[Han et al. CVPR22]`Temporal Alignment Networks for Long-term Video. CVPR.2022. [[paper]]( https:\u002F\u002Fwww.robots.ox.ac.uk\u002F~vgg\u002Fpublications\u002F2022\u002FHan22a\u002Fhan22a.pdf) [[code]](https:\u002F\u002Fgithub.com\u002FTengdaHan\u002FTemporalAlignNet)\r\n- `[Gorti et al. CVPR22]` X-Pool: Cross-Modal Language-Video Attention for Text-Video Retrieval. CVPR, 2022. [[paper]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2203.15086.pdf) [[code]](https:\u002F\u002Fgithub.com\u002Flayer6ai-labs\u002Fxpool)\r\n- `[Lu et al. NIPS22]` LGDN: Language-Guided Denoising Network for Video-Language Modeling. NIPS, 2022. [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2209.11388)\r\n- `[Liu et al. SIGIR22]` Animating Images to Transfer CLIP for Video-Text Retrieval. SIGIR, 2022. [[paper]](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fabs\u002F10.1145\u002F3477495.3531776?casa_token=-9VDlX-Xbb0AAAAA:ime9df6nyBsml_E-5oBuwEriZEo0-iNtXfC-dwX7NedlWKvYGdtp31rk08-XEtmgQlzX7-0Qyz8g)\r\n- `[Zhao et al. SIGIR22]` CenterCLIP: Token Clustering for Efficient Text-Video Retrieval. SIGIR, 2022. [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2205.00823)\r\n- `[Liu et al. ACL22]` Cross-Modal Discrete Representation Learning. ACL, 2022. [[paper]]( https:\u002F\u002Faclanthology.org\u002F2022.acl-long.215\u002F)\r\n- `[Gabeur et al. WACV22]`   Masking Modalities for Cross-modal Video Retrieval. WACV, 2022. [[paper]]( https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FWACV2022\u002Fpapers\u002FGabeur_Masking_Modalities_for_Cross-Modal_Video_Retrieval_WACV_2022_paper.pdf) \r\n- `[Cao et al. AAAI22]` Visual Consensus Modeling for Video-Text Retrieval.  AAAI, 2022. [[paper]]( https:\u002F\u002Fwww.aaai.org\u002FAAAI22Papers\u002FAAAI-12427.CaoS.pdf) [[code]](https:\u002F\u002Fgithub.com\u002Fsqiangcao99\u002FVCM)\r\n- `[Cheng et al. AAAI22]` Improving Video-Text Retrieval by Multi-Stream Corpus Alignment and Dual Softmax Loss. AAAI, 2022. [[paper]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2109.04290.pdf)[[code]](https:\u002F\u002Fgithub.com\u002Fstarmemda\u002FCAMoE)\r\n- `[Wang et al. TMM22]` Many Hands Make Light Work: Transferring Knowledge from Auxiliary Tasks for Video-Text Retrieval.  IEEE Transactions on Multimedia, 2022. [[paper]](https:\u002F\u002Fieeexplore.ieee.org\u002Fabstract\u002Fdocument\u002F9707645\u002Fmetrics#metrics) \r\n- `[Park et al. NAACL22]` Exposing the Limits of Video-Text Models through Contrast Sets. NAACL, 2022. [[paper]](https:\u002F\u002Faclanthology.org\u002F2022.naacl-main.261\u002F) [[code]](https:\u002F\u002Fgithub.com\u002Fjamespark3922\u002Fvideo-lang-contrast-set) \r\n- `[Song et al. TOMM22]`  Adversarial Multi-Grained Embedding Network for Cross-Modal Text-Video Retrieval. TOMM, 2022. [[paper]]( https:\u002F\u002Fdl.acm.org\u002Fdoi\u002F10.1145\u002F3483381) \r\n- `[Bai et al. ARXIV22]` LaT: Latent Translation with Cycle-Consistency for Video-Text Retrieval. arXiv:2207.04858, 2022. [[paper]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2207.04858.pdf)\r\n- `[Bain et al. ARXIV22]` A CLIP-Hitchhiker's Guide to Long Video Retrieval. arXiv:2205.08508, 2022. [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2205.08508)\r\n- `[Gao et al. ARXIV22]` CLIP2TV: Align, Match and Distill for Video-Text Retrieval. arXiv:2111.05610, 2022. [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2111.05610)\r\n- `[Jiang et al. ARXIV22]` Tencent Text-Video Retrieval: Hierarchical Cross-Modal Interactions with Multi-Level Representations. \tarXiv:2204.03382, 2022. [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2204.03382)\r\n\r\n\r\n### 2021\r\n* `[Dong et al. TPAMI21]` Dual Encoding for Video Retrieval by Text. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021. [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2009.05381) [[code]](https:\u002F\u002Fgithub.com\u002Fdanieljf24\u002Fhybrid_space)\r\n* `[Wei et al. TPAMI21]` Universal Weighting Metric Learning for Cross-Modal Retrieval.  IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021. [[paper]](https:\u002F\u002Fieeexplore.ieee.org\u002Fabstract\u002Fdocument\u002F9454290)\r\n* `[Lei et al. CVPR21]` Less is More: CLIPBERT for Video-and-Language Learning via Sparse Sampling. CVPR, 2021. [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2102.06183) [[code]](https:\u002F\u002Fgithub.com\u002Fjayleicn\u002FClipBERT)\r\n* `[Wray et al. CVPR21]` On Semantic Similarity in Video Retrieval. CVPR, 2021. [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2103.10095) [[code]](https:\u002F\u002Fgithub.com\u002Fmwray\u002FSemantic-Video-Retrieval)\r\n* `[Chen et al. CVPR21]` Learning the Best Pooling Strategy for Visual Semantic Embedding. CVPR, 2021. [[paper]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FCVPR2021\u002Fpapers\u002FChen_Learning_the_Best_Pooling_Strategy_for_Visual_Semantic_Embedding_CVPR_2021_paper.pdf)[[code]](https:\u002F\u002Fgithub.com\u002Fwoodfrog\u002Fvse_infty)\r\n* `[Wang et al. CVPR21]` T2VLAD: Global-Local Sequence Alignment for Text-Video Retrieval. CVPR, 2021. [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2104.10054)\r\n* `[Miech et al. CVPR21]` Thinking Fast and Slow: Efficient Text-to-Visual Retrieval with Transformers. CVPR, 2021. [[paper]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2103.16553.pdf)\r\n* `[Liu et al. CVPR21]` Adaptive Cross-Modal Prototypes for Cross-Domain Visual-Language Retrieval. CVPR, 2021. [[paper]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FCVPR2021\u002Fpapers\u002FLiu_Adaptive_Cross-Modal_Prototypes_for_Cross-Domain_Visual-Language_Retrieval_CVPR_2021_paper.pdf)\r\n* `[Chen et al. ICCV21]` Multimodal Clustering Networks for Self-Supervised Learning from Unlabeled Videos. ICCV, 2021. [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2104.12671)\r\n* `[Ioana et al. ICCV21]` TEACHTEXT: CrossModal Generalized Distillation for Text-Video Retrieval. ICCV, 2021. [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2104.08271)[[code]](https:\u002F\u002Fgithub.com\u002Falbanie\u002Fcollaborative-experts)\r\n* `[Yang et al. ICCV21]` TACo: Token-aware Cascade Contrastive Learning for Video-Text Alignment. ICCV, 2021. [[paper]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FICCV2021\u002Fpapers\u002FYang_TACo_Token-Aware_Cascade_Contrastive_Learning_for_Video-Text_Alignment_ICCV_2021_paper.pdf)\r\n* `[Bian et al. ICCV21]` Frozen in Time: A Joint Video and Image Encoder for End-to-End Retrieval. ICCV, 2021. [[paper]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2104.00650.pdf)[[code]](https:\u002F\u002Fgithub.com\u002Fm-bain\u002Ffrozen-in-time)\r\n* `[Wen et al. ICCV21]` COOKIE: Contrastive Cross-Modal Knowledge Sharing Pre-Training for Vision-Language Representation. ICCV, 2021. [[paper]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FICCV2021\u002Fpapers\u002FWen_COOKIE_Contrastive_Cross-Modal_Knowledge_Sharing_Pre-Training_for_Vision-Language_Representation_ICCV_2021_paper.pdf)[[code]](https:\u002F\u002Fgithub.com\u002Fkywen1119\u002FCOOKIE)\r\n* `[Luo et al. ACMMM21]` CoCo-BERT: Improving Video-Language Pre-training with Contrastive Cross-modal Matching and Denoising.  ACM Multimedia, 2021. [[paper]](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fpdf\u002F10.1145\u002F3474085.3475703?casa_token=Mb_-EFrUkz0AAAAA:ww5LIXsZSbpaShmeT1UY10cZr4FBRIqmCwpN8jpPNERX71QV0dN3vq9fg8BZf1rY7OIJgA_7AMns1XE)\r\n* `[Wu et al. ACMMM21]` HANet: Hierarchical Alignment Networks for Video-Text Retrieval.  ACM Multimedia, 2021. [[paper]](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fpdf\u002F10.1145\u002F3474085.3475515)[[code]](https:\u002F\u002Fgithub.com\u002FRoc-Ng\u002FHANet)\r\n* `[Liu et al. ACMMM21]` Progressive Semantic Matching for Video-Text Retrieval.  ACM Multimedia, 2021. [[paper]](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fpdf\u002F10.1145\u002F3474085.3475621)\r\n* `[Han et al. ACMMM21]` Fine-grained Cross-modal Alignment Network for Text-Video Retrieval.  ACM Multimedia, 2021. [[paper]](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fpdf\u002F10.1145\u002F3474085.3475241)\r\n* `[Wei et al. ACMMM21]` Meta Self-Paced Learning for Cross-Modal Matching.  ACM Multimedia, 2021. [[paper]](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fpdf\u002F10.1145\u002F3474085.3475451)\r\n* `[Patrick et al. ICLR21]` Support-set Bottlenecks for Video-text Representation Learning. ICLR, 2021. [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2010.02824)\r\n* `[Qi et al. TIP21]` Semantics-Aware Spatial-Temporal Binaries for Cross-Modal Video Retrieval. IEEE Transactions on Image Processing, 2021. [[paper]](https:\u002F\u002Fieeexplore.ieee.org\u002Fabstract\u002Fdocument\u002F9351755)\r\n* `[Song et al. TMM21]` Spatial-temporal Graphs for Cross-modal Text2Video Retrieval. IEEE Transactions on Multimedia, 2021. [[paper]](https:\u002F\u002Fieeexplore.ieee.org\u002Fabstract\u002Fdocument\u002F9463746\u002F)\r\n* `[Dong et al. NEUCOM21]` Multi-level Alignment Network for Domain Adaptive Cross-modal Retrieval. Neurocomputing, 2021. [[paper]](http:\u002F\u002Fdanieljf24.github.io\u002Fpubs\u002Fpapers\u002F2021neurocom.pdf) [[code]](https:\u002F\u002Fgithub.com\u002FRecmoon\u002FMAN)\r\n* `[Jin et al. SIGIR21]` Hierarchical Cross-Modal Graph Consistency Learning for Video-Text Retrieval. SIGIR, 2020. [[paper]](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fabs\u002F10.1145\u002F3404835.3462974)\r\n* `[He et al. SIGIR21]`Improving Video Retrieval by Adaptive Margin. SIGIR, 2021. [[paper]](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fabs\u002F10.1145\u002F3404835.3462927)\r\n* `[Wang et al. IJCAI21]` Dig into Multi-modal Cues for Video Retrieval with Hierarchical Alignment. IJCAI, 2021. [[paper]](https:\u002F\u002Fwww.ijcai.org\u002Fproceedings\u002F2021\u002F0154.pdf)\r\n* `[Chen et al. AAAI21]` Mind-the-Gap! Unsupervised Domain Adaptation for Text-Video Retrieval. AAAI, 2021. [[paper]](https:\u002F\u002Fojs.aaai.org\u002Findex.php\u002FAAAI\u002Farticle\u002Fview\u002F16192)\r\n* `[Hao et al. ICME21]`What Matters: Attentive and Relational Feature Aggregation Network for Video-Text Retrieval. ICME, 2021. [[paper]](https:\u002F\u002Fieeexplore.ieee.org\u002Fabstract\u002Fdocument\u002F9428325)\r\n* `[Wu et al. ICME21]`Multi-Dimensional Attentive Hierarchical Graph Pooling Network for Video-Text Retrieval. ICME, 2021. [[paper]](https:\u002F\u002Fieeexplore.ieee.org\u002Fabstract\u002Fdocument\u002F9428153)\r\n* `[Song et al. ICIP21]` Semantic-Preserving Metric Learning for Video-Text Retrieval. IEEE International Conference on Image Processing, 2021. [[paper]](https:\u002F\u002Fieeexplore.ieee.org\u002Fabstract\u002Fdocument\u002F9506697)\r\n* `[Hao et al. ICMR21]` Multi-Feature Graph Attention Network for Cross-Modal Video-Text Retrieval. ICMR, 2021. [[paper]](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fpdf\u002F10.1145\u002F3460426.3463608)\r\n* `[Liu et al. ARXIV21]` HiT: Hierarchical Transformer with Momentum Contrast for Video-Text Retrieval. arXiv:2103.15049, 2021. [[paper]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2103.15049.pdf)\r\n* `[Akbari et al. ARXIV21]` VATT: Transformers for Multimodal Self-Supervised Learning from Raw Video, Audio and Text. arXiv:2104.11178 , 2021. [[paper]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2104.11178.pdf) [[code]](https:\u002F\u002Fgithub.com\u002Ftensorflow\u002Fmodels)\r\n* `[Fang et al. ARXIV21]` CLIP2Video: Mastering Video-Text Retrieval via Image CLIP. arXiv:2106.11097, 2021. [[paper]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2106.11097.pdf) [[code]](https:\u002F\u002Fgithub.com\u002FCryhanFang\u002FCLIP2Video)\r\n* `[Luo et al. ARXIV21]` CLIP4Clip: An Empirical Study of CLIP for End to End Video Clip Retrieval. arXiv:2104.08860, 2021. [[paper]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2104.08860.pdf)[[code]](https:\u002F\u002Fgithub.com\u002FArrowLuo\u002FCLIP4Clip)\r\n* `[Li et al. ARXIV21]` Align and Prompt: Video-and-Language Pre-training with Entity Prompts. arXiv:2112.09583, 2021. [[paper]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2112.09583.pdf)[[code]](https:\u002F\u002Fgithub.com\u002Fsalesforce\u002FALPRO)\r\n\r\n\r\n### 2020\r\n* `[Yang et al. SIGIR20]` Tree-Augmented Cross-Modal Encoding for Complex-Query Video Retrieval. SIGIR, 2020. [[paper]](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fpdf\u002F10.1145\u002F3397271.3401151) \r\n* `[Ging et al. NeurIPS20]` COOT: Cooperative Hierarchical Transformer for Video-Text Representation Learning. NeurIPS, 2020. [[paper]](https:\u002F\u002Fproceedings.neurips.cc\u002Fpaper\u002F2020\u002Ffile\u002Fff0abbcc0227c9124a804b084d161a2d-Paper.pdf)  [[code]](https:\u002F\u002Fgithub.com\u002Fgingsi\u002Fcoot-videotext)\r\n* `[Gabeur et al. ECCV20]` Multi-modal Transformer for Video Retrieval. ECCV, 2020. [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2007.10639) [[code]](https:\u002F\u002Fgithub.com\u002Fgabeur\u002Fmmt) [[homepage]](http:\u002F\u002Fthoth.inrialpes.fr\u002Fresearch\u002FMMT\u002F)\r\n* `[Li et al. TMM20]` SEA: Sentence Encoder Assembly for Video Retrieval by Textual Queries. IEEE Transactions on Multimedia, 2020. [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2011.12091)\r\n* `[Wang et al. TMM20]` Learning Coarse-to-Fine Graph Neural Networks for Video-Text Retrieval. IEEE Transactions on Multimedia, 2020. [[paper]](https:\u002F\u002Fieeexplore.ieee.org\u002Fabstract\u002Fdocument\u002F9147074)\r\n* `[Chen et al. TMM20]` Interclass-Relativity-Adaptive Metric Learning for Cross-Modal Matching and Beyond. IEEE Transactions on Multimedia, 2020. [[paper]](https:\u002F\u002Fieeexplore.ieee.org\u002Fabstract\u002Fdocument\u002F9178501)\r\n* `[Wu et al. ACMMM20]` Interpretable Embedding for Ad-Hoc Video Search. ACM Multimedia, 2020. [[paper]](http:\u002F\u002Fvireo.cs.cityu.edu.hk\u002Fpapers\u002FMM2020_dual_task_video_retrieval.pdf) \r\n* `[Feng et al. IJCAI20]` Exploiting Visual Semantic Reasoning for Video-Text Retrieval. IJCAI, 2020. [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2006.08889) \r\n* `[Wei et al. CVPR20]` Universal Weighting Metric Learning for Cross-Modal Retrieval. CVPR, 2020. [[paper]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_CVPR_2020\u002Fpapers\u002FWei_Universal_Weighting_Metric_Learning_for_Cross-Modal_Matching_CVPR_2020_paper.pdf)\r\n* `[Doughty et al. CVPR20]` Action Modifiers: Learning from Adverbs in Instructional Videos. CVPR, 2020. [[paper]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_CVPR_2020\u002Fpapers\u002FDoughty_Action_Modifiers_Learning_From_Adverbs_in_Instructional_Videos_CVPR_2020_paper.pdf)\r\n* `[Chen et al. CVPR20]` Fine-grained Video-Text Retrieval with Hierarchical Graph Reasoning. CVPR, 2020. [[paper]](http:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_CVPR_2020\u002Fpapers\u002FChen_Fine-Grained_Video-Text_Retrieval_With_Hierarchical_Graph_Reasoning_CVPR_2020_paper.pdf)\r\n* `[Zhu et al. CVPR20]` ActBERT: Learning Global-Local Video-Text Representations. CVPR, 2020. [[paper]](http:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_CVPR_2020\u002Fpapers\u002FZhu_ActBERT_Learning_Global-Local_Video-Text_Representations_CVPR_2020_paper.pdf)\r\n* `[Miech et al. CVPR20]` End-to-End Learning of Visual Representations From Uncurated Instructional Videos. CVPR, 2020. [[paper]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_CVPR_2020\u002Fpapers\u002FMiech_End-to-End_Learning_of_Visual_Representations_From_Uncurated_Instructional_Videos_CVPR_2020_paper.pdf) [[code]](https:\u002F\u002Fgithub.com\u002Fantoine77340\u002FMIL-NCE_HowTo100M) [[homepage]](https:\u002F\u002Fwww.di.ens.fr\u002Fwillow\u002Fresearch\u002Fmil-nce\u002F)\r\n* `[Zhao et al. ICME20]` Stacked Convolutional Deep Encoding Network For Video-Text Retrieval. ICME, 2020. [[paper]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2004.04959.pdf)\r\n* `[Luo et al. ARXIV20]` UniVL: A Unified Video and Language Pre-Training Model for Multimodal Understanding and Generation. arXiv:2002.06353, 2020. [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2002.06353v3)\r\n\r\n\r\n### 2019\r\n* `[Dong et al. CVPR19]` Dual Encoding for Zero-Example Video Retrieval. CVPR, 2019. [[paper]](http:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_CVPR_2019\u002Fpapers\u002FDong_Dual_Encoding_for_Zero-Example_Video_Retrieval_CVPR_2019_paper.pdf) [[code]](https:\u002F\u002Fgithub.com\u002Fdanieljf24\u002Fdual_encoding)\r\n* `[Song et al. CVPR19]` Polysemous visual-semantic embedding for cross-modal retrieval. CVPR, 2019. [[paper]](http:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_CVPR_2019\u002Fpapers\u002FSong_Polysemous_Visual-Semantic_Embedding_for_Cross-Modal_Retrieval_CVPR_2019_paper.pdf)\r\n* `[Wray et al. ICCV19]` Fine-Grained Action Retrieval Through Multiple Parts-of-Speech Embeddings. ICCV, 2019. [[paper]](http:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_ICCV_2019\u002Fpapers\u002FWray_Fine-Grained_Action_Retrieval_Through_Multiple_Parts-of-Speech_Embeddings_ICCV_2019_paper.pdf)\r\n* `[Xiong et al. ICCV19]` A Graph-Based Framework to Bridge Movies and Synopses. ICCV, 2019. [[paper]](http:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_ICCV_2019\u002Fpapers\u002FXiong_A_Graph-Based_Framework_to_Bridge_Movies_and_Synopses_ICCV_2019_paper.pdf)\r\n* `[Li et al. ACMMM19]` W2VV++ Fully Deep Learning for Ad-hoc Video Search. ACM Multimedia, 2019. [[paper]](http:\u002F\u002Flixirong.net\u002Fpub\u002Fmm2019-w2vvpp.pdf) [[code]](https:\u002F\u002Fgithub.com\u002Fli-xirong\u002Fw2vvpp)\r\n* `[Liu et al. BMVC19]` Use What You Have: Video Retrieval Using Representations From Collaborative Experts. MBVC, 2019. [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1907.13487) [[code]](https:\u002F\u002Fgithub.com\u002Falbanie\u002Fcollaborative-experts)\r\n* `[Choi et al. BigMM19]` From Intra-Modal to Inter-Modal Space: Multi-Task Learning of Shared Representations for Cross-Modal Retrieval. International Conference on Multimedia Big Data, 2019. [[paper]](https:\u002F\u002Frepository.ubn.ru.nl\u002Fbitstream\u002Fhandle\u002F2066\u002F209215\u002F209215.pdf?sequence=1)\r\n\r\n\r\n### 2018\r\n* `[Dong et al. TMM18]` Predicting visual features from text for image and video caption retrieval. IEEE Transactions on Multimedia, 2018. [[paper]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1709.01362) [[code]](https:\u002F\u002Fgithub.com\u002Fdanieljf24\u002Fw2vv)\r\n* `[Zhang et al. ECCV18]` Cross-Modal and Hierarchical Modeling of Video and Text. ECCV, 2018. [[paper]](http:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_ECCV_2018\u002Fpapers\u002FBowen_Zhang_Cross-Modal_and_Hierarchical_ECCV_2018_paper.pdf) [[code]](https:\u002F\u002Fgithub.com\u002Fzbwglory\u002FCMHSE)\r\n* `[Yu et al. ECCV18]` A Joint Sequence Fusion Model for Video Question Answering and Retrieval. ECCV, 2018. [[paper]](http:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_ECCV_2018\u002Fpapers\u002FYoungjae_Yu_A_Joint_Sequence_ECCV_2018_paper.pdf)\r\n* `[Shao et al. ECCV18]` Find and focus: Retrieve and localize video events with natural language queries. ECCV, 2018. [[paper]](http:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_ECCV_2018\u002Fpapers\u002FDian_SHAO_Find_and_Focus_ECCV_2018_paper.pdf)\r\n* `[Mithun et al. ICMR18]` Learning Joint Embedding with Multimodal Cues for Cross-Modal Video-Text Retrieval. ICMR, 2018. [[paper]](https:\u002F\u002Fdl.acm.org\u002Fcitation.cfm?id=3206064) [[code]](https:\u002F\u002Fgithub.com\u002Fniluthpol\u002Fmultimodal_vtt)\r\n* `[Miech et al. arXiv18]` Learning a Text-Video Embedding from Incomplete and Heterogeneous Data. arXiv preprint arXiv:1804.02516, 2018. [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1809.06181) [[code]](https:\u002F\u002Fgithub.com\u002Fantoine77340\u002FMixture-of-Embedding-Experts)\r\n\r\n\r\n### Before\r\n* `[Yu et al. CVPR17]` End-to-end concept word detection for video captioning, retrieval, and question answering. CVPR, 2017. [[paper]](http:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_cvpr_2017\u002Fpapers\u002FYu_End-To-End_Concept_Word_CVPR_2017_paper.pdf) [[code]](https:\u002F\u002Fgitlab.com\u002Ffodrh1201\u002FCT-SAN\u002Ftree\u002Fmaster)\r\n* `[OtaniEmail et al. ECCVW2016]` Learning joint representations of videos and sentences with web image search. ECCV Workshop, 2016. [[paper]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1608.02367)\r\n* `[Xu et al. AAAI15]` Jointly modeling deep video and compositional text to bridge vision and language in a unified framework. AAAI, 2015. [[paper]](https:\u002F\u002Fwww.aaai.org\u002Focs\u002Findex.php\u002FAAAI\u002FAAAI15\u002Fpaper\u002Fview\u002F9734\u002F9563)\r\n\r\n\r\n### Ad-hoc Video Search\r\n* For the papers targeting at ad-hoc video search in the context of [TRECVID](https:\u002F\u002Ftrecvid.nist.gov\u002F), please refer to [here](https:\u002F\u002Fgithub.com\u002Fli-xirong\u002Fvideo-retrieval).\r\n\r\n\r\n### Other Related\r\n* `[Rouditchenko et al. INTERSPEECH21]` AVLnet: Learning Audio-Visual Language Representations from Instructional Videos. Interspeech, 2021. [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2006.09199) [[code]](https:\u002F\u002Fgithub.com\u002Froudimit\u002FAVLnet)\r\n* `[Li et al. arXiv20]` Learning Spatiotemporal Features via Video and Text Pair Discrimination. arXiv preprint arXiv:2001.05691, 2020. [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2001.05691) \r\n\r\n\r\n\r\n\r\n## Datasets\r\n* `[MSVD]`  David et al. Collecting Highly Parallel Data for Paraphrase Evaluation. ACL, 2011. [[paper]](https:\u002F\u002Fwww.aclweb.org\u002Fanthology\u002FP11-1020) [[dataset]](http:\u002F\u002Fwww.cs.utexas.edu\u002Fusers\u002Fml\u002Fclamp\u002FvideoDescription\u002F)\r\n* `[MSRVTT]` Xu et al. MSR-VTT: A Large Video Description Dataset for Bridging Video and Language. CVPR, 2016. [[paper]](https:\u002F\u002Fwww.microsoft.com\u002Fen-us\u002Fresearch\u002Fwp-content\u002Fuploads\u002F2016\u002F06\u002Fcvpr16.msr-vtt.tmei_-1.pdf) [[dataset]](http:\u002F\u002Fms-multimedia-challenge.com\u002F2017\u002Fdataset)\r\n* `[TGIF]` Li et al. TGIF: A new dataset and benchmark on animated GIF description. CVPR, 2016. [[paper]](https:\u002F\u002Fhal.archives-ouvertes.fr\u002Fhal-01854776\u002Fdocument) [[homepage]](http:\u002F\u002Fraingo.github.io\u002FTGIF-Release\u002F)\r\n* `[AVS]` Awad et al. Trecvid 2016: Evaluating video search, video event detection, localization, and hyperlinking. TRECVID Workshop, 2016. [[paper]](https:\u002F\u002Fhal.archives-ouvertes.fr\u002Fhal-01854776\u002Fdocument) [[dataset]](https:\u002F\u002Fgithub.com\u002Fli-xirong\u002Favs)\r\n* `[LSMDC]` Rohrbach et al. Movie description. IJCV, 2017. [[paper]](https:\u002F\u002Flink.springer.com\u002Farticle\u002F10.1007\u002Fs11263-016-0987-1) [[dataset]](https:\u002F\u002Fsites.google.com\u002Fsite\u002Fdescribingmovies\u002Fdownload)\r\n* `[ActivityNet Captions]` Krishna et al. Dense-captioning events in videos. ICCV, 2017. [[paper]](http:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_ICCV_2017\u002Fpapers\u002FKrishna_Dense-Captioning_Events_in_ICCV_2017_paper.pdf) [[dataset]](https:\u002F\u002Fcs.stanford.edu\u002Fpeople\u002Franjaykrishna\u002Fdensevid\u002F)\r\n* `[DiDeMo]` Hendricks et al. Localizing Moments in Video with Natural Language. ICCV, 2017. [[paper]](http:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_ICCV_2017\u002Fpapers\u002FHendricks_Localizing_Moments_in_ICCV_2017_paper.pdf) [[code]](https:\u002F\u002Fgithub.com\u002FLisaAnne\u002FLocalizingMoments) \r\n* `[HowTo100M]` Miech et al. HowTo100M: Learning a Text-Video Embedding by Watching Hundred Million Narrated Video Clips. ICCV, 2019. [[paper]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1906.03327.pdf) [[homepage]](https:\u002F\u002Fwww.di.ens.fr\u002Fwillow\u002Fresearch\u002Fhowto100m\u002F) \r\n* `[VATEX]` Wang et al. VATEX: A Large-Scale, High-Quality Multilingual Dataset for Video-and-Language Research. ICCV, 2019. [[paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1904.03493) [[homepage]](http:\u002F\u002Fvatex.org\u002Fmain\u002Findex.html)\r\n\r\n\r\n\r\n## Licenses\r\n\r\n[![CC0](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdanieljf24_awesome-video-text-retrieval_readme_b7657951a0bb.png)](http:\u002F\u002Fcreativecommons.org\u002Fpublicdomain\u002Fzero\u002F1.0\u002F)\r\n\r\nTo the extent possible under law, [danieljf24](https:\u002F\u002Fgithub.com\u002Fdanieljf24) all copyright and related or neighboring rights to this repository.\r\n","# 深度学习在视频-文本检索中的优秀资源 [![Awesome](https:\u002F\u002Fcdn.rawgit.com\u002Fsindresorhus\u002Fawesome\u002Fd7305f38d29fed78fa85652e3a63e154dd8e8829\u002Fmedia\u002Fbadge.svg)](https:\u002F\u002Fgithub.com\u002Fsindresorhus\u002Fawesome)\n\n一个精心整理的深度学习资源列表，专注于视频-文本检索领域。\n\n## 贡献\n欢迎随时提交[拉取请求](https:\u002F\u002Fgithub.com\u002Fdanieljf24\u002Fawesome-video-text-retrieval\u002Fpulls)以添加相关论文。\n\nMarkdown格式如下：\n\n```markdown\n- `[作者 期刊\u002F会议名称 年份]` 标题。期刊\u002F会议名称，年份。[[论文]](链接) [[代码]](链接) [[主页]](链接)\n```\n\n\n## 目录\n- [实现](#implementations)\n  - [PyTorch](#pytorch)\n  - [TensorFlow](#tensorflow)\n  - [其他](#others)\n- [论文](#papers)\n  - [2023](#2023) - [2022](#2022) - [2021](#2021) - [2020](#2020) - [2019](#2019) - [2018](#2018) - [之前](#before)\n  - [临时视频搜索](#ad-hoc-video-search)\n  - [其他相关](#other-related)\n- [数据集](#datasets)\n\n\n\n## 实现\n\n#### PyTorch\n- [hybrid_space](https:\u002F\u002Fgithub.com\u002Fdanieljf24\u002Fhybrid_space)\n- [dual_encoding](https:\u002F\u002Fgithub.com\u002Fdanieljf24\u002Fdual_encoding)\n- [w2vvpp](https:\u002F\u002Fgithub.com\u002Fli-xirong\u002Fw2vvpp)\n- [Mixture-of-Embedding-Experts](https:\u002F\u002Fgithub.com\u002Fantoine77340\u002FMixture-of-Embedding-Experts)\n- [howto100m](https:\u002F\u002Fgithub.com\u002Fantoine77340\u002Fhowto100m)\n- [collaborative](https:\u002F\u002Fgithub.com\u002Falbanie\u002Fcollaborative-experts)\n- [hgr](https:\u002F\u002Fgithub.com\u002Fcshizhe\u002Fhgr_v2t)\n- [coot](https:\u002F\u002Fgithub.com\u002Fgingsi\u002Fcoot-videotext)\n- [mmt](https:\u002F\u002Fgithub.com\u002Fgabeur\u002Fmmt)\n- [ClipBERT](https:\u002F\u002Fgithub.com\u002Fjayleicn\u002FClipBERT)\n\n#### TensorFlow\n- [jsfusion](https:\u002F\u002Fgithub.com\u002Fyj-yu\u002Flsmdc)\n\n#### Others\n- [w2vv](https:\u002F\u002Fgithub.com\u002Fdanieljf24\u002Fw2vv)(Keras)\n\n#### 有用的工具包\n- [使用MXNet从视频帧中提取CNN特征](https:\u002F\u002Fgithub.com\u002Fxuchaoxi\u002Fvideo-cnn-feat)\n\n## 论文\n### 2023\n- `[Pei et al. CVPR23]` CLIPPING：利用学生模型蒸馏基于CLIP的视频-语言检索模型。CVPR，2023年。[[论文]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FCVPR2023\u002Fpapers\u002FPei_CLIPPING_Distilling_CLIP-Based_Models_With_a_Student_Base_for_Video-Language_CVPR_2023_paper.pdf) \n- `[Li et al. CVPR23]` SViTT：稀疏视频-文本Transformer的时间建模。CVPR，2023年。[[论文]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FCVPR2023\u002Fpapers\u002FLi_SViTT_Temporal_Learning_of_Sparse_Video-Text_Transformers_CVPR_2023_paper.pdf) [[代码]](http:\u002F\u002Fsvcl.ucsd.edu\u002Fprojects\u002Fsvitt\u002F)\n- `[Wu et al. CVPR23]` Cap4Video：辅助字幕对文本-视频检索有何作用？CVPR，2023年。[[论文]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FCVPR2023\u002Fpapers\u002FWu_Cap4Video_What_Can_Auxiliary_Captions_Do_for_Text-Video_Retrieval_CVPR_2023_paper.pdf) [[代码]](https:\u002F\u002Fgithub.com\u002Fwhwu95\u002FCap4Video)\n- `[Ko et al. CVPR23]` MELTR：用于学习微调视频基础模型的元损失Transformer。CVPR，2023年。[[论文]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FCVPR2023\u002Fpapers\u002FKo_MELTR_Meta_Loss_Transformer_for_Learning_To_Fine-Tune_Video_Foundation_CVPR_2023_paper.pdf) [[代码]](https:\u002F\u002Fgithub.com\u002Fmlvlab\u002F)\n- `[Wang et al. CVPR23]` All in One：探索统一的视频-语言预训练。CVPR，2023年。[[论文]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FCVPR2023\u002Fhtml\u002FWang_All_in_One_Exploring_Unified_Video-Language_Pre-Training_CVPR_2023_paper.html) [[代码]](https:\u002F\u002Fgithub.com\u002Fshowlab\u002Fall-in-one)\n- `[Girdhar et al. CVPR23]` IMAGEBIND：一个嵌入空间，将所有内容绑定在一起。CVPR，2023年。[[论文]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FCVPR2023\u002Fpapers\u002FGirdhar_ImageBind_One_Embedding_Space_To_Bind_Them_All_CVPR_2023_paper.pdf) [[代码]](https:\u002F\u002Ffacebookresearch.github.io\u002FImageBind)\n- `[Huang et al. CVPR23]` VoP：用于跨模态检索的文本-视频协同提示调优。CVPR，2023年。[[论文]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FCVPR2023\u002Fhtml\u002FHuang_VoP_Text-Video_Co-Operative_Prompt_Tuning_for_Cross-Modal_Retrieval_CVPR_2023_paper.html) [[代码]](https:\u002F\u002Fgithub.com\u002Fbighuang624\u002FVoP)\n- `[Li et al. CVPR23]` LAVENDER：将视频-语言理解统一为掩码语言建模。CVPR，2023年。[[论文]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FCVPR2023\u002Fpapers\u002FLi_LAVENDER_Unifying_Video-Language_Understanding_As_Masked_Language_Modeling_CVPR_2023_paper.pdf) [[代码]](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FLAVENDER)\n- `[Huang et al. CVPR23]` Clover：迈向统一的视频-语言对齐与融合模型。CVPR，2023年。[[论文]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FCVPR2023\u002Fpapers\u002FHuang_Clover_Towards_a_Unified_Video-Language_Alignment_and_Fusion_Model_CVPR_2023_paper.pdf) [[代码]](https:\u002F\u002Fgithub.com\u002FLeeYN-43\u002FClover)\n- `[Ji et al. CVPR23]` 看到你所忽略的：通过语义补全学习进行视觉-语言预训练。CVPR，2023年。[[论文]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FCVPR2023\u002Fpapers\u002FJi_Seeing_What_You_Miss_Vision-Language_Pre-Training_With_Semantic_Completion_Learning_CVPR_2023_paper.pdf) \n- `[Gan et al. CVPR23]` CNVid-3.5M：构建、筛选并预训练大规模公开中文视频-文本数据集。CVPR，2023年。[[论文]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FCVPR2023\u002Fpapers\u002FGan_CNVid-3.5M_Build_Filter_and_Pre-Train_the_Large-Scale_Public_Chinese_Video-Text_CVPR_2023_paper.pdf) [[代码]](https:\u002F\u002Fgithub.com\u002FCNVid\u002FCNVid-3.5M)\n- `[Zhao et al. CVPRW23]` Cali-NCE：通过校准对齐提升跨模态视频表征学习。CVPR研讨会，2023年。[[论文]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FCVPR2023W\u002FWFM\u002Fpapers\u002FZhao_Cali-NCE_Boosting_Cross-Modal_Video_Representation_Learning_With_Calibrated_Alignment_CVPRW_2023_paper.pdf) \n- `[Ma et al. TCSVT23]` 利用多模态对比知识蒸馏进行视频-文本检索。TCSVT，2023年。[[论文]](https:\u002F\u002Fieeexplore.ieee.org\u002Fabstract\u002Fdocument\u002F10068529)\n\n### 2022年\n- `[Dong等. ACMMM22]` 部分相关视频检索。ACM多媒体会议，2022年。[[主页]](http:\u002F\u002Fdanieljf24.github.io\u002Fprvr\u002F) [[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2208.12510) [[代码]](https:\u002F\u002Fgithub.com\u002FHuiGuanLab\u002Fms-sl) `一种新的文本到视频检索子任务`\n- `[Wang等. ACMMM22]` 基于噪声鲁棒学习的跨语言跨模态检索。ACM多媒体会议，2022年。[[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2208.12526) [[代码]](https:\u002F\u002Fgithub.com\u002FHuiGuanLab\u002Fnrccr)\n- `[Wang等. ACMMM22]` 学习理解视频检索中的否定。ACM多媒体会议，2022年。[[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2205.00132) [[代码]](https:\u002F\u002Fgithub.com\u002Fruc-aimc-lab\u002Fnt2vr)\n- `[Falcon等. ACMMM22]` 用于文本-视频检索的特征空间多模态数据增强技术。ACM多媒体会议，2022年。[[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2208.02080) [[代码]](https:\u002F\u002Fgithub.com\u002Faranciokov\u002FFSMMDA_VideoRetrieval)\n- `[Ma等. ACMMM22]` X-CLIP：面向视频-文本检索的端到端多粒度对比学习。ACM多媒体会议，2022年。[[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2207.07285)\n- `[Hu等. ECCV22]` 轻量级注意力特征融合：文本-视频检索的新基线。ECCV，2022年。[[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2112.01832) [[代码]](https:\u002F\u002Fgithub.com\u002Fruc-aimc-lab\u002Flaff)\n- `[Liu等. ECCV22]` TS2-Net：用于文本-视频检索的标记移位与选择Transformer。ECCV，2022年。[[论文]]( https:\u002F\u002Farxiv.org\u002Fabs\u002F2207.07852) [[代码]](https:\u002F\u002Fgithub.com\u002Fyuqi657\u002Fts2_net)\n- `[Dong等. TCSVT22]` 受阅读策略启发的视觉表征学习用于文本-视频检索。TCSVT，2022年。[[论文]]( https:\u002F\u002Farxiv.org\u002Fabs\u002F2201.09168) [[代码]](https:\u002F\u002Fgithub.com\u002FLiJiaBei-7\u002Frivrl)\n- `[Li等. CVPR22]` 对齐与提示：基于实体提示的视频-语言预训练，CVPR，2022年。[[论文]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2112.09583.pdf) [[代码]](https:\u002F\u002Fgithub.com\u002Fsalesforce\u002FALPRO)\n- `[Shvetsova等. CVPR22]` 一网打尽——用于视频检索的多模态融合Transformer。CVPR，2022年。[[论文]]( https:\u002F\u002Farxiv.org\u002Fabs\u002F2112.04446) [[代码]](https:\u002F\u002Fgithub.com\u002Fninatu\u002Feverything_at_once)\n- `[Ge等. CVPR22]` 用多项选择题架起视频-文本检索的桥梁。CVPR，2022年。[[论文]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FCVPR2022\u002Fpapers\u002FGe_Bridging_Video-Text_Retrieval_With_Multiple_Choice_Questions_CVPR_2022_paper.pdf) [[代码]](https:\u002F\u002Fgithub.com\u002FTencentARC\u002FMCQ)\n- `[Han等. CVPR22]` 长时视频的时序对齐网络。CVPR，2022年。[[论文]]( https:\u002F\u002Fwww.robots.ox.ac.uk\u002F~vgg\u002Fpublications\u002F2022\u002FHan22a\u002Fhan22a.pdf) [[代码]](https:\u002F\u002Fgithub.com\u002FTengdaHan\u002FTemporalAlignNet)\n- `[Gorti等. CVPR22]` X-Pool：用于文本-视频检索的跨模态语言-视频注意力机制。CVPR，2022年。[[论文]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2203.15086.pdf) [[代码]](https:\u002F\u002Fgithub.com\u002Flayer6ai-labs\u002Fxpool)\n- `[Lu等. NIPS22]` LGDN：用于视频-语言建模的语言引导去噪网络。NIPS，2022年。[[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2209.11388)\n- `[Liu等. SIGIR22]` 动画化图像以迁移CLIP用于视频-文本检索。SIGIR，2022年。[[论文]](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fabs\u002F10.1145\u002F3477495.3531776?casa_token=-9VDlX-Xbb0AAAAA:ime9df6nyBsml_E-5oBuwEriZEo0-iNtXfC-dwX7NedlWKvYGdtp31rk08-XEtmgQlzX7-0Qyz8g)\n- `[Zhao等. SIGIR22]` CenterCLIP：用于高效文本-视频检索的标记聚类。SIGIR，2022年。[[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2205.00823)\n- `[Liu等. ACL22]` 跨模态离散表征学习。ACL，2022年。[[论文]]( https:\u002F\u002Faclanthology.org\u002F2022.acl-long.215\u002F)\n- `[Gabeur等. WACV22]` 用于跨模态视频检索的模态掩码。WACV，2022年。[[论文]]( https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FWACV2022\u002Fpapers\u002FGabeur_Masking_Modalities_for_Cross-Modal_Video_Retrieval_WACV_2022_paper.pdf) \n- `[Cao等. AAAI22]` 用于视频-文本检索的视觉共识建模。AAAI，2022年。[[论文]]( https:\u002F\u002Fwww.aaai.org\u002FAAAI22Papers\u002FAAAI-12427.CaoS.pdf) [[代码]](https:\u002F\u002Fgithub.com\u002Fsqiangcao99\u002FVCM)\n- `[Cheng等. AAAI22]` 通过多流语料库对齐和双Softmax损失提升视频-文本检索性能。AAAI，2022年。[[论文]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2109.04290.pdf)[[代码]](https:\u002F\u002Fgithub.com\u002Fstarmemda\u002FCAMoE)\n- `[Wang等. TMM22]` 众人拾柴火焰高：从辅助任务中迁移知识用于视频-文本检索。IEEE多媒体汇刊，2022年。[[论文]](https:\u002F\u002Fieeexplore.ieee.org\u002Fabstract\u002Fdocument\u002F9707645\u002Fmetrics#metrics) \n- `[Park等. NAACL22]` 通过对比集合揭示视频-文本模型的局限性。NAACL，2022年。[[论文]](https:\u002F\u002Faclanthology.org\u002F2022.naacl-main.261\u002F) [[代码]](https:\u002F\u002Fgithub.com\u002Fjamespark3922\u002Fvideo-lang-contrast-set) \n- `[Song等. TOMM22]` 用于跨模态文本-视频检索的对抗性多粒度嵌入网络。TOMM，2022年。[[论文]]( https:\u002F\u002Fdl.acm.org\u002Fdoi\u002F10.1145\u002F3483381) \n- `[Bai等. ARXIV22]` LaT：用于视频-文本检索的具有循环一致性的潜在翻译。arXiv：2207.04858，2022年。[[论文]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2207.04858.pdf)\n- `[Bain等. ARXIV22]` 长视频检索的CLIP搭便车指南。arXiv：2205.08508，2022年。[[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2205.08508)\n- `[Gao等. ARXIV22]` CLIP2TV：对齐、匹配与蒸馏用于视频-文本检索。arXiv：2111.05610，2022年。[[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2111.05610)\n- `[Jiang等. ARXIV22]` 腾讯文本-视频检索：具有多级表征的层次化跨模态交互。arXiv：2204.03382，2022年。[[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2204.03382)\n\n### 2021年\r\n* `[Dong等. TPAMI21]` 基于文本的视频检索双编码方法。IEEE模式分析与机器智能汇刊，2021年。[[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2009.05381) [[代码]](https:\u002F\u002Fgithub.com\u002Fdanieljf24\u002Fhybrid_space)\r\n* `[Wei等. TPAMI21]` 用于跨模态检索的通用加权度量学习。IEEE模式分析与机器智能汇刊，2021年。[[论文]](https:\u002F\u002Fieeexplore.ieee.org\u002Fabstract\u002Fdocument\u002F9454290)\r\n* `[Lei等. CVPR21]` 少即是多：通过稀疏采样实现视频与语言联合学习的CLIPBERT。CVPR，2021年。[[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2102.06183) [[代码]](https:\u002F\u002Fgithub.com\u002Fjayleicn\u002FClipBERT)\r\n* `[Wray等. CVPR21]` 关于视频检索中的语义相似性。CVPR，2021年。[[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2103.10095) [[代码]](https:\u002F\u002Fgithub.com\u002Fmwray\u002FSemantic-Video-Retrieval)\r\n* `[Chen等. CVPR21]` 学习视觉语义嵌入的最佳池化策略。CVPR，2021年。[[论文]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FCVPR2021\u002Fpapers\u002FChen_Learning_the_Best_Pooling_Strategy_for_Visual_Semantic_Embedding_CVPR_2021_paper.pdf)[[代码]](https:\u002F\u002Fgithub.com\u002Fwoodfrog\u002Fvse_infty)\r\n* `[Wang等. CVPR21]` T2VLAD：面向文本-视频检索的全局-局部序列对齐。CVPR，2021年。[[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2104.10054)\r\n* `[Miech等. CVPR21]` 快思考与慢思考：基于Transformer的高效文本到视觉检索。CVPR，2021年。[[论文]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2103.16553.pdf)\r\n* `[Liu等. CVPR21]` 用于跨域视觉-语言检索的自适应跨模态原型。CVPR，2021年。[[论文]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FCVPR2021\u002Fpapers\u002FLiu_Adaptive_Cross-Modal_Prototypes_for_Cross-Domain_Visual-Language_Retrieval_CVPR_2021_paper.pdf)\r\n* `[Chen等. ICCV21]` 用于从无标签视频中进行自监督学习的多模态聚类网络。ICCV，2021年。[[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2104.12671)\r\n* `[Ioana等. ICCV21]` TEACHTEXT：面向文本-视频检索的跨模态广义蒸馏。ICCV，2021年。[[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2104.08271)[[代码]](https:\u002F\u002Fgithub.com\u002Falbanie\u002Fcollaborative-experts)\r\n* `[Yang等. ICCV21]` TACo：面向视频-文本对齐的令牌感知级联对比学习。ICCV，2021年。[[论文]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FICCV2021\u002Fpapers\u002FYang_TACo_Token-Aware_Cascade_Contrastive_Learning_for_Video-Text_Alignment_ICCV_2021_paper.pdf)\r\n* `[Bian等. ICCV21]` 冻结时间：用于端到端检索的视频与图像联合编码器。ICCV，2021年。[[论文]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2104.00650.pdf)[[代码]](https:\u002F\u002Fgithub.com\u002Fm-bain\u002Ffrozen-in-time)\r\n* `[Wen等. ICCV21]` COOKIE：面向视觉-语言表示的对比式跨模态知识共享预训练。ICCV，2021年。[[论文]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FICCV2021\u002Fpapers\u002FWen_COOKIE_Contrastive_Cross-Modal_Knowledge_Sharing_Pre-Training_for_Vision-Language_Representation_ICCV_2021_paper.pdf)[[代码]](https:\u002F\u002Fgithub.com\u002Fkywen1119\u002FCOOKIE)\r\n* `[Luo等. ACMMM21]` CoCo-BERT：通过对比式跨模态匹配和去噪改进视频-语言预训练。ACM多媒体，2021年。[[论文]](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fpdf\u002F10.1145\u002F3474085.3475703?casa_token=Mb_-EFrUkz0AAAAA:ww5LIXsZSbpaShmeT1UY10cZr4FBRIqmCwpN8jpPNERX71QV0dN3vq9fg8BZf1rY7OIJgA_7AMns1XE)\r\n* `[Wu等. ACMMM21]` HANet：用于视频-文本检索的层次化对齐网络。ACM多媒体，2021年。[[论文]](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fpdf\u002F10.1145\u002F3474085.3475515)[[代码]](https:\u002F\u002Fgithub.com\u002FRoc-Ng\u002FHANet)\r\n* `[Liu等. ACMMM21]` 面向视频-文本检索的渐进式语义匹配。ACM多媒体，2021年。[[论文]](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fpdf\u002F10.1145\u002F3474085.3475621)\r\n* `[Han等. ACMMM21]` 面向文本-视频检索的细粒度跨模态对齐网络。ACM多媒体，2021年。[[论文]](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fpdf\u002F10.1145\u002F3474085.3475241)\r\n* `[Wei等. ACMMM21]` 用于跨模态匹配的元自定进度学习。ACM多媒体，2021年。[[论文]](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fpdf\u002F10.1145\u002F3474085.3475451)\r\n* `[Patrick等. ICLR21]` 支持集瓶颈：用于视频-文本表示学习的方法。ICLR，2021年。[[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2010.02824)\r\n* `[Qi等. TIP21]` 语义感知的空间-时间二值特征：用于跨模态视频检索。IEEE图像处理汇刊，2021年。[[论文]](https:\u002F\u002Fieeexplore.ieee.org\u002Fabstract\u002Fdocument\u002F9351755)\r\n* `[Song等. TMM21]` 用于跨模态文本2视频检索的空间-时间图。IEEE多媒体汇刊，2021年。[[论文]](https:\u002F\u002Fieeexplore.ieee.org\u002Fabstract\u002Fdocument\u002F9463746\u002F)\r\n* `[Dong等. NEUCOM21]` 用于领域自适应跨模态检索的多级对齐网络。神经计算，2021年。[[论文]](http:\u002F\u002Fdanieljf24.github.io\u002Fpubs\u002Fpapers\u002F2021neurocom.pdf) [[代码]](https:\u002F\u002Fgithub.com\u002FRecmoon\u002FMAN)\r\n* `[Jin等. SIGIR21]` 用于视频-文本检索的层次化跨模态图一致性学习。SIGIR，2020年。[[论文]](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fabs\u002F10.1145\u002F3404835.3462974)\r\n* `[He等. SIGIR21]` 通过自适应间隔改进视频检索。SIGIR，2021年。[[论文]](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fabs\u002F10.1145\u002F3404835.3462927)\r\n* `[Wang等. IJCAI21]` 深挖多模态线索：利用层次化对齐进行视频检索。IJCAI，2021年。[[论文]](https:\u002F\u002Fwww.ijcai.org\u002Fproceedings\u002F2021\u002F0154.pdf)\r\n* `[Chen等. AAAI21]` 关注差距！面向文本-视频检索的无监督领域自适应。AAAI，2021年。[[论文]](https:\u002F\u002Fojs.aaai.org\u002Findex.php\u002FAAAI\u002Farticle\u002Fview\u002F16192)\r\n* `[Hao等. ICME21]` 什么最重要：面向视频-文本检索的注意力与关系特征聚合网络。ICME，2021年。[[论文]](https:\u002F\u002Fieeexplore.ieee.org\u002Fabstract\u002Fdocument\u002F9428325)\r\n* `[Wu等. ICME21]` 多维注意力层次化图池化网络：用于视频-文本检索。ICME，2021年。[[论文]](https:\u002F\u002Fieeexplore.ieee.org\u002Fabstract\u002Fdocument\u002F9428153)\r\n* `[Song等. ICIP21]` 用于视频-文本检索的语义保持度量学习。IEEE国际图像处理会议，2021年。[[论文]](https:\u002F\u002Fieeexplore.ieee.org\u002Fabstract\u002Fdocument\u002F9506697)\r\n* `[Hao等. ICMR21]` 多特征图注意力网络：用于跨模态视频-文本检索。ICMR，2021年。[[论文]](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fpdf\u002F10.1145\u002F3460426.3463608)\r\n* `[Liu等. ARXIV21]` HiT：带有动量对比的层次化Transformer，用于视频-文本检索。arXiv:2103.15049，2021年。[[论文]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2103.15049.pdf)\r\n* `[Akbari等. ARXIV21]` VATT：用于从原始视频、音频和文本中进行多模态自监督学习的Transformer。arXiv:2104.11178，2021年。[[论文]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2104.11178.pdf) [[代码]](https:\u002F\u002Fgithub.com\u002Ftensorflow\u002Fmodels)\r\n* `[Fang等. ARXIV21]` CLIP2Video：通过图像CLIP掌握视频-文本检索。arXiv:2106.11097，2021年。[[论文]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2106.11097.pdf) [[代码]](https:\u002F\u002Fgithub.com\u002FCryhanFang\u002FCLIP2Video)\r\n* `[Luo等. ARXIV21]` CLIP4Clip：关于CLIP在端到端视频片段检索中应用的实证研究。arXiv:2104.08860，2021年。[[论文]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2104.08860.pdf)[[代码]](https:\u002F\u002Fgithub.com\u002FArrowLuo\u002FCLIP4Clip)\r\n* `[Li等. ARXIV21]` 对齐与提示：基于实体提示的视频与语言预训练。arXiv:2112.09583，2021年。[[论文]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2112.09583.pdf)[[代码]](https:\u002F\u002Fgithub.com\u002Fsalesforce\u002FALPRO)\n\n### 2020年\n* `[Yang et al. SIGIR20]` 面向复杂查询视频检索的树增强跨模态编码。SIGIR，2020年。[[论文]](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fpdf\u002F10.1145\u002F3397271.3401151) \n* `[Ging et al. NeurIPS20]` COOT：用于视频-文本表示学习的协作式层次化Transformer。NeurIPS，2020年。[[论文]](https:\u002F\u002Fproceedings.neurips.cc\u002Fpaper\u002F2020\u002Ffile\u002Fff0abbcc0227c9124a804b084d161a2d-Paper.pdf) [[代码]](https:\u002F\u002Fgithub.com\u002Fgingsi\u002Fcoot-videotext)\n* `[Gabeur et al. ECCV20]` 用于视频检索的多模态Transformer。ECCV，2020年。[[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2007.10639) [[代码]](https:\u002F\u002Fgithub.com\u002Fgabeur\u002Fmmt) [[主页]](http:\u002F\u002Fthoth.inrialpes.fr\u002Fresearch\u002FMMT\u002F)\n* `[Li et al. TMM20]` SEA：面向文本查询视频检索的句子编码器集成。IEEE多媒体汇刊，2020年。[[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2011.12091)\n* `[Wang et al. TMM20]` 学习用于视频-文本检索的由粗到细图神经网络。IEEE多媒体汇刊，2020年。[[论文]](https:\u002F\u002Fieeexplore.ieee.org\u002Fabstract\u002Fdocument\u002F9147074)\n* `[Chen et al. TMM20]` 面向跨模态匹配及其他任务的类间相关性自适应度量学习。IEEE多媒体汇刊，2020年。[[论文]](https:\u002F\u002Fieeexplore.ieee.org\u002Fabstract\u002Fdocument\u002F9178501)\n* `[Wu et al. ACMMM20]` 面向即席视频搜索的可解释嵌入。ACM多媒体，2020年。[[论文]](http:\u002F\u002Fvireo.cs.cityu.edu.hk\u002Fpapers\u002FMM2020_dual_task_video_retrieval.pdf) \n* `[Feng et al. IJCAI20]` 利用视觉语义推理进行视频-文本检索。IJCAI，2020年。[[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2006.08889) \n* `[Wei et al. CVPR20]` 用于跨模态检索的通用加权度量学习。CVPR，2020年。[[论文]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_CVPR_2020\u002Fpapers\u002FWei_Universal_Weighting_Metric_Learning_for_Cross-Modal_Matching_CVPR_2020_paper.pdf)\n* `[Doughty et al. CVPR20]` 行动修饰符：从教学视频中的副词中学习。CVPR，2020年。[[论文]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_CVPR_2020\u002Fpapers\u002FDoughty_Action_Modifiers_Learning_From_Adverbs_in_Instructional_Videos_CVPR_2020_paper.pdf)\n* `[Chen et al. CVPR20]` 基于层次图推理的细粒度视频-文本检索。CVPR，2020年。[[论文]](http:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_CVPR_2020\u002Fpapers\u002FChen_Fine-Grained_Video-Text_Retrieval_With_Hierarchical_Graph_Reasoning_CVPR_2020_paper.pdf)\n* `[Zhu et al. CVPR20]` ActBERT：学习全局-局部视频-文本表示。CVPR，2020年。[[论文]](http:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_CVPR_2020\u002Fpapers\u002FZhu_ActBERT_Learning_Global-Local_Video-Text_Representations_CVPR_2020_paper.pdf)\n* `[Miech et al. CVPR20]` 从未经整理的教学视频中端到端学习视觉表示。CVPR，2020年。[[论文]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_CVPR_2020\u002Fpapers\u002FMiech_End-to-End_Learning_of_Visual_Representations_From_Uncurated_Instructional_Videos_CVPR_2020_paper.pdf) [[代码]](https:\u002F\u002Fgithub.com\u002Fantoine77340\u002FMIL-NCE_HowTo100M) [[主页]](https:\u002F\u002Fwww.di.ens.fr\u002Fwillow\u002Fresearch\u002Fmil-nce\u002F)\n* `[Zhao et al. ICME20]` 用于视频-文本检索的堆叠卷积深度编码网络。ICME，2020年。[[论文]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2004.04959.pdf)\n* `[Luo et al. ARXIV20]` UniVL：一种用于多模态理解与生成的统一视频语言预训练模型。arXiv:2002.06353，2020年。[[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2002.06353v3)\n\n\n### 2019年\n* `[Dong et al. CVPR19]` 零样本视频检索的双编码。CVPR，2019年。[[论文]](http:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_CVPR_2019\u002Fpapers\u002FDong_Dual_Encoding_for_Zero-Example_Video_Retrieval_CVPR_2019_paper.pdf) [[代码]](https:\u002F\u002Fgithub.com\u002Fdanieljf24\u002Fdual_encoding)\n* `[Song et al. CVPR19]` 用于跨模态检索的多义视觉-语义嵌入。CVPR，2019年。[[论文]](http:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_CVPR_2019\u002Fpapers\u002FSong_Polysemous_Visual-Semantic_Embedding_for_Cross-Modal_Retrieval_CVPR_2019_paper.pdf)\n* `[Wray et al. ICCV19]` 通过多种词性嵌入实现细粒度动作检索。ICCV，2019年。[[论文]](http:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_ICCV_2019\u002Fpapers\u002FWray_Fine-Grained_Action_Retrieval_Through_Multiple_Parts-of-Speech_Embeddings_ICCV_2019_paper.pdf)\n* `[Xiong et al. ICCV19]` 一种基于图的框架，用于连接电影与剧情简介。ICCV，2019年。[[论文]](http:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_ICCV_2019\u002Fpapers\u002FXiong_A_Graph-Based_Framework_to_Bridge_Movies_and_Synopses_ICCV_2019_paper.pdf)\n* `[Li et al. ACMMM19]` W2VV++：面向即席视频搜索的全深度学习方法。ACM多媒体，2019年。[[论文]](http:\u002F\u002Flixirong.net\u002Fpub\u002Fmm2019-w2vvpp.pdf) [[代码]](https:\u002F\u002Fgithub.com\u002Fli-xirong\u002Fw2vvpp)\n* `[Liu et al. BMVC19]` 就地取材：利用协作专家的表示进行视频检索。BMVC，2019年。[[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1907.13487) [[代码]](https:\u002F\u002Fgithub.com\u002Falbanie\u002Fcollaborative-experts)\n* `[Choi et al. BigMM19]` 从单模态空间到跨模态空间：用于跨模态检索的共享表示多任务学习。国际多媒体大数据会议，2019年。[[论文]](https:\u002F\u002Frepository.ubn.ru.nl\u002Fbitstream\u002Fhandle\u002F2066\u002F209215\u002F209215.pdf?sequence=1)\n\n\n### 2018年\n* `[Dong et al. TMM18]` 通过文本预测视觉特征，用于图像和视频字幕检索。IEEE多媒体汇刊，2018年。[[论文]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1709.01362) [[代码]](https:\u002F\u002Fgithub.com\u002Fdanieljf24\u002Fw2vv)\n* `[Zhang et al. ECCV18]` 视频与文本的跨模态及层次建模。ECCV，2018年。[[论文]](http:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_ECCV_2018\u002Fpapers\u002FBowen_Zhang_Cross-Modal_and_Hierarchical_ECCV_2018_paper.pdf) [[代码]](https:\u002F\u002Fgithub.com\u002Fzbwglory\u002FCMHSE)\n* `[Yu et al. ECCV18]` 用于视频问答与检索的联合序列融合模型。ECCV，2018年。[[论文]](http:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_ECCV_2018\u002Fpapers\u002FYoungjae_Yu_A_Joint_Sequence_ECCV_2018_paper.pdf)\n* `[Shao et al. ECCV18]` 查找并聚焦：通过自然语言查询检索并定位视频事件。ECCV，2018年。[[论文]](http:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_ECCV_2018\u002Fpapers\u002FDian_SHAO_Find_and_Focus_ECCV_2018_paper.pdf)\n* `[Mithun et al. ICMR18]` 利用多模态线索学习联合嵌入，用于跨模态视频-文本检索。ICMR，2018年。[[论文]](https:\u002F\u002Fdl.acm.org\u002Fcitation.cfm?id=3206064) [[代码]](https:\u002F\u002Fgithub.com\u002Fniluthpol\u002Fmultimodal_vtt)\n* `[Miech et al. arXiv18]` 从不完整且异构数据中学习文本-视频嵌入。arXiv预印本arXiv:1804.02516，2018年。[[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1809.06181) [[代码]](https:\u002F\u002Fgithub.com\u002Fantoine77340\u002FMixture-of-Embedding-Experts)\n\n### 之前\n* `[Yu et al. CVPR17]` 面向视频字幕生成、检索和问答的端到端概念词检测。CVPR，2017年。[[论文]](http:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_cvpr_2017\u002Fpapers\u002FYu_End-To-End_Concept_Word_CVPR_2017_paper.pdf) [[代码]](https:\u002F\u002Fgitlab.com\u002Ffodrh1201\u002FCT-SAN\u002Ftree\u002Fmaster)\n* `[OtaniEmail et al. ECCVW2016]` 利用网络图片搜索学习视频与句子的联合表示。ECCV研讨会，2016年。[[论文]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1608.02367)\n* `[Xu et al. AAAI15]` 在统一框架中联合建模深度视频与组合式文本，以打通视觉与语言之间的桥梁。AAAI，2015年。[[论文]](https:\u002F\u002Fwww.aaai.org\u002Focs\u002Findex.php\u002FAAAI\u002FAAAI15\u002Fpaper\u002Fview\u002F9734\u002F9563)\n\n\n### 特定主题视频检索\n* 关于在[TRECVID](https:\u002F\u002Ftrecvid.nist.gov\u002F)背景下针对特定主题视频检索的相关论文，请参阅[此处](https:\u002F\u002Fgithub.com\u002Fli-xirong\u002Fvideo-retrieval)。\n\n\n### 其他相关\n* `[Rouditchenko et al. INTERSPEECH21]` AVLnet：从教学视频中学习视听语言表示。Interspeech，2021年。[[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2006.09199) [[代码]](https:\u002F\u002Fgithub.com\u002Froudimit\u002FAVLnet)\n* `[Li et al. arXiv20]` 通过视频与文本对判别学习时空特征。arXiv预印本arXiv:2001.05691，2020年。[[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2001.05691) \n\n \n\n## 数据集\n* `[MSVD]` David等。为释义评估收集高度并行的数据。ACL，2011年。[[论文]](https:\u002F\u002Fwww.aclweb.org\u002Fanthology\u002FP11-1020) [[数据集]](http:\u002F\u002Fwww.cs.utexas.edu\u002Fusers\u002Fml\u002Fclamp\u002FvideoDescription\u002F)\n* `[MSRVTT]` Xu等。MSR-VTT：一个用于连接视频与语言的大型视频描述数据集。CVPR，2016年。[[论文]](https:\u002F\u002Fwww.microsoft.com\u002Fen-us\u002Fresearch\u002Fwp-content\u002Fuploads\u002F2016\u002F06\u002Fcvpr16.msr-vtt.tmei_-1.pdf) [[数据集]](http:\u002F\u002Fms-multimedia-challenge.com\u002F2017\u002Fdataset)\n* `[TGIF]` Li等。TGIF：一个新的关于动画GIF描述的数据集与基准。CVPR，2016年。[[论文]](https:\u002F\u002Fhal.archives-ouvertes.fr\u002Fhal-01854776\u002Fdocument) [[主页]](http:\u002F\u002Fraingo.github.io\u002FTGIF-Release\u002F)\n* `[AVS]` Awad等。Trecvid 2016：评估视频搜索、视频事件检测、定位及超链接技术。TRECVID研讨会，2016年。[[论文]](https:\u002F\u002Fhal.archives-ouvertes.fr\u002Fhal-01854776\u002Fdocument) [[数据集]](https:\u002F\u002Fgithub.com\u002Fli-xirong\u002Favs)\n* `[LSMDC]` Rohrbach等。电影描述。IJCV，2017年。[[论文]](https:\u002F\u002Flink.springer.com\u002Farticle\u002F10.1007\u002Fs11263-016-0987-1) [[数据集]](https:\u002F\u002Fsites.google.com\u002Fsite\u002Fdescribingmovies\u002Fdownload)\n* `[ActivityNet Captions]` Krishna等。视频中的密集事件标注。ICCV，2017年。[[论文]](http:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_ICCV_2017\u002Fpapers\u002FKrishna_Dense-Captioning_Events_in_ICCV_2017_paper.pdf) [[数据集]](https:\u002F\u002Fcs.stanford.edu\u002Fpeople\u002Franjaykrishna\u002Fdensevid\u002F)\n* `[DiDeMo]` Hendricks等。利用自然语言定位视频中的时刻。ICCV，2017年。[[论文]](http:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_ICCV_2017\u002Fpapers\u002FHendricks_Localizing_Moments_in_ICCV_2017_paper.pdf) [[代码]](https:\u002F\u002Fgithub.com\u002FLisaAnne\u002FLocalizingMoments) \n* `[HowTo100M]` Miech等。HowTo100M：通过观看一亿个带旁白的视频片段学习文本-视频嵌入。ICCV，2019年。[[论文]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1906.03327.pdf) [[主页]](https:\u002F\u002Fwww.di.ens.fr\u002Fwillow\u002Fresearch\u002Fhowto100m\u002F) \n* `[VATEX]` Wang等。VATEX：一个大规模、高质量的多语言视频-语言研究数据集。ICCV，2019年。[[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1904.03493) [[主页]](http:\u002F\u002Fvatex.org\u002Fmain\u002Findex.html)\n\n \n\n## 许可证\n\n[![CC0](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdanieljf24_awesome-video-text-retrieval_readme_b7657951a0bb.png)](http:\u002F\u002Fcreativecommons.org\u002Fpublicdomain\u002Fzero\u002F1.0\u002F)\n\n在法律允许的最大范围内，[danieljf24](https:\u002F\u002Fgithub.com\u002Fdanieljf24)放弃本仓库的所有版权及相关或邻接权利。","# awesome-video-text-retrieval 快速上手指南\n\n`awesome-video-text-retrieval` 并非一个单一的独立软件包，而是一个精选的**深度学习视频 - 文本检索资源列表**。它汇集了该领域最前沿的论文、开源代码实现（PyTorch\u002FTensorFlow）以及数据集。\n\n本指南将指导你如何利用该列表中的资源，快速搭建并运行一个典型的视频 - 文本检索模型（以列表中热门的 PyTorch 实现为例）。\n\n## 1. 环境准备\n\n在开始之前，请确保你的开发环境满足以下要求：\n\n*   **操作系统**: Linux (推荐 Ubuntu 18.04+) 或 macOS。Windows 用户建议使用 WSL2。\n*   **硬件**: 至少一张 NVIDIA GPU (显存建议 8GB 以上)，已安装 CUDA (11.0+) 和 cuDNN。\n*   **Python**: 版本 3.7 或更高。\n*   **前置依赖**:\n    *   Git\n    *   Conda (推荐用于管理虚拟环境)\n    *   FFmpeg (用于视频预处理)\n\n## 2. 安装步骤\n\n由于该仓库包含多个独立的项目实现，以下步骤以克隆仓库并安装其中一个典型项目（如 `dual_encoding` 或 `hybrid_space`）为例。\n\n### 第一步：克隆资源列表仓库\n首先获取完整的资源列表：\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fdanieljf24\u002Fawesome-video-text-retrieval.git\ncd awesome-video-text-retrieval\n```\n\n### 第二步：选择并克隆具体实现\n浏览 `Implementations` 章节，选择一个适合你需求的项目。这里以 **Dual Encoding** 为例：\n```bash\n# 进入你希望存放代码的目录\ncd .. \ngit clone https:\u002F\u002Fgithub.com\u002Fdanieljf24\u002Fdual_encoding.git\ncd dual_encoding\n```\n\n### 第三步：创建虚拟环境并安装依赖\n推荐使用 Conda 创建隔离环境，并使用国内镜像源加速安装。\n\n```bash\n# 创建名为 vtr_env 的虚拟环境，指定 Python 3.8\nconda create -n vtr_env python=3.8 -y\n\n# 激活环境\nconda activate vtr_env\n\n# 配置清华镜像源 (可选，加速下载)\nconda config --add channels https:\u002F\u002Fmirrors.tuna.tsinghua.edu.cn\u002Fanaconda\u002Fpkgs\u002Fmain\u002F\nconda config --add channels https:\u002F\u002Fmirrors.tuna.tsinghua.edu.cn\u002Fanaconda\u002Fpkgs\u002Ffree\u002F\nconda config --set show_channel_urls yes\n\n# 安装 PyTorch (根据官方建议选择对应 CUDA 版本，此处以 CUDA 11.3 为例)\npip install torch torchvision torchaudio --extra-index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu113\n\n# 安装项目所需的其他依赖\npip install -r requirements.txt\n```\n*> 注意：如果该项目没有 `requirements.txt`，请参考其 README 手动安装 `numpy`, `pandas`, `scikit-learn`, `tqdm` 等常用库。*\n\n### 第四步：数据准备\n视频检索任务通常需要预先提取视频帧的 CNN 特征。\n1. 下载数据集（如 MSRVTT 或 LSMDC），参考仓库中 `Datasets` 章节的链接。\n2. 使用工具提取特征（列表中提到过 MXNet 工具，但现在多直接用 PyTorch 预训练模型）：\n   ```bash\n   # 示例：运行项目自带的特征提取脚本（具体命令视项目而定）\n   python extract_features.py --video_dir .\u002Fdata\u002Fmsrvtt\u002Fvideos --output_dir .\u002Fdata\u002Fmsrvtt\u002Ffeatures\n   ```\n\n## 3. 基本使用\n\n大多数项目遵循“训练 -> 评估”的流程。以下是基于典型项目的最小化运行示例。\n\n### 训练模型\n使用预处理好的特征数据训练模型。以下命令假设数据已按项目要求整理好：\n\n```bash\npython train.py \\\n  --data_path .\u002Fdata\u002Fmsrvtt \\\n  --vocab_path .\u002Fdata\u002Fmsrvtt\u002Fvocab.pkl \\\n  --model_name dual_encoding \\\n  --batch_size 128 \\\n  --max_epochs 50 \\\n  --lr 0.0002\n```\n\n### 评估与检索\n训练完成后，加载最佳模型权重进行文本到视频（Text-to-Video）的检索测试：\n\n```bash\npython eval.py \\\n  --data_path .\u002Fdata\u002Fmsrvtt \\\n  --model_path .\u002Fcheckpoints\u002Fmodel_best.pth.tar \\\n  --split test\n```\n\n**输出解读**：\n程序通常会输出 **R@1, R@5, R@10** (Recall at K) 指标，表示检索结果前 K 个中包含正确答案的概率。数值越高代表模型效果越好。\n\n---\n*提示：对于列表中其他项目（如 `ClipBERT`, `w2vvpp` 等），请进入对应项目的 GitHub 页面查看其特有的 `README.md` 以获取详细的参数说明。*","某视频内容平台的技术团队正致力于升级其内部搜索引擎，希望实现用户输入自然语言描述即可精准定位视频片段的功能。\n\n### 没有 awesome-video-text-retrieval 时\n- **文献调研效率极低**：研究人员需在 Google Scholar 和 arXiv 上手动筛选海量论文，难以区分哪些模型真正开源了代码，往往花费数周时间却找不到可复现的基线。\n- **技术选型盲目混乱**：面对 CLIP、BERT 等多种架构的变体，缺乏系统的横向对比资源，导致团队容易选错不适合视频时序特性的模型，造成算力浪费。\n- **数据与代码割裂**：找到论文后，常发现官方未公开代码或缺少配套数据集链接，开发人员不得不从头复现算法，项目启动周期被严重拉长。\n- **前沿动态滞后**：团队难以及时追踪如 CVPR 2023 中提出的稀疏 Transformer 或提示微调（Prompt Tuning）等最新 SOTA 方法，产品技术竞争力不足。\n\n### 使用 awesome-video-text-retrieval 后\n- **资源获取一站式完成**：直接查阅按年份和框架（PyTorch\u002FTensorFlow）分类的清单，几分钟内即可锁定带有完整代码链接和高性能数据集的最新论文。\n- **基线搭建快速精准**：依托列表中整理的 `ClipBERT`、`Mixture-of-Embedding-Experts` 等成熟实现，团队当天便成功跑通基准测试，确立了正确的技术路线。\n- **复现门槛大幅降低**：每个条目均附带论文、代码库及主页链接，甚至包含特征提取工具包，开发人员无需重复造轮子，可专注于业务逻辑优化。\n- **紧跟学术最前沿**：通过持续更新的 2023 年顶会论文列表，团队迅速引入了 `VoP` 协同提示微调等新技术，显著提升了检索准确率。\n\nawesome-video-text-retrieval 将原本数月的调研与试错过程压缩至数天，成为连接学术前沿与工业落地的关键加速器。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdanieljf24_awesome-video-text-retrieval_e977dec0.png","danieljf24",null,"https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fdanieljf24_5d575c93.png","Zhejiang University","China","http:\u002F\u002Fdanieljf24.github.io\u002F","https:\u002F\u002Fgithub.com\u002Fdanieljf24",645,69,"2026-03-03T05:51:40",5,"","未说明",{"notes":90,"python":88,"dependencies":91},"该仓库是一个视频 - 文本检索（Video-Text Retrieval）领域的论文和开源实现精选列表，本身不是一个可直接运行的单一软件工具。它列出了多个基于 PyTorch、TensorFlow 和 Keras 的独立项目链接。具体的运行环境需求（如操作系统、GPU 型号、内存大小、Python 版本及依赖库）需参考列表中各个子项目（如 ClipBERT, X-CLIP, ImageBind 等）各自的 README 文档。",[],[15,18],"2026-03-27T02:49:30.150509","2026-04-06T07:14:59.576634",[],[]]