Unsplash 图片搜索

使用自然语言描述在 Unsplash 上搜索照片。搜索由 OpenAI 的 CLIP 模型 和 Unsplash 数据集 提供支持。

“两只狗在雪地里玩耍”

_{照片由 Richard Burlton、Karl Anderson 和 Xuecheng Chen 在 Unsplash 上拍摄。}

“墙上写着‘爱’字”

_{照片由 Genton Damian、Anna Rozwadowska、Jude Beck 在 Unsplash 上拍摄。}

“程序终于运行起来时的感觉”

_{照片由 bruce mars、LOGAN WEAVER、Vasyl Skunziak 在 Unsplash 上拍摄。}

“悉尼歌剧院和海港大桥的夜景”

_{照片由 Dalal Nizam 和 Anna Tremewan 在 Unsplash 上拍摄。}

工作原理？

OpenAI 的 CLIP 神经网络能够将图像和文本转换为同一潜在空间，从而可以通过相似度度量进行比较。

对于本项目，完整 Unsplash 数据集 中的所有照片（近 200 万张）都被下载并使用 CLIP 进行处理。

随后，可以使用所有图像的预计算特征向量来找到与自然语言搜索查询最匹配的结果。

如何运行代码？

在 Google Colab 上

如果您只想尝试不同的查询，请跳转到 Colab 笔记本。

在您的机器上

在运行任何代码之前，请确保安装所有依赖项：

pip install -r requirements.txt

如果您想亲自运行所有代码，请按照编号顺序打开 Jupyter 笔记本，并遵循其中的说明：

• 01-setup-clip.ipynb - 设置环境，检出并准备 CLIP 代码。
• 02-download-unsplash-dataset.ipynb - 下载 Unsplash 数据集中的照片。
• 03-process-unsplash-dataset.ipynb - 使用 CLIP 处理数据集中所有照片。
• 04-search-image-dataset.ipynb - 使用自然语言查询在数据集中搜索照片。
• 09-search-image-api.ipynb - 使用 Unsplash 搜索 API 搜索照片，并使用 CLIP 过滤结果。

注意：公开可用的是 Unsplash 数据集的精简版。如果想要使用完整版，您需要 申请 免费访问权限。

注意：使用 Unsplash 搜索 API 搜索图片不需要访问 Unsplash 数据集，但结果可能不如直接在数据集中搜索好。

致谢

该项目受到以下项目的启发：

• 超越标签，借助 OpenAI CLIP 进入图像语义搜索时代 by Ramsri Goutham Golla
• Alph, The Sacred River by Travis Hoppe
• OpenAI's CLIP
• Unsplash

Natural Language Image Search 快速上手指南

本项目基于 OpenAI 的 CLIP 模型和 Unsplash 数据集，支持使用自然语言描述（如“两只在雪中玩耍的狗”）来搜索图片。

环境准备

• 系统要求：支持 Python 3.7+ 的操作系统（Linux/macOS/Windows）。
• 前置依赖：
  • Python 包管理工具 pip。
  • Jupyter Notebook（可选，用于运行完整流程）。
  • GPU 加速（推荐，可显著提升 CLIP 模型处理速度，非必须）。
• 数据说明：
  • 完整流程需要下载 Unsplash 数据集（公开版为 Lite 版本，全量版需申请）。
  • 若仅体验搜索功能，可直接使用 API 模式或 Colab，无需本地下载全量数据。

安装步骤

1. 克隆项目代码到本地：

   git clone https://github.com/haltakov/natural-language-image-search.git
   cd natural-language-image-search
   

2. 安装所需依赖包：

   pip install -r requirements.txt
   

   提示：国内用户如遇下载缓慢，可使用清华源加速安装： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

方式一：在线快速体验（推荐）

无需配置本地环境，直接在 Google Colab 中运行预设好的 Notebook：

1. 点击以下链接打开项目： Open In Colab
2. 按顺序执行单元格，输入自然语言描述即可看到搜索结果。

方式二：本地运行

若需在本地复现完整流程（包括下载和处理数据集），请按顺序运行以下 Jupyter Notebook 文件：

1. 环境设置：准备 CLIP 代码环境。

   jupyter notebook 01-setup-clip.ipynb
   

2. 下载数据：下载 Unsplash 数据集照片。

   jupyter notebook 02-download-unsplash-dataset.ipynb
   

3. 处理数据：使用 CLIP 模型提取所有图片的特征向量。

   jupyter notebook 03-process-unsplash-dataset.ipynb
   

4. 开始搜索：输入自然语言查询图片。

   jupyter notebook 04-search-image-dataset.ipynb
   

注意：如果不想下载数据集，也可以运行 09-search-image-api.ipynb，该脚本调用 Unsplash Search API 并利用 CLIP 进行结果过滤，但搜索效果可能略逊于本地全量数据集方案。