语义图像搜索命令行工具 (sisi)

用于本地进行语义图像搜索的命令行工具，无需使用第三方 API。

由 node-mlx 提供支持，这是一个适用于 Node.js 的机器学习框架。

https://github.com/user-attachments/assets/66e6e437-c27b-48cf-80cc-a5a0c8c0bdfb

支持的平台

GPU 支持：

• 搭载 Apple Silicon 芯片的 Mac 电脑

CPU 支持：

• x64 架构的 Mac 电脑
• x64 或 arm64 架构的 Linux 系统

（目前暂不支持 Windows，但我可能会在未来尝试让 MLX 在 Windows 上运行）

对于不支持 GPU 的平台，index 命令的速度会非常慢，索引数万张图片可能需要耗费数小时。不过，索引只会为新增或修改过的文件构建，因此在完成初始构建后，后续更新新图片的索引将会容易得多。

使用方法

安装：

npm install -g @frost-beta/sisi

CLI：

━━━ 语义图像搜索命令行工具 - 0.0.1-dev ━━━━━━━━━━━━━━━━

  $ sisi <command>

━━━ 通用命令 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

  sisi index <target>
    为目标目录下的图片构建或更新索引。

  sisi list-index
    列出索引中的目录。

  sisi remove-index <target>
    移除目标目录下所有项目的索引。

  sisi search [--in #0] [--max #0] [--print] <query>
    从已索引的图片中搜索查询字符串。

示例

为 ~/Pictures/ 目录构建索引：

sisi index ~/Pictures/

从所有已索引的图片中搜索：

sisi search 'cat jumping'

仅从 ~/Pictures/ 目录中搜索：

sisi search cat --in ~/Pictures/

使用图片进行搜索：

sisi search https://images.pexels.com/photos/45201/kitty-cat-kitten-pet-45201.jpeg

也可以使用本地文件：

sisi search file:///Users/Your/Pictures/cat.jpg

内部原理

索引是通过使用 CLIP 模型 计算图片的嵌入向量来构建的，然后将这些向量存储在一个二进制 JSON 文件中。

搜索过程则是计算查询字符串与已索引嵌入向量之间的余弦相似度。这里并不涉及数据库，每次搜索都会对所有存储的嵌入向量进行计算，即使有数万张图片，速度也非常快。

CLIP 模型的 JavaScript 实现位于一个独立的模块中：frost-beta/clip。

许可证

MIT

sisi 快速上手指南

sisi 是一个基于命令行的语义图像搜索工具，支持在本地运行，无需调用第三方 API。它利用 Node.js 机器学习框架 node-mlx 和 CLIP 模型，通过计算图像嵌入向量实现高效的图片检索。

环境准备

系统要求

sisi 对不同硬件架构的支持情况如下：

• GPU 加速（推荐）：仅限搭载 Apple Silicon 芯片的 Mac。
• CPU 运行：
  • x64 架构 Mac
  • x64 或 arm64 架构 Linux
• 不支持：Windows（目前暂不支持）。

注意：在非 GPU 支持的平台上，初次构建索引（indexing）速度会较慢，处理数万张图片可能需要数小时。但索引仅针对新增或修改的文件进行增量更新，初次构建完成后，后续更新将非常迅速。

前置依赖

• Node.js：请确保已安装较新版本的 Node.js（建议 v18+），以兼容 node-mlx 框架。

安装步骤

使用 npm 全局安装 sisi：

npm install -g @frost-beta/sisi

国内加速提示：如果下载速度较慢，可配置淘宝镜像源后安装：

npm config set registry https://registry.npmmirror.com
npm install -g @frost-beta/sisi

安装完成后，可通过以下命令验证版本：

sisi --help

基本使用

1. 构建图像索引

首先需要对包含图片的目录建立索引。以下命令将为 ~/Pictures/ 目录下的所有图片生成嵌入向量并建立索引：

sisi index ~/Pictures/

2. 执行语义搜索

索引构建完成后，即可使用自然语言描述进行搜索。

示例 A：在所有已索引的图片中搜索 查找包含“跳跃的猫”的图片：

sisi search 'cat jumping'

示例 B：指定目录搜索 仅在 ~/Pictures/ 目录下搜索包含"cat"的图片：

sisi search cat --in ~/Pictures/

示例 C：以图搜图 支持通过图片 URL 或本地文件路径作为查询条件：

# 使用网络图片链接
sisi search https://images.pexels.com/photos/45201/kitty-cat-kitten-pet-45201.jpeg

# 使用本地图片文件
sisi search file:///Users/Your/Pictures/cat.jpg

其他常用命令

• 查看已索引的目录列表：

  sisi list-index
  

• 移除指定目录的索引：

  sisi remove-index <target>