Recognize：适用于Nextcloud的智能媒体标签功能

这款应用会扫描您的媒体库，并自动为照片和音乐添加合适的标签，实现智能化分类。

• 📷 👪 识别人脸，并按出现的人脸将照片分组（界面位于“回忆”应用中）
• 📷 🏔 识别动物、风景、食物、车辆、建筑等物体
• 📷 🗼 识别地标和纪念碑
• 👂 🎵 识别音乐流派
• 🎥 🤸 识别视频中的人体动作

⚡ 标签功能通过Nextcloud的协作标签系统实现

• 👂 使用音频播放器应用收听已打上标签的音乐
• 📷 使用“回忆”应用查看已打上标签的照片和视频

模型大小：

• 物体识别：1GB
• 地标识别：300MB
• 视频动作识别：50MB
• 音乐流派识别：50MB

伦理AI评分

照片物体检测评分：🟢

积极方面：

• 该模型的训练与推理软件均为开源
• 训练好的模型可免费获取，因此可在本地运行
• 训练数据公开可用，便于检查或纠正偏差，优化性能及碳排放

照片人脸识别评分：🟢

积极方面：

• 该模型的训练与推理软件均为开源
• 训练好的模型可免费获取，因此可在本地运行
• 训练数据公开可用，便于检查或纠正偏差，优化性能及碳排放

视频动作识别评分：🟢

积极方面：

• 该模型的训练与推理软件均为开源
• 训练好的模型可免费获取，因此可在本地运行
• 训练数据公开可用，便于检查或纠正偏差，优化性能及碳排放

音乐流派识别评分：🟡

积极方面：

• 该模型的训练与推理软件均为开源
• 训练好的模型可免费获取，因此可在本地运行

消极方面：

• 训练数据未公开，限制了外部机构检查和纠正偏差，以及优化模型性能和碳排放的能力。

更多关于Nextcloud伦理AI评分的信息，请参阅我们的博客文章 《Nextcloud伦理AI评分》。

示例

（截图由_DigitalWriter_提供）

隐私

本应用不会将任何敏感数据发送至云服务商或其他类似服务。所有图像处理均在您的Nextcloud服务器上完成，使用随本应用一同打包的Tensorflow.js在Node.js环境中运行。

加密

请注意，端到端加密的文件无法被Recognize处理，因为服务器设计上无法读取这些文件。

分类

以下是当前已识别的内容及其所属分类的列表 链接。欢迎提交Pull Request以进一步优化预测结果。

背后的故事

Recognize使用以下技术：

• 用于ImageNet物体检测的预训练EfficientNet v2模型。
• 用于地标识别的预训练Landmarks v1数据集模型。
• face-api.js提取并比对人脸特征。
• 用于将音频文件分类为不同音乐流派的Musicnn神经网络架构。更多信息请参见Musicnn原始仓库。
• 用于视频分类的预训练MoViNet模型。

更多幕后细节，请阅读此维基文章 《幕后故事》 和论坛帖子 《AI与照片2.0：深入解析Nextcloud Recognize及其工作原理》。

安装

系统要求

• PHP 8.0及以上版本
• 已启用“协作标签”应用
• 为获得原生速度：
  • 处理器：x86 64位（支持AVX指令）
  • 操作系统需具备glibc库（通常Linux系统都符合；FreeBSD、Alpine Linux及Nextcloud AIO则不符合）
• 若采用WASM模式以降低性能需求：
  • 处理器：x86 64位、arm64、armv7l（无需AVX指令）
  • 操作系统需具备glibc或musl库（包括Alpine Linux及Nextcloud AIO）
• 约4GB空闲内存（若内存紧张，请确保有交换空间可用）

临时存储

本应用会将待识别的文件暂存于/tmp目录。若您使用Docker，建议为/tmp挂载一个额外的数据卷，以提升性能并减轻磁盘压力：

⚠️⚠️⚠️ 请确保您的RAM容量足以容纳大型文件。否则公共上传可能会失败。

docker run命令示例：
--mount type=tmpfs,destination=/tmp:exec

docker-compose配置示例：
在docker-compose.yml的volumes部分添加如下内容：

  app:
    image: nextcloud:26
    ...
    volumes:
      - type: tmpfs
        target: /tmp:exec
      ...
    ...

一键安装

前往您的Nextcloud“应用”页面，搜索“recognize”，然后点击安装。

帮助：若一键安装失败

配置

所有配置均可在您的Nextcloud实例的“设置/Recognize”中完成。

忽略特定目录

如果您希望某个路径下的文件不被图像识别处理，可在该路径下创建名为.noimage的文件；若不想被音乐流派识别，则创建.nomusic文件；若不想被视频识别，则创建.novideo文件。若希望完全排除该目录的所有识别功能，则创建.nomedia文件。

手动安装

依赖项

• make
• git
• Node.js v16.x及npm
• PHP 8.0或更高版本
• Composer

设置步骤

cd /path/to/nextcloud/apps/
git clone https://github.com/marcelklehr/recognize.git
cd recognize
make

维护者

• Marcel Klehr

🛠️ 维护状态

尽管还有一些可以进一步改进的地方，但目前该应用的维护工作仅以有限的精力进行。这意味着：

• 主要功能在大多数使用场景下都能正常运行
• 我们将确保在未来版本中继续保持这种稳定性，并修复被我们归类为“严重”的错误
• 我们不会自行投入更多开发资源来为应用添加新功能
• 我们会审阅并热烈欢迎社区提交的拉取请求

如果您愿意与我们合作，我们将不胜欣喜。我们会合并包含新功能和问题修复的拉取请求，同时也非常欢迎共同维护者加入。

如果您是 Nextcloud 的客户，并且对该应用的任何开发都有明确的业务需求，我们将考虑您的建议并将其纳入我们的路线图。请与您的客户经理联系，探讨具体的合作可能性。

贡献

我们始终欢迎各种形式的贡献。如果您遇到问题或有新的功能想法，请随时告诉我们。此外，我们也非常乐意接受拉取请求。

为了使流程更加顺畅，请您注意以下几点：

• 在相关议题中说明您正在开发的功能或修复的缺陷
• 确保所有测试都能通过
• 如有任何疑问，您可以私下通过电子邮件联系上述维护人员，或者直接在 GitHub 上创建一个新的议题

请阅读行为准则。这份文件旨在为 Nextcloud 社区成员提供指导，帮助大家在积极、鼓舞人心的氛围中高效协作，并共同加强彼此的支持与鼓励。

有关如何贡献的更多信息：https://nextcloud.com/contribute/

祝您编码愉快 :heart:

许可证

本软件根据自由软件基金会发布的 AGPL 许可协议授权，详细条款见 COPYING 文件。

识别标志“智能标签”(Smart tag）由 Xinh Studio 设计，来自 The Noun Project，采用知识共享署名许可协议授权。

Recognize 快速上手指南

Recognize 是一款专为 Nextcloud 设计的智能媒体标签应用。它能自动分析你的照片、音乐和视频，识别面部、物体、地标、音乐流派及视频动作，并利用 Nextcloud 的协作标签功能进行自动分类。所有处理均在本地服务器完成，保障数据隐私。

环境准备

在部署前，请确保你的 Nextcloud 服务器满足以下要求：

系统要求

• PHP: 8.0 或更高版本
• 内存: 建议至少预留 4GB 空闲 RAM（若内存紧张，请务必配置 Swap 交换空间）
• 应用依赖: 需启用 Nextcloud 自带的 "Collaborative tags" (协作标签) 应用

硬件架构与性能模式

根据服务器架构，Recognize 将以不同模式运行：

• 原生速度模式 (推荐):
  • 处理器：x86 64-bit (需支持 AVX 指令集)
  • 系统：基于 glibc 的 Linux 发行版
  • 注意：FreeBSD、Alpine Linux 及默认的 Nextcloud AIO 容器不支持此模式。
• WASM 兼容模式 (速度稍慢):
  • 处理器：x86 64-bit, arm64, armv7l (无需 AVX)
  • 系统：支持 glibc 或 musl (适用于 Alpine Linux 和 Nextcloud AIO)

Docker 用户特别配置 (可选但推荐)

若在 Docker 中运行，建议将 /tmp 挂载为 tmpfs 以提升读写速度并减轻磁盘负担。 注意：请确保物理内存充足，否则大文件上传可能失败。

docker run 方式添加参数：

--mount type=tmpfs,destination=/tmp:exec

docker-compose.yml 方式配置：

  app:
    image: nextcloud:26
    # ... 其他配置
    volumes:
      - type: tmpfs
        target: /tmp:exec
      # ... 其他卷挂载

安装步骤

方法一：一键安装（推荐）

1. 登录 Nextcloud 管理员账号。
2. 进入 应用 (Apps) 页面。
3. 搜索 recognize。
4. 点击 下载并启用 (Download and enable)。

方法二：手动安装

若一键安装失败或需要自定义开发，可使用命令行安装。

前置依赖: 确保服务器已安装 make, git, Node.js v16.x, npm, php 8.0+, composer。

执行命令:

cd /path/to/nextcloud/apps/
git clone https://github.com/marcelklehr/recognize.git
cd recognize
make

注：国内开发者若遇 git 克隆缓慢，可尝试配置 Git 加速代理或使用国内镜像源克隆后同步代码。

安装完成后，请在 Nextcloud 界面刷新应用列表并启用该应用。

基本使用

安装启用后，Recognize 会自动开始后台扫描，无需复杂配置即可生效。

1. 查看与验证

• 照片/视频: 安装并启用 Memories 应用，即可在相册中看到按人脸、物体、地标自动分类的照片。
• 音乐: 安装并启用 Audioplayer 应用，即可按识别出的音乐流派浏览音乐库。
• 标签管理: 所有识别结果均通过 Nextcloud 原生的“协作标签”系统标记，可在文件列表中直接查看标签。

2. 排除特定目录

若不希望某些文件夹被扫描，只需在该文件夹根目录下创建特定的隐藏文件：

• 排除图像识别：创建 .noimage
• 排除音乐识别：创建 .nomusic
• 排除视频识别：创建 .novideo
• 排除所有识别：创建 .nomedia

示例命令:

# 排除 /data/user/files/private_photos 文件夹的图像识别
touch /data/user/files/private_photos/.noimage

3. 注意事项

• 加密文件: 端到端加密 (E2EE) 的文件无法被 Recognize 处理，因为服务器无法读取其内容。
• 首次运行: 初次安装后，系统需要时间遍历媒体库并下载模型（对象识别约 1GB，地标识别约 300MB 等），请耐心等待后台任务完成。