---

---

🗺️ 路线图

• 技能架构 — 适用于所有功能的可插拔SKILL.md接口
• 技能商店UI — 从Aegis浏览、安装和配置技能
• AI/LLM辅助技能安装 — 社区贡献的技能可通过AI代理安装和配置
• GPU / NPU / CPU (AIPC)感知安装 — 自动检测硬件、安装匹配的框架、将模型转换为最优格式
• 硬件环境层 — 共享env_config.py，用于在NVIDIA、AMD、Apple Silicon、Intel及CPU上自动检测硬件并优化模型
• 技能开发 — 涵盖10个类别的19项技能，正积极通过社区贡献不断扩展

🧩 技能目录

每项技能都是一个自包含的模块，拥有自己的模型、参数和通信协议。请参阅技能开发指南和平台参数，以构建您自己的技能。

类别	技能	功能	状态
检测	yolo-detection-2026	实时80多种类别检测——通过TensorRT / CoreML / OpenVINO / ONNX自动加速	✅
	yolo-detection-2026-coral-tpu	Google Coral Edge TPU——通过USB加速器实现约4ms推理（LiteRT)	✅
	yolo-detection-2026-openvino	Intel NCS2 USB / Intel GPU / CPU——通过OpenVINO实现多设备支持（架构)	🧪
	face-detection-recognition	面部检测与识别——从相机画面中识别已知面孔	📐
	license-plate-recognition	车牌检测与识别——从相机画面中读取车牌号码	📐
分析	home-security-benchmark	针对LLM与VLM安全性能的143项测试评估套件	✅
隐私	depth-estimation	实时深度图隐私变换——在保留活动信息的同时匿名化相机画面	✅
分割	sam2-segmentation	使用Segment Anything 2进行交互式点击分割——像素级精确掩膜、点/框提示、视频跟踪	✅
标注	dataset-annotation	AI辅助数据集标注——自动检测、人工审核，并导出为COCO/YOLO/VOC格式，用于自定义模型训练	✅
训练	model-training	代理驱动的YOLO微调——标注、训练、导出、部署	📐
自动化	mqtt · webhook · ha-trigger	基于事件的自动化触发器	📐
集成	homeassistant-bridge	将Home Assistant摄像头输入与检测结果输出相连接	📐

✅ 已就绪 · 🧪 测试中 · 📐 计划中

注册表： 所有技能均编入skills.json，便于程序化发现。

检测与分割技能

检测与分割技能处理来自摄像头 feed 的视觉数据——检测物体、分割区域或分析场景。所有技能都使用相同的 JSONL 标准输入/输出协议：Aegis 将一帧写入共享卷，通过标准输入发送 frame 事件，并从标准输出读取 detections。从 Aegis 的角度来看，每种检测技能都是可互换的。

graph TB
    CAM["📷 摄像头 Feed"] --> GOV["帧控制器（5 FPS）"]
    GOV --> |"frame.jpg → 共享卷"| PROTO["JSONL 标准输入/输出协议"]

    PROTO --> YOLO["yolo-detection-2026"]
    PROTO --> CORAL["yolo-detection-2026-coral-tpu"]
    PROTO --> OV["yolo-detection-2026-openvino"]

    subgraph Backends["技能后端"]
        YOLO --> ENV["env_config.py 自动检测"]
        ENV --> TRT["NVIDIA → TensorRT"]
        ENV --> CML["Apple Silicon → CoreML"]
        ENV --> OVIR["Intel → OpenVINO IR"]
        ENV --> ONNX["AMD / CPU → ONNX"]

        CORAL --> LITERT["ai-edge-litert + libedgetpu"]
        LITERT --> TPU["Coral USB → Edge TPU delegate"]
        LITERT --> CPU1["无 TPU → CPU 备用"]

        OV --> OVSDK["OpenVINO SDK"]
        OVSDK --> NCS2["Intel NCS2 USB"]
        OVSDK --> IGPU["Intel iGPU / Arc"]
        OVSDK --> CPU2["CPU 备用"]
    end

    YOLO --> |"stdout: detections"| AEGIS["Aegis IPC → 实时叠加 + 警报"]
    CORAL --> |"stdout: detections"| AEGIS
    OV --> |"stdout: detections"| AEGIS

• 统一协议 — 每个技能都会创建自己的 Python venv 或 Docker 容器，但无论后端如何，Aegis 都会看到相同的 JSONL 接口。
• Coral TPU 使用 ai-edge-litert（LiteRT）和 libedgetpu 委托 — 支持 Linux、macOS 和 Windows 上的 Python 3.9–3.13。
• 相同输出 — Aegis 从所有技能中看到的 JSONL 都是相同的，因此检测叠加、警报和取证分析可以与任何后端配合使用。

LLM 辅助技能安装

技能由一个 自主的 LLM 部署代理 安装——而不是由脆弱的 shell 脚本完成。当您在 Aegis 中点击“安装”时，一个专注的迷你代理会读取技能的 SKILL.md 清单，并确定需要做什么：

1. 探测 — 读取 SKILL.md、requirements.txt 和 package.json，以了解技能所需的内容。
2. 检测硬件 — 检查是否有 NVIDIA（CUDA）、AMD（ROCm）、Apple Silicon（MPS）、Intel（OpenVINO）或仅限 CPU 的环境。
3. 安装 — 运行正确的命令（pip install、npm install、系统包），并确保包含特定于后端的依赖项。
4. 验证 — 运行烟雾测试以确认技能已加载，然后标记为完成。
5. 确定启动命令 — 找出启动技能的确切 run_command，并将其保存到注册表中。

这意味着社区贡献的技能不需要专门的安装程序——LLM 会读取清单，并根据您拥有的硬件进行调整。如果出现问题，它会读取错误输出并尝试自主修复。

🚀 开始使用 SharpAI Aegis

运行 DeepCamera AI 技能的最简单方式。Aegis 将一切连接起来——摄像头、模型、技能以及您本人。

• 📷 几秒钟内连接摄像头 — 添加 RTSP/ONVIF 摄像头、网络摄像头或 iPhone 摄像头进行快速测试。
• 🤖 内置本地 LLM & VLM — 包含 llama-server，无需单独设置。
• 📦 一键部署技能 — 使用 AI 辅助故障排除从目录中安装技能。
• 🔽 一键下载 HuggingFace 模型 — 浏览并运行 Qwen、DeepSeek、SmolVLM、LLaVA、MiniCPM-V。
• 📊 找到适合您设备的最佳 VLM — 使用 HomeSec-Bench 在您自己的硬件上对模型进行基准测试。
• 💬 与您的守护者对话 — 通过 Telegram、Discord 或 Slack。询问发生了什么，告诉它要关注什么，获取带有录像的 AI 理性回答。

🎯 YOLO 2026 — 实时目标检测

最先进的本地检测技术，可在 任何硬件上运行，完全集成为 DeepCamera 技能。

YOLO26 模型

YOLO26（2026 年 1 月）消除了 NMS 和 DFL，从而实现更干净的导出和更低的延迟。选择适合您硬件大小的模型：

模型	参数	优化后的延迟	使用场景
yolo26n（nano）	2.6M	~2ms	边缘设备，CPU 上的实时应用
yolo26s（small）	11.2M	~5ms	平衡速度与精度
yolo26m（medium）	25.4M	~12ms	注重精度
yolo26l（large）	52.3M	~25ms	最大化检测质量

所有模型都能检测 80 多种 COCO 类别：人、车辆、动物、日常物品。

硬件加速

共享的 env_config.py 自动检测您的 GPU，并将模型转换为最快的原生格式——无需手动设置：

您的硬件	优化后的格式	运行时	相比 PyTorch 的加速
NVIDIA GPU（RTX、Jetson）	TensorRT .engine	CUDA	3-5倍
Apple Silicon（M1–M4）	CoreML .mlpackage	ANE + GPU	~2倍
Intel（CPU、iGPU、NPU）	OpenVINO IR .xml	OpenVINO	2-3倍
AMD GPU（RX、MI）	ONNX Runtime	ROCm	1.5-2倍
任何 CPU	ONNX Runtime	CPU	~1.5倍

Aegis 技能集成

检测作为一条 并行管道 与 VLM 分析同时运行——绝不会阻塞您的 AI 代理：

摄像头 → 帧控制器 → detect.py (JSONL) → Aegis IPC → 实时叠加
                5 FPS           ↓
                          性能统计（p50/p95/p99 延迟）

• 🖱️ 点击即可设置 — Aegis 中的一个按钮即可完成所有安装，无需终端操作。
• 🤖 AI 驱动的环境配置 — 自主代理会检测您的 GPU，安装合适的框架（CUDA/ROCm/CoreML/OpenVINO），转换模型，并验证设置。
• 📺 实时边界框 — 检测结果以叠加层的形式显示在 RTSP 摄像头流上。
• 📊 内置性能剖析 — 每 50 帧会汇总一次延迟统计（p50/p95/p99）。
• ⚡ 自动启动 — 设置 auto_start: true，使 Aegis 启动时即开始检测。

📖 完整技能文档 →

🔒 隐私 — 深度图匿名化

观看您的摄像头时，无需看到人脸、衣物或身份信息。深度估计技能 使用 Depth Anything v2 将实时视频流转换为彩色深度图——近处物体用暖色表示，远处物体用冷色表示。

摄像头画面 ──→ Depth Anything v2 ──→ 彩色深度图 ──→ Aegis 隐私叠加
   (实时)          (0.5 FPS)           暖色=近，冷色=远      (隐私开启)

• 🛡️ 完全匿名化 — depth_only 模式隐藏所有视觉身份信息，同时保留空间活动信息
• 🎨 叠加模式 — 可调节透明度，将深度图与原始画面混合显示
• ⚡ 速率限制 — 前端以 0.5 FPS 采集，后端调度器确保 GPU 负载保持在较低水平
• 🧩 可扩展性 — 新的隐私技能（模糊、像素化、剪影）可以继承自 TransformSkillBase

该功能运行于与 YOLO 目标检测相同的 硬件加速栈 上——CUDA、MPS、ROCm、OpenVINO 或 CPU。

📖 完整技能文档 → · 📖 README →

📊 HomeSec-Bench — 您的本地 AI 安全吗？

HomeSec-Bench 是一项包含 143 个测试的安全基准测试，用于评估您的本地 AI 作为安全卫士的表现。它测试的是真正重要的内容：它能否在雾中检测到人？能否区分入室盗窃和快递送达？能否抵御提示注入攻击？凌晨 3 点是否能正确路由警报？

在您自己的硬件上运行此测试，即可准确了解您的系统现状。

领域	测试数量	关键点
场景理解	35	在雾、雨、夜间红外、阳光眩光等条件下的人体检测
安全分类	12	区分入室盗窃与浣熊入侵
工具使用与推理	16	正确调用工具并设置准确参数
抵抗提示注入	4	防御试图禁用安防系统的对抗性攻击
隐私合规	3	防止 PII 泄露，拒绝非法监控
警报路由	5	在正确的时间通过正确的渠道发送正确的消息

结果：本地 vs. 云端 vs. 混合

在 Mac M1 Mini 8GB 上运行时，本地 Qwen3.5-4B 得分为 39/54（72%），云端 GPT-5.2 得分为 46/48（96%），而混合配置则达到 53/54（98%）。所有 35 张 VLM 测试图像均为 AI 生成，未使用真实录像，完全符合隐私合规要求。

📄 阅读论文 · 🔬 自行运行 · 📋 测试场景

---

📦 更多应用

旧版应用（SharpAI-Hub CLI）

这些应用使用基于 Docker 的 sharpai-cli 工作流程。 如需更现代化的体验，请使用 SharpAI Aegis。

应用名称	CLI 命令	支持平台
人员再识别 (ReID)	sharpai-cli yolov7_reid start	Jetson/Windows/Linux/macOS
人员检测器	sharpai-cli yolov7_person_detector start	Jetson/Windows/Linux/macOS
人脸识别	sharpai-cli deepcamera start	Jetson/Windows/Linux/macOS
本地人脸识别	sharpai-cli local_deepcamera start	Windows/Linux/macOS
屏幕监控	sharpai-cli screen_monitor start	Windows/Linux/macOS
停车场监控	sharpai-cli yoloparking start	Jetson AGX
跌倒检测	sharpai-cli falldetection start	Jetson AGX

📖 详细安装指南 →

测试设备

• 边缘设备: Jetson Nano、Xavier AGX、Raspberry Pi 4/8GB
• 桌面设备: macOS、Windows 11、Ubuntu 20.04
• MCU: ESP32 CAM、ESP32-S3-Eye

测试摄像头

• RTSP: 大华、Lorex、Amcrest
• 云摄像头: Blink、Nest（通过 Home Assistant）
• 手机摄像头: IP Camera Lite（iOS）

---

🏗️ 架构

完整功能列表 →

🤝 支持与社区

• 💬 Slack 社区 — 提供帮助、讨论及摄像头设置支持
• 🐛 GitHub Issues — 技术支持与问题报告
• 🏢 商业支持 — 流水线优化、定制模型、边缘部署

贡献

DeepCamera 快速上手指南

DeepCamera 是一个开源的 AI 摄像头技能平台，支持在本地运行 VLM 场景分析、物体检测、人员重识别等 AI 功能。所有推理均在本地完成，确保最大程度的隐私安全。推荐搭配桌面端应用 SharpAI Aegis 使用，以实现一键安装和智能管理。

环境准备

系统要求

• 操作系统：Linux, macOS (Apple Silicon M1-M4), Windows
• 硬件加速支持（可选但推荐）：
  • NVIDIA GPU (CUDA)
  • Apple Silicon (MPS/CoreML)
  • Intel CPU/iGPU/NPU (OpenVINO)
  • AMD GPU (ROCm)
  • Google Coral Edge TPU
• 内存：建议 8GB 以上（运行大模型需更多）
• 存储：预留足够空间下载模型（单个模型约 100MB - 2GB）

前置依赖

虽然 SharpAI Aegis 会自动处理大部分依赖，但手动运行或开发技能时需确保以下环境就绪：

• Python 3.9 - 3.13
• Git
• Docker (可选，用于隔离技能运行环境)

国内加速提示：如遇网络问题，建议配置国内镜像源：

• Pip: pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
• HuggingFace: 设置环境变量 HF_ENDPOINT=https://hf-mirror.com

安装步骤

最推荐的安装方式是通过 SharpAI Aegis 桌面应用，它集成了 LLM 代理，可自动检测硬件并配置环境。

方法一：使用 SharpAI Aegis（推荐）

1. 下载应用 访问官网下载适用于你操作系统的安装包： https://www.sharpai.org

2. 安装并启动 运行安装程序，启动 Aegis 应用。无需手动配置 Docker 或 CLI。

3. 连接摄像头 在应用界面中添加 RTSP/ONVIF 摄像头、Webcam 或 iPhone 摄像头。

4. 安装技能

   • 进入 "Skill Store" (技能商店)。
   • 浏览所需技能（如 yolo-detection-2026）。
   • 点击 Install。内置的 AI 代理将自动：
     • 读取 SKILL.md 清单。
     • 检测你的硬件 (NVIDIA/Apple/Intel 等)。
     • 安装对应的后端框架 (TensorRT/CoreML/OpenVINO)。
     • 转换模型格式并验证运行。

方法二：手动部署技能（开发者模式）

若需手动运行特定技能（以 YOLO 检测为例）：

1. 克隆仓库

   git clone https://github.com/SharpAI/DeepCamera.git
   cd DeepCamera
   

2. 创建虚拟环境

   python -m venv venv
   source venv/bin/activate  # Windows: venv\Scripts\activate
   

3. 安装核心依赖

   pip install sharpai-hub
   # 如需国内加速：
   # pip install -i https://pypi.tuna.tsinghua.edu.cn/simple sharpai-hub
   

4. 安装具体技能依赖 以 YOLO 2026 为例：

   cd skills/detection/yolo-detection-2026
   pip install -r requirements.txt
   

5. 模型自动优化 首次运行时，脚本会通过 env_config.py 自动检测硬件并将模型转换为最优格式（如 .engine, .mlpackage, .xml）。

基本使用

通过 Aegis 运行检测技能

1. 启动技能 在 Aegis 界面中，找到已安装的 yolo-detection-2026 技能，开启开关或设置 auto_start: true。

2. 查看实时结果

   • 应用会在摄像头画面上实时渲染检测框（Bounding Boxes）。
   • 支持 80+ 类 COCO 对象检测（人、车、动物等）。
   • 延迟极低（根据硬件不同，优化后可达 2ms - 25ms）。

3. 交互与通知

   • 配置 Discord / Telegram / Slack 机器人，接收智能警报。
   • 使用内置聊天功能询问摄像头：“刚才发生了什么？”或“盯着门口”。

命令行测试技能协议

技能通过标准的 JSONL stdin/stdout 协议通信。你可以手动发送帧进行测试：

# 示例：向技能发送帧事件并读取检测结果
echo '{"event": "frame", "path": "/path/to/frame.jpg"}' | python detect.py

输出示例：

{"detections": [{"class": "person", "confidence": 0.95, "bbox": [100, 200, 300, 400]}]}

性能基准测试

使用内置的 home-security-benchmark 技能评估你机器上的 VLM/LLM 性能：

1. 在 Aegis 技能商店安装 home-security-benchmark。
2. 运行该技能，它将执行 143 项测试并生成报告，帮助你选择最适合当前硬件的模型（如 Qwen, LLaVA, SmolVLM 等）。