社交型LEAP动物姿态估计系统（Social LEAP Estimates Animal Poses, SLEAP）

SLEAP 是一个基于深度学习的开源多动物姿态追踪框架 (Pereira et al., Nature Methods, 2022)。它可用于追踪任意类型或数量的动物，并包含专为活跃学习（active learning）和校对设计的高级标注/训练图形用户界面（Graphical User Interface, GUI）。

功能特性

• 支持所有操作系统的简易单行安装
• 专为快速标注大型数据集设计的图形用户界面（GUI）和人机协同工作流（human-in-the-loop workflow）
• 支持单动物和多动物姿态估计，提供*自上而下（top-down）和自下而上（bottom-up）*训练策略
• 可定制的神经网络架构，仅需极少量标注即可实现高精度预测（accurate predictions）
• 快速训练：典型数据集在单GPU上训练耗时15至60分钟
• 高速推理：批量处理可达600+帧/秒（FPS），实时处理延迟低于10毫秒
• 支持远程训练/推理工作流（可在无GPU环境下使用SLEAP）
• 灵活的开发者API，用于构建集成应用和自定义功能
• 双独立后端——sleap-nn 用于训练/推理流程，sleap-io 用于处理SLEAP文件

获取SLEAP

SLEAP以Python包形式安装。强烈建议使用uv在独立环境中安装SLEAP。

最新版本可在发布版本页面获取。

快速安装

Python 3.14暂不支持

SLEAP当前支持Python 3.11、3.12和3.13。
Python 3.14尚未测试或支持。
默认情况下，uv将使用系统安装的Python。
若已安装Python 3.14，必须在安装命令中指定Python版本（≤3.13）。

示例：

uv tool install --python 3.13 "sleap[nn]"  ...

根据需要将...替换为安装命令的其余部分。

uv tool install（跨平台）：

若尚未安装uv，请先安装：

# macOS/Linux
curl -LsSf https://astral.sh/uv/install.sh | sh

# Windows
powershell -c "irm https://astral.sh/uv/install.ps1 | iex"

然后安装SLEAP：

# Windows/Linux CUDA 12.8
uv tool install "sleap[nn]" --index https://download.pytorch.org/whl/cu128 --index https://pypi.org/simple

# macOS / 仅CPU
uv tool install "sleap[nn]" --index https://download.pytorch.org/whl/cpu --index https://pypi.org/simple

安装后运行SLEAP GUI：

sleap

完整安装说明请参阅文档。

学习SLEAP

• 逐步学习： 教程
• 进阶使用： 指南 和 示例笔记本
• 视频学习： COSYNE 2024教程（第一部分）, COSYNE 2024教程（第二部分）, ABL:AOC 2023研讨会, 以及 MIT CBMM教程
• 文献学习： 论文（Pereira et al., Nature Methods, 2022） 和 行为量化综述（Pereira et al., Nature Neuroscience, 2020）
• 社区交流： GitHub讨论区

参考文献

SLEAP是单动物姿态估计软件LEAP的后续版本 (Pereira et al., Nature Methods, 2019)。

若在研究中使用SLEAP，请引用：

T.D. Pereira, N. Tabris, A. Matsliah, D. M. Turner, J. Li, S. Ravindranath, E. S. Papadoyannis, E. Normand, D. S. Deutsch, Z. Y. Wang, G. C. McKenzie-Smith, C. C. Mitelut, M. D. Castro, J. D'Uva, M. Kislin, D. H. Sanes, S. D. Kocher, S. S-H, A. L. Falkner, J. W. Shaevitz, and M. Murthy. Sleap: A deep learning system for multi-animal pose tracking. Nature Methods, 19(4), 2022

BibTeX:

@ARTICLE{Pereira2022sleap,
   title={SLEAP: A deep learning system for multi-animal pose tracking},
   author={Pereira, Talmo D and 
      Tabris, Nathaniel and
      Matsliah, Arie and
      Turner, David M and
      Li, Junyu and
      Ravindranath, Shruthi and
      Papadoyannis, Eleni S and
      Normand, Edna and
      Deutsch, David S and
      Wang, Z. Yan and
      McKenzie-Smith, Grace C and
      Mitelut, Catalin C and
      Castro, Marielisa Diez and
      D'Uva, John and
      Kislin, Mikhail and
      Sanes, Dan H and
      Kocher, Sarah D and
      Samuel S-H and
      Falkner, Annegret L and
      Shaevitz, Joshua W and
      Murthy, Mala},
   journal={Nature Methods},
   volume={19},
   number={4},
   year={2022},
   publisher={Nature Publishing Group}
   }
}

软件技术问题？

1. 查阅帮助页面。
2. 通过GitHub讨论区向社区提问。
3. 搜索GitHub问题库或提交新问题。

常规咨询？ 请联系 talmo@salk.edu。

致谢

SLEAP由普林斯顿大学普林斯顿神经科学研究所（Princeton Neuroscience Institute）的Murthy实验室和Shaevitz实验室创建。

SLEAP目前由索尔克生物研究所（Salk Institute for Biological Studies）的Talmo实验室开发和维护。

维护者

• Divya Murali (@gitttt-1234), Salk Institute for Biological Studies（索尔克生物研究所）
• Amick Licup (@alicup29), Salk Institute for Biological Studies
• Elizabeth Berrigan (@eberrigan), Salk Institute for Biological Studies
• Andrew Park (@7174Andy), Salk Institute for Biological Studies
• Tom Han (@tom21100227), Salk Institute for Biological Studies
• Talmo Pereira (@talmo), Salk Institute for Biological Studies

贡献者

SLEAP 的开发离不开许多人的重大贡献，包括：

• Liezl Maree, Salk Institute for Biological Studies
• Arlo Sheridan, Salk Institute for Biological Studies
• Arie Matsliah, Princeton Neuroscience Institute（普林斯顿神经科学研究所）, Princeton University（普林斯顿大学）
• Nat Tabris, Princeton Neuroscience Institute, Princeton University
• David Turner, Research Computing（研究计算）和 Princeton Neuroscience Institute, Princeton University
• Joshua Shaevitz, Physics（物理学）和 Lewis-Sigler Institute（刘易斯-西格勒研究所）, Princeton University
• Mala Murthy, Princeton Neuroscience Institute, Princeton University

资金支持

本工作得益于以下资金来源的支持：

• NIH BRAIN Initiative（美国国立卫生研究院脑计划） R01 NS104899
• Princeton Innovation Accelerator Fund（普林斯顿创新加速器基金）
• NIH BRAIN Initiative（美国国立卫生研究院脑计划） RF1 MH132653

许可证

SLEAP 在 BSD 3-Clause Clear License（BSD 3条款清晰许可证） 下发布。

链接

• 文档主页
• 概述
• 安装
• 教程
• 指南
• 笔记本
• 开发者API
• 帮助

SLEAP 快速上手指南

环境准备

• 系统要求：支持 Windows、macOS 和 Linux 所有主流操作系统
• Python 版本：必须使用 Python 3.11、3.12 或 3.13（不支持 Python 3.14）
• 前置依赖：推荐通过 uv 工具创建独立环境；GPU 加速需 CUDA 12.8 支持（无 GPU 可用 CPU 模式）

安装步骤

1. 安装 uv 工具（如未安装）：

   # macOS/Linux
   curl -LsSf https://astral.sh/uv/install.sh | sh
   
   # Windows
   powershell -c "irm https://astral.sh/uv/install.ps1 | iex"
   

2. 安装 SLEAP：

   • GPU 版本（Windows/Linux，CUDA 12.8）：

     uv tool install "sleap[nn]" --index https://download.pytorch.org/whl/cu128 --index https://pypi.org/simple
     

   • CPU 版本（macOS 或无 GPU）：

     uv tool install "sleap[nn]" --index https://download.pytorch.org/whl/cpu --index https://pypi.org/simple
     

   重要提示：若系统存在 Python 3.14，需在命令中指定兼容版本（例如添加 --python 3.13 参数）

3. 启动应用：

   sleap
   

基本使用

安装完成后，直接执行 sleap 命令启动图形界面。首次使用时：

1. 导入示例视频（通过 File > Open）
2. 使用标注工具框选动物关键点
3. 点击 Train 按钮启动模型训练
4. 训练完成后自动进行姿态跟踪并生成结果文件

最简工作流：导入视频 → 标注 5-10 帧 → 训练 → 查看跟踪结果。详细操作可参考官方 入门教程。