最新动态（2025年）？

• :white_check_mark: 25年第二季度 - 0.38.2 - Unreal Engine 5 MetaHuman 原生支持 :rocket:
• :white_check_mark: 25年第二季度 - 0.38.2 - 重新设计的 Nuitrack 应用程序
• :white_check_mark: 24年第四季度 - 0.37.24 - Unreal Engine 5 现已通过官方 Fab 市场直接提供
• :white_check_mark: 24年第二季度 - 0.37.24 - 使用 Nuitrack 应用程序编写 CSV 文件。无需 C++ 知识！
• TouchDesigner - 正式版本现已发布。
• :movie_camera: 多传感器追踪 请参阅此页面以了解如何参与 Nuitrack Holistic 测试计划。
• :gear: 故障案例记录器

---

即将推出：

• :soon: UE Niagara 粒子系统支持
• :soon: 身体测量 API
• :soon: 多传感器全身骨骼追踪
• :soon: 追踪精度的重大更新

什么是 Nuitrack™ SDK？

Nuitrack™ 是由 3DiVi Inc 开发的用于 3D/深度传感器的 3D 身体/骨骼追踪库。

它为各种广泛的应用场景提供了基于运动的应用支持：

• 3D 传感器 - Orbbec Astra2 / Persee2 / Femto Bolt / Femto Mega, Kinect v1/v2, Kinect Azure, Intel Realsense, Asus Xtion、LIPS、Structure Sensor 等。
• 硬件平台 - x64、x86、ARMv7、ARMv8
• 操作系统 - Windows、Linux、Android、iOS

受第一代 Microsoft Kinect 的启发，Nuitrack™ 的使命是为下一代沉浸式和分析型应用提供强大的骨骼追踪基础。
可以将其视为“适用于所有设备的 Kinect”。

凭借其卓越的性能和灵活性，Nuitrack™ 能够支持广泛的应用：

• 从在 Raspberry Pi4 上进行实时手势识别，
• 到大规模多传感器分析系统。

核心功能

与任何受支持的深度传感器一起使用后，Nuitrack 提供：

深度图 / 3D 点云	场景分析，如地面平面等关键元素	人员追踪及针对每个人的像素级分割
高度复杂的 3D 骨骼追踪 用于每个人	基本的 面部分析，如年龄和情绪检测	手部追踪 和 手势识别 高级 API，用于 UI 控制

Nuitrack 拥有两套 骨骼追踪 引擎：

• “经典”引擎 - 快速、稳定且轻量级，专为嵌入式硬件和有限的 CPU 使用而高度优化。
• AI 引擎 - 基于深度学习的引擎，可更好地覆盖复杂姿态。

本质上，Nuitrack 为您的应用程序提供了一种 以人为本的空间理解工具，使您能够以自然且智能的方式与用户互动。

使用您的传感器试用 Nuitrack

操作简单快捷，只需三步：

1. 下载适合您所选 平台 的 Nuitrack Runtime 包。
2. 安装它；如有任何问题，请按照 安装说明 进行操作。
3. 插上您的传感器，然后从开始菜单启动 Nuitrack 可执行文件。

使用 Nuitrack 进行开发

C++	C#	Python

Unity	Unreal Engine 5 蓝图	:new: Touch Designer	:new: Docker

集成

• Nuitrack 提供将其嵌入到您应用程序中的能力，这意味着无需在客户的电脑上单独安装，更多信息请参见 此处。

其他资源

资源	描述
Nuitrack.com	一般信息及许可证购买
许可管理控制台	许可证/订阅管理
故障排除页面	已知问题及解决方案
社区论坛	故障排除、功能讨论
文档	文档索引
运行时组件	所有支持平台的软件包
C++/C# API	自动生成的 API 参考文档（Doxygen）
C++/C# 示例	这些基础示例展示了如何使用 Nuitrack SDK
iOS [测试版]	开始在 iOS 上使用 Nuitrack

应用领域

• 游戏与训练（健身、舞蹈课程）
• 医疗康复
• 智能家居
• 自然/手势用户界面（NUI）
• 用于 AR/VR 的全身追踪
• 观众分析
• 机器人视觉

Nuitrack 在学术界的应用

Nuitrack 广泛应用于严肃的研究中，以下仅列出部分精选参考文献：

• 利用 RGB-D 相机检测短距离投掷动作
• 通过混合现实和传感器融合骨骼跟踪，在人机共享工作空间中规划无碰撞机器人运动
• 基于图像的空间-时间表示和卷积神经网络的骨骼驱动动作识别
• 迈向实时反馈训练系统：Orbbec Persee 和 Microsoft Kinect 在运动监测中的互换性
• ROBOGait：用于临床环境中人体步态分析的移动机器人平台
• 机器人辅助步态自主训练：评估达到的水平

Nuitrack SDK 快速上手指南

Nuitrack 是一款由 3DiVi 开发的高性能 3D 人体/骨骼追踪库，支持多种深度传感器（如 Orbbec Astra/Persee, Kinect, Intel Realsense 等），适用于 Windows、Linux、Android 和 iOS 平台。它被誉为“万能 Kinect"，可为游戏、康复医疗、智能交互及机器人视觉提供精准的空间理解能力。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

系统要求

• 操作系统: Windows (10/11), Linux (Ubuntu 18.04+), Android, iOS.
• 硬件架构: x64, x86, ARMv7, ARMv8 (支持 Raspberry Pi 4 等嵌入式设备).
• 深度传感器: 需连接支持的 3D 摄像头（如 Orbbec Femto Bolt, Azure Kinect, Intel Realsense D400 系列等）。
  • 注：完整支持列表请参阅官方文档。

前置依赖

• C++ 开发: CMake, GCC/MSVC 编译器。
• Python 开发: Python 3.6+, pip。
• Unity/Unreal: 对应版本的引擎编辑器。
• 驱动: 确保深度传感器的官方驱动程序已正确安装并能被系统识别。

2. 安装步骤

方式一：安装运行时 (Runtime) - 推荐新手

适用于快速测试传感器功能或使用预编译应用。

1. 下载安装包 访问 GitHub Releases 下载对应平台的 Nuitrack Runtime 安装包。

   • 国内用户提示: 如果 GitHub 下载缓慢，可尝试使用国内镜像加速工具或前往 Nuitrack 官网查找备用下载源。

2. 执行安装

   • Windows: 运行 .msi 或 .exe 安装向导。
   • Linux (Ubuntu/Debian):

     sudo dpkg -i nuitrack-<version>-amd64.deb
     sudo apt-get install -f  # 修复依赖
     

   • macOS/Linux (通用): 解压 tarball 并配置环境变量。

3. 验证安装 插入深度传感器，从开始菜单（Windows）或终端启动 Nuitrack Viewer 应用程序。若能看到深度图和骨骼点，则安装成功。

方式二：开发者集成 (以 Python 为例)

如果您希望通过代码调用 SDK：

1. 安装 Python 绑定

   pip install py_nuitrack
   

   (注：部分版本可能需要先安装 C++ Runtime 才能使用 Python 包)

2. 激活许可证 Nuitrack 需要许可证才能运行。您可以通过 Licensing Dashboard 获取试用或正式 License，并在代码中或通过环境变量配置。

3. 基本使用

以下是一个最简单的 Python 示例，展示如何初始化传感器并获取骨骼数据。

Python 快速示例

import cv2
from py_nuitrack import DepthSensor, SkeletonTracker

# 1. 初始化深度传感器
sensor = DepthSensor()
sensor.open()

# 2. 初始化骨骼追踪器
tracker = SkeletonTracker()

print("等待检测人体...")

while True:
    # 获取深度帧
    depth_frame = sensor.get_depth_frame()
    
    if depth_frame is None:
        continue

    # 更新追踪器
    skeletons = tracker.process(depth_frame)

    # 遍历检测到的人体
    for skeleton in skeletons:
        if skeleton.confidence > 0.5:  # 过滤低置信度结果
            print(f"检测到用户 ID: {skeleton.id}")
            # 获取关键点 (例如：头部)
            head_joint = skeleton.joints[1] # 通常索引 1 代表头部
            print(f"头部坐标 (x,y,z): {head_joint.x}, {head_joint.y}, {head_joint.z}")

    # (可选) 显示深度图用于调试
    # cv2.imshow("Depth", depth_frame)
    # if cv2.waitKey(1) & 0xFF == ord('q'):
    #     break

# 清理资源
tracker.release()
sensor.close()

其他平台集成简述

• Unity: 导入 Nuitrack Unity Plugin 包，将 NuitrackManager 预制件拖入场景，即可通过 C# 脚本访问 SkeletonData。
• Unreal Engine 5: 直接从 Epic Fab Marketplace 安装 Nuitrack 插件，在蓝图中使用 Get Skeleton Data 节点。
• C++: 包含 <nuitrack/nuitrack.h>，链接 nuitrack.lib (Windows) 或 libnuitrack.so (Linux)，参考 Examples 目录下的源码。

---

提示：更多高级功能（如手势识别、人脸分析、多传感器融合）请参考官方文档中的 doc/readme.md 及示例代码库。