令人惊叹的机器人技术

关于机器人的精彩链接、软件库、论文以及其他有趣链接。

相关 Awesome 列表

• Kiloreaux/awesome-robotics - 学习机器人技术。
• Robotics Libraries - 另一个优秀的机器人技术库列表。
• Robotics Coursework - 在线可修读的机器人课程列表。
• 计算机视觉
• 深度学习 - 神经网络。
  • TensorFlow - 用于机器智能的库。
  • 论文 - 被引用最多的深度学习论文。
• Deep Vision - 面向计算机视觉的深度学习。
• 数据可视化 - 使用任何编程语言查看你的机器人在做什么。
• paperswithcode 最新进展 - 各种机器学习基准上的最新成果列表。

仿真器

• CoppeliaSim - 创建并仿真任意机器人。（原名 V-REP）
• Microsoft Airsim - 基于虚幻引擎的开源仿真器，适用于微软人工智能与研究部门的自动驾驶车辆。
• Bullet Physics SDK - 用于 VR、游戏、视觉特效、机器人、机器学习等领域的实时碰撞检测和多物理场仿真。另请参阅 pybullet。

可视化、视频、显示与渲染

• Pangolin - 一个轻量级、便携式的快速开发库，用于管理 OpenGL 显示/交互以及抽象视频输入。
• PlotJuggler - 快速地即时绘制和重绘数据！包含可选的 ROS 集成。
• 数据可视化 - 优秀数据可视化工具列表。

机器学习

TensorFlow 相关

• Keras - Python 的深度学习库。卷积神经网络、循环神经网络等。可在 TensorFlow 或 Theano 上运行。
• keras-contrib - Keras 社区贡献。
• TensorFlow - 一个用于机器智能的开源软件库。
• recurrentshop - 使用 Keras 构建复杂循环神经网络的框架。
• tensorpack - 基于 TensorFlow 的神经网络工具箱。
• tensorlayer - 面向研究人员和工程师的深度学习与强化学习库。
• TensorFlow-Examples - 面向初学者的 TensorFlow 教程和示例。
• hyperas - Keras + Hyperopt：一个非常简单的封装，方便进行超参数优化。
• elephas - 使用 Keras 和 Spark 进行分布式深度学习。
• PipelineAI - 用于实时 Spark 和 TensorFlow 数据管道的端到端机器学习与人工智能平台。
• sonnet - Google DeepMind 在 TensorFlow 之上提供的 API。
• visipedia/tfrecords - 展示了 TensorFlow 的 TFRecord 数据格式的使用方法。

图像分割

• tf-image-segmentation - 基于 TensorFlow 和 TF-Slim 库的图像分割框架。
• Keras-FCN

日志记录与消息传递

• spdlog - 超高速 C++ 日志库。
• lcm - 轻量级通信与序列化，用于实时系统中的消息传递和数据序列化，其中高带宽和低延迟至关重要。

跟踪

• simtrack - 基于仿真跟踪的框架。
• ar_track_alvar - 用于 ROS 的 AR 标记跟踪库。
• artoolkit5 - 增强现实工具包，拥有出色的 AR 标记跟踪软件。

机器人操作系统 (ROS)

• ROS - ROS 官方网站。
• ros2/design - ROS 2.0 计划的设计文档。

运动学、动力学、约束优化

• jrl-umi3218/Tasks - Tasks 是一个利用约束优化进行机器人及运动学树实时控制的库。
• jrl-umi3218/RBDyn - RBDyn 提供了一组类和函数来建模刚体系统的动力学。
• ceres-solver - 解决带有边界约束的非线性最小二乘问题以及一般的无约束优化问题。自 2010 年以来一直在 Google 生产环境中使用。
• orocos_kinematics_dynamics - Orocos 运动学与动力学 C++ 库。
• flexible-collsion-library - 对由三角形组成的几何模型对执行三种类型的邻近度查询，并与 ROS 集成。
• robot_calibration - 适用于 ROS 的通用机器人运动学标定。
• ruckig - 实时、时间最优且受加速度限制的在线轨迹生成。

标定

• handeye-calib-camodocal - 通用的机器人手眼标定。
• robot_calibration - 适用于 ROS 的通用机器人运动学标定。
• kalibr - 适用于 ROS 的相机和 IMU 标定。

强化学习

• "好机器人！": 具有模拟到现实迁移能力的多步视觉任务高效强化学习 - 一台真实机器人仅经过不到2万次的模拟操作便能完成多步任务。ArXiV上的好机器人（声明：@ahundt 是第一作者）
• TensorForce - 一个用于应用强化学习的 TensorFlow 库
• gqcnn - 基于 Dexterity Network (Dex-Net) 训练数据集的抓取规划用 抓取质量卷积神经网络 (GQ-CNNs)
• 引导策略搜索 - 引导策略搜索 (gps) 算法和基于 LQG 的轨迹优化，旨在帮助他人理解、复用并在此基础上进一步开发。

传感器、设备与机械臂驱动程序

• libfreenect2 - 针对 Kinect for Windows v2 和 Xbox One 设备的开源驱动程序。
• iai_kinect2 - 在 ROS 中使用 Kinect One (Kinect v2) 的工具。
• grl - 通用机器人库：跨平台的 Kuka iiwa 和 Atracsys FusionTrack 驱动程序，可选配 v-rep 和 ros 驱动。还包含跨平台的手眼标定和工具末端标定功能。

数据集

• CoSTAR 积木堆叠数据集 - 机器人堆叠彩色儿童积木（声明：由 @ahundt 创建）
• shapestacks - 模拟的彩色儿童物品堆叠
• pascal voc 2012 - 经典的图像分割参考数据集。
• openimages - 谷歌提供的大型 ImageNet 类型数据集。
• COCO - 包含对象分割、关键点以及与其他多个外部数据集链接的数据集。
• cocostuff - COCO 的补充全场景分割数据集，包括背景和标注者信息。
• Google Brain 机器人数据 - 包括抓取、推动和倾倒等任务的机器人数据集。
• Context 中的材料 - 包含 23 类真实世界图像的材料数据集。
• Dex-Net 2.0 - 670 万个带有鲁棒性标签的合成点云与抓取配对数据。

数据集收集

• LabelFusion - “用于生成杂乱场景真实 RGBD 数据真值标签的流程” 代码
• cocostuff - COCO 的补充全场景分割数据集，包括背景和标注者信息。

线性代数与几何

• Eigen - Eigen 是一个 C++ 模板库，用于线性代数：矩阵、向量、数值求解器及相关算法。
• Boost.QVM - Boost 的四元数、向量、矩阵库。
• Boost.Geometry - Boost.Geometry 包含可实例化的几何类，但库的用户也可以使用自己的几何类。
• SpaceVecAlg - 使用 Eigen3 线性代数库实现的三维几何空间向量代数。
• Sophus - 基于 Eigen 实现的用于三维几何的李群 C++ 库。

点云

• libpointmatcher - 用于机器人技术和二维/三维建图的“迭代最近点”库。
• 点云库 (pcl) - 点云库 (PCL) 是一个独立的、大规模的开源项目，用于处理二维/三维图像和点云数据。

同时定位与地图构建 (SLAM)

• ElasticFusion - 实时稠密视觉 SLAM 系统。
• co-fusion - 多物体的实时分割、跟踪与融合。扩展了 ElasticFusion。
• Google Cartographer - Cartographer 是一个可在多种平台和传感器配置下提供二维和三维实时同时定位与地图构建 (SLAM) 的系统。
• OctoMap - 基于八叉树的高效概率 3D 地图构建框架。包含主 OctoMap 库、查看器 octovis 以及 dynamicEDT3D。
• ORB_SLAM2 - 适用于单目、立体和 RGB-D 相机的实时 SLAM，具备回环检测和重定位功能。

许可证

本作品采用 知识共享署名 4.0 国际许可协议授权。

Awesome Robotics 快速上手指南

awesome-robotics 并非一个单一的软体库或可执行工具，而是一个精选资源列表，汇集了机器人领域优秀的开源库、模拟器、数据集、论文及相关工具。本指南将帮助你如何利用这份清单快速构建你的机器人开发环境。

环境准备

由于该列表涵盖多个子领域（如仿真、机器学习、SLAM、ROS 等），具体的系统要求取决于你选择使用的具体工具。以下是通用的推荐配置：

• 操作系统: 推荐 Ubuntu Linux (20.04 或 22.04 LTS)，这是大多数机器人开源工具（特别是 ROS 生态）的首选平台。部分工具支持 macOS 和 Windows。
• 核心依赖:
  • Git: 用于克隆仓库。
  • CMake & Build Essentials: 编译 C++ 项目所需 (build-essential, cmake)。
  • Python 3: 大多数机器学习和数据处理的依赖 (python3, pip3)。
  • ROS/ROS 2: 如果想使用列表中的大量机器人专用库，建议安装 ROS Noetic 或 ROS 2 Humble/Iron。
• 硬件加速 (可选): 若涉及深度学习或大型仿真，建议配备 NVIDIA GPU 并安装 CUDA Toolkit。

国内加速建议:

• Git 克隆: 若访问 GitHub 缓慢，可使用国内镜像源（如 Gitee 上的同步仓库）或配置代理。
• Python 包: 使用清华源或阿里源安装 pip 依赖：

  pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
  

• ROS 源: 安装 ROS 时请务必替换为清华或中科大镜像源。

安装步骤

既然 awesome-robotics 是一个资源索引，"安装"它实际上是指获取该列表并根据你的需求安装其中的具体工具。

1. 获取资源列表

克隆该仓库到本地，以便随时查阅分类好的链接：

git clone https://github.com/Kiloreux/awesome-robotics.git
cd awesome-robotics

(注：原 README 中列出了多个相关的 Awesome 列表，如 jslee02/awesome-robotics-libraries，建议一并收藏)

2. 安装典型工具示例

根据列表分类，以下是安装几个核心组件的通用命令示例：

A. 安装机器人操作系统 (ROS) 以 Ubuntu 20.04 安装 ROS Noetic 为例：

sudo sh -c 'echo "deb http://packages.ros.org/ros/ubuntu $(lsb_release -sc) main" > /etc/apt/sources.list.d/ros-latest.list'
sudo apt-key adv --keyserver 'hkp://keyserver.ubuntu.com:80' --recv-key C1CF6E31E6BADE8868B172B4F42ED6FBAB17C654
sudo apt update
sudo apt install ros-noetic-desktop-full
source /opt/ros/noetic/setup.bash

B. 安装点云库 (PCL) 列表中推荐的 Point Cloud Library 是处理 3D 数据的标准工具：

sudo apt update
sudo apt install libpcl-dev pcl-tools

C. 安装深度学习框架 (TensorFlow/PyTorch) 针对列表中的机器学习部分，推荐使用 pip 安装（配合国内源）：

pip install tensorflow -i https://pypi.tuna.tsinghua.edu.cn/simple
# 或者
pip install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple

D. 安装仿真器 (以 CoppeliaSim 为例) 部分仿真器需手动下载二进制文件：

1. 访问 CoppeliaSim 官网 下载 Linux 版本。
2. 解压并运行：

tar -xvf CoppeliaSim_Edu_V4_1_0_Linux.tar.xz
cd CoppeliaSim_Edu_V4_1_0_Linux
./coppeliaSim.sh

基本使用

使用 awesome-robotics 的核心流程是：浏览分类 -> 选择工具 -> 集成开发。

场景示例：构建一个简单的视觉 SLAM 系统

假设你想基于列表资源搭建一个实时 SLAM 系统：

1. 查阅列表: 在本地仓库或网页版中查看 Simultaneous Localization and Mapping (SLAM) 章节。
2. 选择工具: 列表推荐了 ORB_SLAM2 或 Google Cartographer。我们选择 ORB_SLAM2。
3. 获取代码:

   git clone https://github.com/raulmur/ORB_SLAM2.git ORB_SLAM2
   cd ORB_SLAM2
   

4. 安装依赖: 根据该项目具体的 README 安装 Eigen, Pangolin (列表中 Visualization 章节也有推荐) 等依赖。

   # 示例：安装 Pangolin
   git clone https://github.com/stevenlovegrove/Pangolin.git
   cd Pangolin
   mkdir build && cd build
   cmake ..
   make -j4
   sudo make install
   

5. 编译与运行:

   cd ../ORB_SLAM2
   chmod +x build.sh
   ./build.sh
   # 运行单目相机示例
   ./Examples/Monocular/mono_tum Vocabulary/ORBvoc.txt Examples/Monocular/TUM1.yaml PATH_TO_SEQUENCE_FOLDER
   

场景示例：利用数据集训练抓取模型

1. 查阅列表: 查看 Datasets 和 Reinforcement Learning 章节。
2. 选择资源: 选择 Dex-Net 2.0 数据集和 gqcnn 代码库。
3. 下载数据: 访问提供的链接下载合成点云数据。
4. 运行训练: 按照 gqcnn 仓库的指示，利用 TensorFlow (列表中 Machine Learning 章节) 进行模型训练。

通过这种方式，你可以将 awesome-robotics 作为导航图，快速组合出适合你项目的技术栈。