AirSim

GitHub
18.1k 4.9k 较难 1 次阅读 今天NOASSERTIONAgent图像开发框架其他
AI 解读 由 AI 自动生成,仅供参考

AirSim 是由微软研发的一款开源模拟器,专为无人机、汽车等自动驾驶载具打造。它基于虚幻引擎(Unreal Engine)构建,并提供实验性的 Unity 版本,旨在为人工智能研究提供一个高保真、跨平台的虚拟测试环境。

在自动驾驶技术落地前,实地测试往往面临高昂成本与安全风险。AirSim 通过生成物理和视觉上都极度逼真的场景,有效解决了这一痛点。它支持“软件在环”与“硬件在环”仿真,能够无缝对接 PX4、ArduPilot 等主流飞控系统,让算法在虚拟世界中即可得到充分验证,大幅降低了研发门槛与试错成本。

这款工具特别适合 AI 研究人员、算法开发者以及自动驾驶领域的工程师使用。无论是探索深度学习、计算机视觉,还是训练强化学习模型,AirSim 都能提供丰富的数据接口,让用户以平台无关的方式灵活控制车辆并获取传感器数据。

值得注意的是,微软已宣布将推出升级版"Project AirSim"以满足航空航天业日益增长的需求,原版仓库虽将逐步归档停止更新,但其代码依然开放可用,继续作为社区宝贵的学习与实验资源存在。对于希望低成本入门自动驾驶仿真或验证新想法的创作者而言,AirSim 依然是一个功能强大且友好的起点。

使用场景

某无人机物流初创团队正在开发城市环境下的自动避障与精准投递算法,急需在真实飞行前验证系统的安全性。

没有 AirSim 时

  • 测试成本高昂且风险大:每次迭代算法都需实地试飞,不仅消耗昂贵的硬件设备,还面临炸机伤人或损坏周边设施的巨大安全风险。
  • 极端场景难以复现:无法安全地模拟暴雨、强风、传感器故障或突发行人闯入等极端边缘案例,导致算法在复杂现实中的鲁棒性存疑。
  • 数据获取效率低下:缺乏带有精确真值(Ground Truth)的深度图像、分割掩码和雷达数据,团队需耗费数周时间手动标注实拍视频才能训练模型。
  • 硬件依赖性强:开发进度被飞行控制器调试和硬件组装卡住,软件工程师无法在无实物情况下并行开展核心算法研发。

使用 AirSim 后

  • 零风险高频迭代:基于虚幻引擎构建的高保真物理环境中,团队每天可进行数百次虚拟试飞,即使发生严重碰撞也无需承担任何实体损失。
  • 一键生成极端工况:通过 API 轻松动态调整天气、光照及突发障碍,快速验证算法在暴雨夜航或 GPS 信号丢失等极端条件下的表现。
  • 自动化真值数据流:直接调用接口实时获取像素级语义分割、深度图和三维位置信息,将模型训练数据的准备时间从数周缩短至几分钟。
  • 软硬件解耦开发:支持软件在环(SITL)仿真,算法工程师可在无无人机实物的情况下,基于标准协议(如 PX4)完成全部逻辑开发与调试。

AirSim 让团队在零安全事故的前提下,将自动驾驶算法的研发周期缩短了 70%,并显著提升了系统在复杂现实场景中的可靠性。

运行环境要求

操作系统
  • Windows
  • Linux
  • macOS
GPU

未说明(基于 Unreal Engine 和 Unity,通常建议具备支持 DirectX 11/12 或 Vulkan 的独立显卡)

内存

未说明

依赖
notesAirSim 是构建在 Unreal Engine(主要)和 Unity(实验性)上的模拟器插件。支持软件在环(SITL)和硬件在环(HITL)仿真,兼容 PX4 和 ArduPilot 飞控。该仓库已宣布将在未来一年内归档,微软将转向新的商业产品 'Project AirSim'。用户可通过预编译二进制文件直接使用,也可从源码构建。
python未说明(支持通过 API 使用 Python、C++、C# 和 Java)
Unreal Engine
Unity (实验性)
PX4
ArduPilot
AirSim hero image

快速开始

Project AirSim 公告

微软与 IAMAI 携手合作,通过 Project AirSim——AirSim 的演进版本——推进高保真度的自主系统仿真。该项目以 MIT 许可证发布,是 DARPA 支持的一项计划的一部分。IAMAI 为能参与这一努力深感自豪,并已在 github.com/iamaisim/ProjectAirSim 上发布了其版本的 Project AirSim 代码库。

AirSim 公告:本仓库将于明年归档

2017 年,微软研究院创建了 AirSim,作为人工智能研究与实验的仿真平台。在过去的五年里,这一研究项目已完成了其使命,并取得了显著进展,成为分享研究代码、测试空中 AI 开发与仿真相关新想法的常用方式。此外,随着时间推移,我们在将技术应用于现实世界方面也取得了长足进步,尤其是在空中出行和自主系统领域。例如,无人机配送已不再是科幻情节,而是切实可行的商业实践,这也意味着出现了新的需求亟待满足。在此过程中,我们学到了许多宝贵的经验,也衷心感谢社区伙伴们一路以来的积极参与。

本着不断向前的精神,我们将在明年推出全新的仿真平台,并随后归档最初的 2017 年版 AirSim。此后,用户仍可访问原始的 AirSim 代码,但自即日起将不再进行任何更新。取而代之的是,我们将把精力集中在新产品 Microsoft Project AirSim 上,以满足航空航天行业日益增长的需求。Project AirSim 将提供一个端到端的平台,用于通过仿真安全地开发和测试空中自主系统。用户将受益于商业产品所独有的安全性、代码审查、测试、高级仿真以及人工智能功能。随着 Project AirSim 的发布日益临近,我们将推出一系列学习工具和功能,帮助您迁移到新平台,并为您提供使用指导。如需了解更多关于如何利用全新 Project AirSim 构建空中自主系统的信息,请访问 https://aka.ms/projectairsim

欢迎来到 AirSim

AirSim 是一款基于 Unreal Engine 构建的无人机、汽车等模拟器(我们现在也有实验性的 Unity 版本)。它采用开源、跨平台设计,支持与 PX4 和 ArduPilot 等主流飞行控制器结合的软件在环仿真,以及与 PX4 结合的硬件在环仿真,从而实现物理和视觉上高度逼真的模拟效果。AirSim 是一个 Unreal 插件,可轻松集成到任何 Unreal 环境中。同样地,我们也提供了 Unity 插件的实验性版本。

我们的目标是将 AirSim 打造为一个人工智能研究平台,用于试验深度学习、计算机视觉和强化学习算法在自动驾驶车辆中的应用。为此,AirSim 还提供了独立于平台的 API,用于获取数据和控制车辆。

请观看这段 1 分 30 秒的快速演示

AirSim 中的无人机

AirSim 无人机演示视频

AirSim 中的汽车

AirSim 汽车演示视频

如何获取

Windows

构建状态

Linux

构建状态

macOS

构建状态

更多详细信息,请参阅 使用预编译二进制文件 文档。

如何使用

文档

请查阅我们的 详细文档,了解 AirSim 的各个方面。

手动驾驶

如果您拥有如下所示的遥控设备,便可在模拟器中手动控制无人机。对于汽车,则可以使用方向键进行手动驾驶。

更多信息

记录截图

记录截图

编程控制

AirSim 提供了 API,使您可以以编程方式与模拟中的车辆交互。您可以使用这些 API 来获取图像、状态信息、控制车辆等。这些 API 通过 RPC 暴露,并支持多种语言,包括 C++、Python、C# 和 Java。

这些 API 也可作为独立的跨平台库使用,因此您可以将其部署在车辆上的配套计算机上。这样,您就可以先在模拟器中编写和测试代码,然后再将其部署到真实车辆上运行。迁移学习及相关研究是我们关注的重点之一。

请注意,您可以使用 SimMode 设置 来指定默认车辆,或启用新的 ComputerVision 模式,以便在每次启动 AirSim 时无需重复选择。

更多信息

收集训练数据

您可以通过两种方式从 AirSim 中生成用于深度学习的训练数据。最简单的方法是直接点击右下角的录制按钮。这将开始记录每一帧的姿态和图像。数据记录代码非常简单,您可以根据需要随意修改。

记录截图

另一种更精确地按您的需求生成训练数据的方式是直接调用 API。这种方式可以让您完全掌控数据记录的时间、内容、位置和方式。

计算机视觉模式

使用 AirSim 的另一种方式是所谓的“计算机视觉”模式。在这种模式下,没有车辆和物理引擎。您可以使用键盘在场景中自由移动,也可以通过 API 将可用的摄像头放置在任意姿态,从而采集深度图、视差图、表面法线图或物体分割图等图像。

更多信息

天气效果

按 F10 键可查看天气效果的各种选项。您还可以使用 API 来控制天气。按 F1 键可查看其他可用选项。

记录截图

教程

参与

论文

更多技术细节请参阅 AirSim 论文(FSR 2017 大会)。引用格式如下:

@inproceedings{airsim2017fsr,
  author = {Shital Shah and Debadeepta Dey and Chris Lovett and Ashish Kapoor},
  title = {AirSim: 高保真视觉与物理仿真平台,用于自动驾驶车辆},
  year = {2017},
  booktitle = {野外与服务机器人},
  eprint = {arXiv:1705.05065},
  url = {https://arxiv.org/abs/1705.05065}
}

贡献

如果您希望参与贡献,请查看 未解决的问题

谁在使用 AirSim?

我们维护着一份列表,其中列出了我们所了解的一些项目、个人和组织。如果您希望被列入该列表,请在此处提交请求

联系方式

加入我们的 GitHub 讨论组,以获取最新信息或提出任何问题。

我们还在 Facebook 上设有 AirSim 社区群组。

最新动态

有关完整变更列表,请参阅我们的 更改日志

常见问题解答

如果您遇到问题,请查阅 常见问题解答,并随时在 AirSim 仓库中提交问题。

行为准则

本项目已采纳 微软开源行为准则。如需更多信息,请参阅 行为准则常见问题解答 或发送邮件至 opencode@microsoft.com 提出任何进一步的问题或意见。

许可证

本项目采用 MIT 许可证发布。请查阅 许可证文件 以获取更多详细信息。

版本历史

v1.8.12022/07/18
v1.8.1-windows2022/07/18
v1.8.0-linux2022/06/13
v1.8.0-windows2022/06/13
v1.7.0-linux2022/01/13
v1.7.0-windows2022/01/07
v1.6.0-windows2021/08/24
v1.6.0-linux2021/08/24
v1.5.0-windows2021/05/19
v1.5.0-linux2021/05/19
v1.4.0-linux2021/01/14
v1.4.0-windows2021/01/13
v1.3.1-linux2020/04/08
v1.3.1-windows2020/04/08
v1.3.0-Windows2020/03/31
v1.3.0-linux2020/03/31
v.1.2.22019/05/15
v1.2.0Linux2019/01/12
v1.2.12019/01/23
v1.2.02018/06/20

常见问题

相似工具推荐

openclaw

OpenClaw 是一款专为个人打造的本地化 AI 助手,旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚,能够直接接入你日常使用的各类通讯渠道,包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息,OpenClaw 都能即时响应,甚至支持在 macOS、iOS 和 Android 设备上进行语音交互,并提供实时的画布渲染功能供你操控。 这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地,用户无需依赖云端服务即可享受快速、私密的智能辅助,真正实现了“你的数据,你做主”。其独特的技术亮点在于强大的网关架构,将控制平面与核心助手分离,确保跨平台通信的流畅性与扩展性。 OpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者,以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力(支持 macOS、Linux 及 Windows WSL2),即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你

349.3k|★★★☆☆|1周前
Agent开发框架图像

stable-diffusion-webui

stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面,旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点,将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。 无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师,还是想要深入探索模型潜力的开发者与研究人员,都能从中获益。其核心亮点在于极高的功能丰富度:不仅支持文生图、图生图、局部重绘(Inpainting)和外绘(Outpainting)等基础模式,还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外,它内置了 GFPGAN 和 CodeFormer 等人脸修复工具,支持多种神经网络放大算法,并允许用户通过插件系统无限扩展能力。即使是显存有限的设备,stable-diffusion-webui 也提供了相应的优化选项,让高质量的 AI 艺术创作变得触手可及。

162.1k|★★★☆☆|1周前
开发框架图像Agent

everything-claude-code

everything-claude-code 是一套专为 AI 编程助手(如 Claude Code、Codex、Cursor 等)打造的高性能优化系统。它不仅仅是一组配置文件,而是一个经过长期实战打磨的完整框架,旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。 通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能,everything-claude-code 能显著提升 AI 在复杂任务中的表现,帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略,使得模型响应更快、成本更低,同时有效防御潜在的攻击向量。 这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库,还是需要 AI 协助进行安全审计与自动化测试,everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目,它融合了多语言支持与丰富的实战钩子(hooks),让 AI 真正成长为懂上

152.6k|★★☆☆☆|今天
开发框架Agent语言模型

ComfyUI

ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎,专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式,采用直观的节点式流程图界面,让用户通过连接不同的功能模块即可构建个性化的生成管线。 这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景,也能自由组合模型、调整参数并实时预览效果,轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性,不仅支持 Windows、macOS 和 Linux 全平台,还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构,并率先支持 SDXL、Flux、SD3 等前沿模型。 无论是希望深入探索算法潜力的研究人员和开发者,还是追求极致创作自由度的设计师与资深 AI 绘画爱好者,ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能,使其成为当前最灵活、生态最丰富的开源扩散模型工具之一,帮助用户将创意高效转化为现实。

108.3k|★★☆☆☆|3天前
开发框架图像Agent

gemini-cli

gemini-cli 是一款由谷歌推出的开源 AI 命令行工具,它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言,它提供了一条从输入提示词到获取模型响应的最短路径,无需切换窗口即可享受智能辅助。 这款工具主要解决了开发过程中频繁上下文切换的痛点,让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用,还是执行复杂的 Git 操作,gemini-cli 都能通过自然语言指令高效处理。 它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口,具备出色的逻辑推理能力;内置 Google 搜索、文件操作及 Shell 命令执行等实用工具;更独特的是,它支持 MCP(模型上下文协议),允许用户灵活扩展自定义集成,连接如图像生成等外部能力。此外,个人谷歌账号即可享受免费的额度支持,且项目基于 Apache 2.0 协议完全开源,是提升终端工作效率的理想助手。

100.8k|★★☆☆☆|3天前
插件Agent图像

markitdown

MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具,专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片(含 OCR)、音频(含语音转录)、HTML 乃至 YouTube 链接等多种格式的解析,能够精准提取文档中的标题、列表、表格和链接等关键结构信息。 在人工智能应用日益普及的今天,大语言模型(LLM)虽擅长处理文本,却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点,它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式,成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外,它还提供了 MCP(模型上下文协议)服务器,可无缝集成到 Claude Desktop 等 LLM 应用中。 这款工具特别适合开发者、数据科学家及 AI 研究人员使用,尤其是那些需要构建文档检索增强生成(RAG)系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性,但其核心优势在于为机器

93.4k|★★☆☆☆|6天前
插件开发框架