Wall-X

基于具身基础模型构建通用机器人

我们正在构建具身基础模型，以捕捉和压缩世界上最有价值的数据：持续的、高保真的物理交互流。

通过在模型决策与机器人本体的实时经验之间建立直接反馈回路，我们能够实现真正可泛化的智能——这种智能不仅理解世界如何运作，还能在其中有效地采取行动。

仓库

本仓库提供了支持我们WALL系列开源具身基础模型的训练与推理代码。它包含从数据准备（LeRobot）、模型配置、流匹配与FAST动作分支，到面向真实及仿真机器人的评估工具的端到端流程。

新闻

• 我们推出了WALL-OSS：点燃具身空间中的视觉语言模型，这是一个端到端的具身基础模型，利用大规模多模态预训练实现了：(1) 具身感知的视觉-语言理解，(2) 强大的语言-动作关联能力，以及 (3) 稳健的操作能力。

模型

• WALL-OSS-FLOW：https://huggingface.co/x-square-robot/wall-oss-flow
• WALL-OSS-FAST：https://huggingface.co/x-square-robot/wall-oss-fast

环境搭建

创建并激活conda环境：

conda create --name wallx python=3.10
conda activate wallx

安装依赖：

pip install -r requirements.txt
MAX_JOBS=4 pip install flash-attn==2.7.4.post1 --no-build-isolation

安装lerobot：

git clone https://github.com/huggingface/lerobot.git
git checkout c66cd401767e60baece16e1cf68da2824227e076
cd lerobot
pip install -e .

安装wall_x：

git submodule update --init --recursive
MAX_JOBS=4 pip install --no-build-isolation --verbose -e .

训练

在LeRobot数据集上微调

训练前，请参考workspace/README.md获取详细的配置说明，包括：

• 训练脚本路径配置
• GPU设置
• 模型与数据路径
• 机器人自由度配置
• 训练超参数

下载Flow/FAST预训练模型并运行：

bash ./workspace/lerobot_example/run.sh

推理

基础动作推理

关于模型推理，请参考：

python ./scripts/fake_inference.py

该脚本演示了如何：

• 使用Qwen2_5_VLMoEForAction.from_pretrained()加载Wall-OSS模型
• 准备输入数据，包括本体感觉信息、注意力掩码及数据集规格
• 以验证模式运行推理，并使用正确的数据类型（bfloat16）
• 验证模型输出并检查数值稳定性

开环评估

要生成开环对比图，请按照以下步骤操作：

python ./scripts/draw_openloop_plot.py

VQA推理与思维链测试

要运行VQA推理并测试模型的思维链（COT）推理能力，请按照以下步骤操作：

python ./scripts/vqa_inference.py

该脚本可用于测试模型在具身任务中的思维链推理能力。以下是思维链测试示例：

输入图像：

输入文本：

要把红色方块移到同色盘子里，接下来应该怎么做？请一步步思考。

模型输出（思维链推理）：

要把红色方块移到同色盘子里，首先应找到红色方块的位置。目前它位于桌面上，不在盘子里。然后，用手指小心地抓住红色方块。接着，用手将红色方块从桌面上拿起，放入同样为红色的盘子中。确保红色方块稳固地放置在盘子里，不会滑落或掉落。

加入我们的社区

• 扫描微信二维码加入讨论群，您可以在群里与社区开发者及官方团队深入交流。

📚 引用我们

如果您觉得WALL-OSS模型有用，请引用：

@article{zhai2025igniting,
  title   = {Igniting VLMs Toward the Embodied Space},
  author  = {Zhai, Andy and Liu, Brae and Fang, Bruno and Cai, Chalse and Ma, Ellie and Yin, Ethan and Wang, Hao and Zhou, Hugo and Wang, James and Shi, Lights and Liang, Lucy and Wang, Make and Wang, Qian and Gan, Roy and Yu, Ryan and Li, Shalfun and Liu, Starrick and Chen, Sylas and Chen, Vincent and Xu, Zach},
  journal = {arXiv preprint arXiv:2509.11766},
  year    = {2025}
}

Wall-X 快速上手指南

Wall-X 是一个基于具身基础模型（Embodied Foundation Model）的开源项目，旨在通过大规模多模态预训练，赋予机器人视觉 - 语言理解、语言 - 动作关联及鲁棒的操作能力。本项目提供了 WALL-OSS 系列模型的训练与推理代码。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Ubuntu 22.04
• Python 版本: 3.10
• 深度学习框架: PyTorch (兼容 CUDA 12.x)
• 关键依赖: FlashAttention, LeRobot
• 硬件建议: 支持 CUDA 的 NVIDIA GPU

安装步骤

请按照以下顺序配置环境并安装依赖。建议使用国内镜像源加速 pip 下载过程。

1. 创建并激活 Conda 环境

conda create --name wallx python=3.10
conda activate wallx

2. 安装基础依赖与 FlashAttention

# 使用清华源加速安装 requirements.txt 中的依赖
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

# 安装 FlashAttention (指定版本，关闭构建隔离以加速)
MAX_JOBS=4 pip install flash-attn==2.7.4.post1 --no-build-isolation -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 安装 LeRobot

Wall-X 依赖特定版本的 Hugging Face LeRobot 库。

git clone https://github.com/huggingface/lerobot.git
cd lerobot
# 切换到项目指定的提交版本
git checkout c66cd401767e60baece16e1cf68da2824227e076
# 使用国内源进行编辑模式安装
pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple
cd ..

4. 安装 Wall-X

初始化子模块并安装主程序。

git submodule update --init --recursive
MAX_JOBS=4 pip install --no-build-isolation --verbose -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

安装完成后，您可以运行以下脚本进行基础的模型推理测试。该脚本将加载预训练的 Wall-OSS 模型，构造包含本体感知信息和注意力掩码的输入数据，并验证模型输出。

运行基础动作推理

python ./scripts/fake_inference.py

脚本功能说明：

• 使用 Qwen2_5_VLMoEForAction.from_pretrained() 加载模型。
• 准备输入数据（本体感知信息、注意力掩码、数据集规格）。
• 以验证模式运行推理（使用 bfloat16 数据类型）。
• 检查输出的数值稳定性。

进阶测试（可选）

如果您需要测试模型的思维链（Chain-of-Thought, COT）推理能力或生成开环评估图表，可运行以下命令：

# 运行 VQA 推理及思维链测试
python ./scripts/vqa_inference.py

# 生成开环对比图
python ./scripts/draw_openloop_plot.py

提示：正式训练微调前，请参阅 workspace/README.md 获取关于 GPU 设置、数据路径及超参数的详细配置说明。