cube
Cube 是 Roblox 推出的面向 3D 智能的基础模型,旨在成为构建虚拟世界的核心引擎。它不仅能根据文字描述自动生成高质量的 3D 物体和场景,还能辅助完成角色骨骼绑定及行为脚本编写,全方位支持开发者打造丰富的 Roblox 体验。
针对传统 3D 内容制作门槛高、周期长的痛点,Cube 利用生成式 AI 技术大幅降低了创作难度。用户只需输入如“机械龙虾”或“低多边形维多利亚风格兔子”等复杂指令,即可快速获得结构合理、细节丰富的 3D 资产。2025 年 7 月更新的 v0.5 版本进一步提升了生成保真度,并引入了独特的“边界框条件控制”技术,允许用户在生成时指定物体的整体比例和形态约束,使模型能更精准地平衡创意与空间需求。
这款工具非常适合游戏开发者、3D 设计师以及人工智能研究人员使用。开发者可利用它加速原型设计,设计师能借此激发灵感并快速产出素材,而研究人员则可通过其开源架构探索 3D 生成的前沿技术。目前,Cube 已开放模型权重、交互式演示及 Colab 实验环境,邀请社区共同推动 3D 智能生态的发展。
使用场景
一位独立游戏开发者正在为 Roblox 平台快速构建一个包含复杂机械生物和独特建筑风格的冒险地图,急需大量高质量的 3D 资产。
没有 cube 时
- 建模耗时极长:手工雕刻“带有机械坦克履带的龙虾”等混合概念模型,需数天时间调整拓扑结构和细节。
- 风格难以统一:外包或自行制作的低多边形(Lowpoly)纸艺风格兔子,往往比例失调,缺乏维多利亚时代的精致感。
- 空间适配困难:手动调整贝壳或高塔模型以适应特定的关卡边界框(Bounding Box),常导致模型变形或构图失衡。
- 迭代成本高昂:一旦策划修改需求,如改变物体长宽比,几乎需要重新建模,严重拖慢开发进度。
使用 cube 后
- 瞬间生成复杂组合:输入文本提示词,cube 即可直接生成高保真的“机械龙虾配坦克履带”,完美融合多种概念特征。
- 精准还原艺术风格:通过自然语言描述,cube 能准确产出符合“低多边形纸艺维多利亚兔子”要求的模型,细节与风格高度一致。
- 智能适应空间约束:利用边界框条件控制功能,cube 能自动将“贝壳”或“高塔”创意生成到指定长宽比内,保持结构完整且美观。
- 敏捷响应需求变更:只需修改提示词或调整边界框参数,cube 秒级重新生成变体,让开发者能实时验证不同设计方案。
cube 将原本需要数天的 3D 资产创作流程缩短至分钟级,让开发者能从繁琐的建模工作中解放出来,专注于游戏玩法的核心创新。
运行环境要求
- Linux
- macOS
- Windows
- 必需
- 推荐 NVIDIA GPU (L40S, H100, A100)
- Apple Silicon (M2-M4) 或 AMD GPU 可通过 MPS 后端运行
- 使用 --fast-inference 模式需至少 24GB 显存,普通模式需至少 16GB 显存
- Windows 用户需安装 CUDA Toolkit (示例命令暗示 cu124/CUDA 12.4)
未说明

快速开始
Cube:用于3D的生成式AI系统
基于海量数据训练的基础模型,在文本、图像、音频和视频等领域展现出卓越的推理与生成能力。我们的目标是构建一个面向3D智能的基础模型,该模型能够支持开发者完成Roblox体验的各个方面——从生成3D对象和场景,到为角色绑定骨骼以实现动画,再到编写描述对象行为的程序化脚本。随着我们开始开源一系列朝着这一愿景迈进的模型,我们希望与研究社区的同仁们携手合作,共同实现这些目标。
2025年7月更新:Cube 3D v0.5 ✨
在v0.5版本中,我们对基于自回归的文本到3D几何生成基础模型进行了两项升级:更高保真的3D组合和边界框条件约束。下方的示例动图展示了该模型能够生成捕捉文本中多种概念混合的3D形状,例如“带有机械履带的机械龙虾”。此外,v0.5模型在文本一致性方面也有了显著提升,比如“低多边形纸质维多利亚风格兔子”。
通过边界框条件约束,我们观察到模型能够在两个条件输入——文本提示和全局宽高比——之间取得平衡,从而生成新颖的3D作品。在下面的动图中,可以看到模型如何将“贝壳”或“高塔”等提示创造性地转化为独特的3D形态。不过,当边界框对于特定提示过于极端时,模型有时也会遇到困难,例如在生成“猫”的例子中,可能会产生不相连的部分,或者为了适应边界框限制而沿对角线方向进行生成。
如需了解这两项改进背后的技术细节,请参阅我们在arXiv上发布的最新报告:v3报告。最新模型是在额外约280万个合成3D资产上进行训练的。我们对VQ-VAE架构及训练流程进行了多项优化,并将VQ-VAE潜在空间长度由512增加至1024,以提升生成质量。
试用地址:
更新后的CLI推理
请按照以下[安装要求](自v0.1版本起)克隆并安装代码库。主要变化包括新的模型权重、配置文件(位于./cube3d/config/目录下)以及用于指定边界框的新参数。目前默认使用支持边界框的v0.5配置。
要使用下载的模型生成3D模型,只需运行以下命令:
python -m cube3d.generate \
--gpt-ckpt-path model_weights/shape_gpt.safetensors \
--shape-ckpt-path model_weights/shape_tokenizer.safetensors \
--fast-inference \
--prompt "一座高塔" \
--bounding-box-xyz 1.0 2.0 1.5
注意:
--fast-inference为可选参数,并非所有显存有限的GPU都支持。此选项在MacOS上也无法使用。
生成的输出将是一个.obj文件,保存在指定的output目录中。
2025年3月发布:Cube 3D v0.1
Cube 3D是我们迈向3D智能的第一步,它包含一个形状分词器和一个文本到形状的生成模型。我们正在释放生成3D资源的能力,激发所有创作者的创造力。最新版本的Cube 3D现已向个人、创作者、研究人员以及各种规模的企业开放,以便他们能够负责任地试验、创新并扩展自己的想法。本次发布包含了模型权重以及使用我们的文本到形状模型创建3D资源的初始代码。
安装要求
请在虚拟环境中克隆并安装此仓库,方法如下:
git clone https://github.com/Roblox/cube.git
cd cube
pip install -e .[meshlab]
CUDA:如果您使用的是Windows机器,可能需要安装CUDA工具包,并通过
pip install torch --index-url https://download.pytorch.org/whl/cu124 --force-reinstall来安装支持CUDA的PyTorch。
MacOS:配备Apple Silicon或AMD显卡的系统可以利用PyTorch的Metal Performance Shaders (MPS)后端。
注意:
[meshlab]为可选依赖项,若为提高兼容性可直接运行pip install -e .将其移除,但此时网格简化功能将被禁用。
从Hugging Face下载模型 🤗
您可以从Hugging Face下载模型权重,或使用huggingface-cli:
huggingface-cli download Roblox/cube3d-v0.5 --local-dir ./model_weights
推理
1. 形状生成
要使用下载的模型生成 3D 模型,只需运行以下命令:
python -m cube3d.generate \
--gpt-ckpt-path model_weights/shape_gpt.safetensors \
--shape-ckpt-path model_weights/shape_tokenizer.safetensors \
--fast-inference \
--prompt "宽翼飞翔的红龙,身形修长,双腿收起。"
注意:
--fast-inference是可选参数,并非所有显存有限的 GPU 都支持。此外,该标志在 macOS 上也无法使用。
输出将是一个 .obj 文件,保存到指定的 output 目录中。
若需渲染网格的转盘 GIF 动画,可以使用 --render-gif 标志,它会生成一个转盘 GIF 并将其保存为 turntable.gif,同样位于指定的 output 目录中。
我们在 examples 文件夹中提供了若干示例输出对象及其对应的文本提示。
注意:要渲染转盘 GIF,您的系统必须安装 Blender(版本 ≥ 4.3)且其可执行文件需在系统的 PATH 中。您可从 Blender 官网下载。请确保命令行能够访问 Blender 可执行文件。
注意:如果形状解码速度较慢,您可以尝试通过
--resolution-base参数降低分辨率。较低的分辨率会生成更粗糙、质量较低但解码更快的网格。建议设置范围为 4.0 到 9.0。
2. 形状分词与反分词
要将 3D 形状分词为标记索引并将其重构回原始形状,可使用以下命令:
python -m cube3d.vq_vae_encode_decode \
--shape-ckpt-path model_weights/shape_tokenizer.safetensors \
--mesh-path ./outputs/output.obj
此命令将处理位于 ./outputs/output.obj 的 .obj 文件,打印出分词后的表示,并导出由标记索引重构的网格。
硬件要求
我们已在以下设备上测试过本模型:
- Nvidia L40S GPU
- Nvidia H100 GPU
- Nvidia A100 GPU
- Apple Silicon M2-4 芯片。
建议在使用 --fast-inference(或 EngineFast)时,GPU 显存至少为 24GB;否则,至少需要 16GB 显存。
代码使用
我们设计了一个极简的 API,允许将此仓库作为 Python 库使用:
import torch
import trimesh
from cube3d.inference.engine import Engine, EngineFast
# 加载检查点
config_path = "cube3d/configs/open_model.yaml"
gpt_ckpt_path = "model_weights/shape_gpt.safetensors"
shape_ckpt_path = "model_weights/shape_tokenizer.safetensors"
engine_fast = EngineFast( # 仅支持 CUDA 设备,否则请使用 Engine
config_path,
gpt_ckpt_path,
shape_ckpt_path,
device=torch.device("cuda"), # 在 Metal 兼容设备上替换为 "mps"
)
# 推理
input_prompt = "一副降噪耳机"
# 注意:降低 `resolution_base` 可加快推理速度并减少显存占用。
# `top_p` 参数控制每次推理的随机性:
# 小于 1 的浮点数:保留累积概率大于等于 `top_p` 的最小标记集合。默认为 None:确定性生成。
mesh_v_f = engine_fast.t2s([input_prompt], use_kv_cache=True, resolution_base=8.0, top_p=0.9)
# 保存输出
vertices, faces = mesh_v_f[0][0], mesh_v_f[0][1]
_ = trimesh.Trimesh(vertices=vertices,faces=faces).export("output.obj")
即将推出的功能
- 纹理生成
- 场景布局生成
引用
如果您觉得本工作有所帮助,请考虑引用我们的技术报告:
@article{roblox2025cube,
title = {Cube: 3D 智能的 Roblox 视角},
author = {Roblox 基础 AI 团队},
journal = {arXiv 预印本 arXiv:2503.15475},
year = {2025}
}
致谢
我们衷心感谢 TRELLIS、CraftsMan3D、threestudio、Hunyuan3D-2、minGPT、dinov2、OptVQ、1d-tokenizer 等开源项目贡献者,感谢他们对开源社区的宝贵贡献。
常见问题
相似工具推荐
ML-For-Beginners
ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程,旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周,包含 26 节精炼课程和 52 道配套测验,内容涵盖从基础概念到实际应用的完整流程,有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。 无论是希望转型的开发者、需要补充算法背景的研究人员,还是对人工智能充满好奇的普通爱好者,都能从中受益。课程不仅提供了清晰的理论讲解,还强调动手实践,让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持,通过自动化机制提供了包括简体中文在内的 50 多种语言版本,极大地降低了全球不同背景用户的学习门槛。此外,项目采用开源协作模式,社区活跃且内容持续更新,确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路,ML-For-Beginners 将是理想的起点。
ragflow
RAGFlow 是一款领先的开源检索增强生成(RAG)引擎,旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体(Agent)能力相结合,不仅支持从各类文档中高效提取知识,还能让模型基于这些知识进行逻辑推理和任务执行。 在大模型应用中,幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构(如表格、图表及混合排版),显著提升了信息检索的准确度,从而有效减少模型“胡编乱造”的现象,确保回答既有据可依又具备时效性。其内置的智能体机制更进一步,使系统不仅能回答问题,还能自主规划步骤解决复杂问题。 这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统,还是致力于探索大模型在垂直领域落地的创新者,都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口,既降低了非算法背景用户的上手门槛,也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目,它正成为连接通用大模型与行业专有知识之间的重要桥梁。
PaddleOCR
PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来,转换成计算机可读取的结构化数据,让机器真正“看懂”图文内容。 面对海量纸质或电子文档,PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域,它扮演着连接图像与大型语言模型(LLM)的桥梁角色,能将视觉信息直接转化为文本输入,助力智能问答、文档分析等应用场景落地。 PaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显:不仅支持全球 100 多种语言的识别,还能在 Windows、Linux、macOS 等多个系统上运行,并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目,PaddleOCR 既能满足快速集成的需求,也能支撑前沿的视觉语言研究,是处理文字识别任务的理想选择。
awesome-machine-learning
awesome-machine-learning 是一份精心整理的机器学习资源清单,汇集了全球优秀的机器学习框架、库和软件工具。面对机器学习领域技术迭代快、资源分散且难以甄选的痛点,这份清单按编程语言(如 Python、C++、Go 等)和应用场景(如计算机视觉、自然语言处理、深度学习等)进行了系统化分类,帮助使用者快速定位高质量项目。 它特别适合开发者、数据科学家及研究人员使用。无论是初学者寻找入门库,还是资深工程师对比不同语言的技术选型,都能从中获得极具价值的参考。此外,清单还延伸提供了免费书籍、在线课程、行业会议、技术博客及线下聚会等丰富资源,构建了从学习到实践的全链路支持体系。 其独特亮点在于严格的维护标准:明确标记已停止维护或长期未更新的项目,确保推荐内容的时效性与可靠性。作为机器学习领域的“导航图”,awesome-machine-learning 以开源协作的方式持续更新,旨在降低技术探索门槛,让每一位从业者都能高效地站在巨人的肩膀上创新。
scikit-learn
scikit-learn 是一个基于 Python 构建的开源机器学习库,依托于 SciPy、NumPy 等科学计算生态,旨在让机器学习变得简单高效。它提供了一套统一且简洁的接口,涵盖了从数据预处理、特征工程到模型训练、评估及选择的全流程工具,内置了包括线性回归、支持向量机、随机森林、聚类等在内的丰富经典算法。 对于希望快速验证想法或构建原型的数据科学家、研究人员以及 Python 开发者而言,scikit-learn 是不可或缺的基础设施。它有效解决了机器学习入门门槛高、算法实现复杂以及不同模型间调用方式不统一的痛点,让用户无需重复造轮子,只需几行代码即可调用成熟的算法解决分类、回归、聚类等实际问题。 其核心技术亮点在于高度一致的 API 设计风格,所有估算器(Estimator)均遵循相同的调用逻辑,极大地降低了学习成本并提升了代码的可读性与可维护性。此外,它还提供了强大的模型选择与评估工具,如交叉验证和网格搜索,帮助用户系统地优化模型性能。作为一个由全球志愿者共同维护的成熟项目,scikit-learn 以其稳定性、详尽的文档和活跃的社区支持,成为连接理论学习与工业级应用的最
keras
Keras 是一个专为人类设计的深度学习框架,旨在让构建和训练神经网络变得简单直观。它解决了开发者在不同深度学习后端之间切换困难、模型开发效率低以及难以兼顾调试便捷性与运行性能的痛点。 无论是刚入门的学生、专注算法的研究人员,还是需要快速落地产品的工程师,都能通过 Keras 轻松上手。它支持计算机视觉、自然语言处理、音频分析及时间序列预测等多种任务。 Keras 3 的核心亮点在于其独特的“多后端”架构。用户只需编写一套代码,即可灵活选择 TensorFlow、JAX、PyTorch 或 OpenVINO 作为底层运行引擎。这一特性不仅保留了 Keras 一贯的高层易用性,还允许开发者根据需求自由选择:利用 JAX 或 PyTorch 的即时执行模式进行高效调试,或切换至速度最快的后端以获得最高 350% 的性能提升。此外,Keras 具备强大的扩展能力,能无缝从本地笔记本电脑扩展至大规模 GPU 或 TPU 集群,是连接原型开发与生产部署的理想桥梁。