HRM

GitHub
12.4k 1.8k 较难 1 次阅读 昨天Apache-2.0开发框架语言模型
AI 解读 由 AI 自动生成,仅供参考

HRM(分层推理模型)是一款受人类大脑分层处理机制启发的新型 AI 架构,专为解决复杂的目标导向推理任务而设计。当前主流的大语言模型依赖“思维链”技术,往往面临任务分解脆弱、数据需求庞大及响应延迟高等痛点。HRM 通过独特的双层循环模块突破了这些限制:高层模块负责缓慢的抽象规划,低层模块处理快速的细节计算,两者协同工作,仅需单次前向传播即可完成复杂的顺序推理,且无需对中间过程进行显式监督。

该模型的核心亮点在于其极高的效率与泛化能力。仅凭 2700 万参数量和 1000 个训练样本,HRM 就能在无需预训练或思维链数据的情况下,完美攻克高难度数独、大型迷宫寻路等挑战,并在衡量通用人工智能能力的 ARC 基准测试中超越了参数量更大、上下文更长的模型。

HRM 特别适合 AI 研究人员、算法工程师以及对高效推理架构感兴趣的开发者使用。无论是希望探索小样本学习潜力的学术团队,还是寻求在有限算力下部署高性能推理应用的工程人员,都能从中获益。它展示了通往通用计算系统的全新路径,为构建更轻量、更智能的 AI 提供了强有力的技术参考。

使用场景

一家专注于物流优化的初创公司正在开发一套实时路径规划系统,需要在资源受限的边缘设备上快速计算大型仓库中的最优拣货路线。

没有 HRM 时

  • 数据依赖沉重:传统大模型需要海量标注数据才能学会复杂的路径逻辑,收集并清洗这些轨迹数据耗时数月。
  • 推理延迟过高:基于思维链(CoT)的方法需要多步串行生成,导致单次路径规划耗时过长,无法满足实时调度需求。
  • 任务分解脆弱:面对复杂的迷宫式仓库布局,模型容易在长序列决策中迷失方向,导致规划中断或陷入死循环。
  • 硬件门槛昂贵:为了维持足够的上下文窗口和计算深度,必须部署参数量巨大的模型,边缘设备根本无法承载。

使用 HRM 后

  • 小样本高效训练:HRM 仅需 1000 条训练样本即可掌握复杂的路径寻找逻辑,将数据准备周期从数月缩短至几天。
  • 单前向极速推理:凭借高低层双模块架构,HRM 在单次前向传播中即可完成抽象规划与细节计算,显著降低响应延迟。
  • 层级推理稳健:高层模块负责慢速抽象规划,低层模块处理快速细节,即使在 30x30 的复杂迷宫中也能保持近乎完美的成功率。
  • 轻量级边缘部署:仅 2700 万参数的精简架构,使得该模型能直接运行在普通的笔记本 GPU 甚至更低的算力设备上。

HRM 通过模拟人脑的层级处理机制,以极小的数据量和算力成本,实现了复杂推理任务的实时化与普及化。

运行环境要求

操作系统
  • Linux
GPU
  • 必需 NVIDIA GPU
  • 支持 Hopper 架构(需安装 FlashAttention 3)或 Ampere 及更早架构(需安装 FlashAttention 2)
  • 示例中提到 RTX 4070(笔记本版),实验部分假设使用 8-GPU 设置
  • 需安装 CUDA 12.6
内存

未说明

依赖
notes1. 该项目明确需要构建 CUDA 扩展,README 中的安装指令针对 Linux 环境(使用 sudo sh),未提及 Windows 或 macOS 支持。2. 必须安装 CUDA 12.6 toolkit。3. 根据显卡架构不同,需分别安装 FlashAttention 3(Hopper GPU)或 FlashAttention 2(Ampere 及更早 GPU)。4. 小规模样本学习通常存在约 ±2 点的准确率波动。5. 在 Sudoku-Extreme 数据集上训练时,若训练准确率接近 100%,建议尽早停止以防止过拟合导致的数值不稳定。
python未说明
torch
torchvision
torchaudio
flash-attn
packaging
ninja
wheel
setuptools
setuptools-scm
wandb
HRM hero image

快速开始

分层推理模型

推理,即设计并执行复杂的、以目标为导向的动作序列的过程,仍然是人工智能领域的一项关键挑战。 当前的大规模语言模型(LLMs)主要采用思维链(CoT)技术,但这种方法存在任务分解脆弱、数据需求量大以及延迟高等问题。受人类大脑中分层和多时间尺度处理机制的启发,我们提出了分层推理模型(HRM),这是一种新颖的循环架构,在实现显著计算深度的同时,还能保持训练的稳定性和效率。 HRM通过两个相互依赖的循环模块,在单次前向传播中完成顺序推理任务,无需对中间过程进行显式监督:一个高层模块负责缓慢而抽象的规划,另一个低层模块则处理快速且细致的计算。仅需2700万参数,HRM便能在仅使用1000个训练样本的情况下,在复杂推理任务上取得卓越表现。该模型无需预训练或思维链数据,却能在包括复杂数独谜题和大型迷宫最优路径寻找在内的高难度任务上达到近乎完美的性能。 此外,在衡量人工通用智能能力的关键基准测试——抽象与推理语料库(ARC)上,HRM的表现甚至优于参数量更大、上下文窗口更长的模型。 这些结果凸显了HRM作为迈向通用计算和通用推理系统的一项变革性进展的巨大潜力。

阅读我们的论文:https://arxiv.org/abs/2506.21734

加入我们的Discord社区:https://discord.gg/sapient

快速入门指南 🚀

前置条件 ⚙️

请确保已安装PyTorch和CUDA。该项目需要构建CUDA扩展。若尚未安装,请运行以下命令:

# 安装CUDA 12.6
CUDA_URL=https://developer.download.nvidia.com/compute/cuda/12.6.3/local_installers/cuda_12.6.3_560.35.05_linux.run

wget -q --show-progress --progress=bar:force:noscroll -O cuda_installer.run $CUDA_URL
sudo sh cuda_installer.run --silent --toolkit --override

export CUDA_HOME=/usr/local/cuda-12.6

# 使用CUDA 12.6安装PyTorch
PYTORCH_INDEX_URL=https://download.pytorch.org/whl/cu126

pip3 install torch torchvision torchaudio --index-url $PYTORCH_INDEX_URL

# 构建扩展所需的其他包
pip3 install packaging ninja wheel setuptools setuptools-scm

然后安装FlashAttention。对于Hopper GPU,请安装FlashAttention 3:

git clone git@github.com:Dao-AILab/flash-attention.git
cd flash-attention/hopper
python setup.py install

对于Ampere或更早的GPU,则安装FlashAttention 2:

pip3 install flash-attn

安装Python依赖项 🐍

pip install -r requirements.txt

W&B集成 📈

本项目使用Weights & Biases进行实验跟踪和指标可视化。请确保已登录:

wandb login

运行实验

快速演示:数独求解器 💻🗲

在现代笔记本电脑的GPU上训练一个能够解决极其困难数独谜题的大师级AI。🧩

# 下载并构建数独数据集
python dataset/build_sudoku_dataset.py --output-dir data/sudoku-extreme-1k-aug-1000  --subsample-size 1000 --num-aug 1000

# 开始训练(单GPU,较小批次)
OMP_NUM_THREADS=8 python pretrain.py data_path=data/sudoku-extreme-1k-aug-1000 epochs=20000 eval_interval=2000 global_batch_size=384 lr=7e-5 puzzle_emb_lr=7e-5 weight_decay=1.0 puzzle_emb_weight_decay=1.0

运行时间:约10小时,使用RTX 4070笔记本GPU

已训练好的检查点 🚧

如需使用这些检查点,请参阅下方的评估部分。

全规模实验 🔵

以下实验假设使用8张GPU卡。

数据集准备

# 初始化子模块
git submodule update --init --recursive

# ARC-1
python dataset/build_arc_dataset.py  # ARC官方数据 + ConceptARC,共960个样本
# ARC-2
python dataset/build_arc_dataset.py --dataset-dirs dataset/raw-data/ARC-AGI-2/data --output-dir data/arc-2-aug-1000  # ARC-2官方数据,共1120个样本

# 数独-极端
python dataset/build_sudoku_dataset.py  # 完整版本
python dataset/build_sudoku_dataset.py --output-dir data/sudoku-extreme-1k-aug-1000  --subsample-size 1000 --num-aug 1000  # 1000个样本

# 迷宫
python dataset/build_maze_dataset.py  # 1000个样本

数据集可视化

以可视化方式探索这些谜题:

  • 在浏览器中打开puzzle_visualizer.html
  • 上传位于data/...中的生成数据集文件夹。

启动实验

小样本(1K)

ARC-1:

OMP_NUM_THREADS=8 torchrun --nproc-per-node 8 pretrain.py 

运行时间: 约24小时

ARC-2:

OMP_NUM_THREADS=8 torchrun --nproc-per-node 8 pretrain.py data_path=data/arc-2-aug-1000

运行时间: 约24小时(通常8小时后的检查点已足够)

极端数独(1K):

OMP_NUM_THREADS=8 torchrun --nproc-per-node 8 pretrain.py data_path=data/sudoku-extreme-1k-aug-1000 epochs=20000 eval_interval=2000 lr=1e-4 puzzle_emb_lr=1e-4 weight_decay=1.0 puzzle_emb_weight_decay=1.0

运行时间: 约10分钟

30x30困难迷宫(1K):

OMP_NUM_THREADS=8 torchrun --nproc-per-node 8 pretrain.py data_path=data/maze-30x30-hard-1k epochs=20000 eval_interval=2000 lr=1e-4 puzzle_emb_lr=1e-4 weight_decay=1.0 puzzle_emb_weight_decay=1.0

运行时间: 约1小时

全量极端数独

OMP_NUM_THREADS=8 torchrun --nproc-per-node 8 pretrain.py data_path=data/sudoku-hard-full epochs=100 eval_interval=10 lr_min_ratio=0.1 global_batch_size=2304 lr=3e-4 puzzle_emb_lr=3e-4 weight_decay=0.1 puzzle_emb_weight_decay=0.1 arch.loss.loss_type=softmax_cross_entropy arch.L_cycles=8 arch.halt_max_steps=8 arch.pos_encodings=learned

运行时间: 约2小时

评估

评估您训练好的模型:

  • 在W&B中查看eval/exact_accuracy
  • 对于ARC-AGI,还需执行以下步骤:
OMP_NUM_THREADS=8 torchrun --nproc-per-node 8 evaluate.py checkpoint=<CHECKPOINT_PATH>
  • 随后使用提供的arc_eval.ipynb笔记本完成最终结果的检查和分析。

注意事项

  • 小样本学习通常会表现出约±2个百分点的准确率波动。
  • 对于极端数独(1000个样本的数据集),后期过拟合可能导致训练和Q-learning过程中出现数值不稳定。建议当训练准确率接近100%时及时停止训练。

引用 📜

@misc{wang2025hierarchicalreasoningmodel,
      title={层次化推理模型}, 
      author={Guan Wang 和 Jin Li 和 Yuhao Sun 和 Xing Chen 和 Changling Liu 和 Yue Wu 和 Meng Lu 和 Sen Song 和 Yasin Abbasi Yadkori},
      year={2025},
      eprint={2506.21734},
      archivePrefix={arXiv},
      primaryClass={cs.AI},
      url={https://arxiv.org/abs/2506.21734}, 
}

常见问题

相似工具推荐

openclaw

OpenClaw 是一款专为个人打造的本地化 AI 助手,旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚,能够直接接入你日常使用的各类通讯渠道,包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息,OpenClaw 都能即时响应,甚至支持在 macOS、iOS 和 Android 设备上进行语音交互,并提供实时的画布渲染功能供你操控。 这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地,用户无需依赖云端服务即可享受快速、私密的智能辅助,真正实现了“你的数据,你做主”。其独特的技术亮点在于强大的网关架构,将控制平面与核心助手分离,确保跨平台通信的流畅性与扩展性。 OpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者,以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力(支持 macOS、Linux 及 Windows WSL2),即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你

349.3k|★★★☆☆|1周前
Agent开发框架图像

stable-diffusion-webui

stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面,旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点,将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。 无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师,还是想要深入探索模型潜力的开发者与研究人员,都能从中获益。其核心亮点在于极高的功能丰富度:不仅支持文生图、图生图、局部重绘(Inpainting)和外绘(Outpainting)等基础模式,还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外,它内置了 GFPGAN 和 CodeFormer 等人脸修复工具,支持多种神经网络放大算法,并允许用户通过插件系统无限扩展能力。即使是显存有限的设备,stable-diffusion-webui 也提供了相应的优化选项,让高质量的 AI 艺术创作变得触手可及。

162.1k|★★★☆☆|1周前
开发框架图像Agent

everything-claude-code

everything-claude-code 是一套专为 AI 编程助手(如 Claude Code、Codex、Cursor 等)打造的高性能优化系统。它不仅仅是一组配置文件,而是一个经过长期实战打磨的完整框架,旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。 通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能,everything-claude-code 能显著提升 AI 在复杂任务中的表现,帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略,使得模型响应更快、成本更低,同时有效防御潜在的攻击向量。 这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库,还是需要 AI 协助进行安全审计与自动化测试,everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目,它融合了多语言支持与丰富的实战钩子(hooks),让 AI 真正成长为懂上

158.1k|★★☆☆☆|今天
开发框架Agent语言模型

ComfyUI

ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎,专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式,采用直观的节点式流程图界面,让用户通过连接不同的功能模块即可构建个性化的生成管线。 这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景,也能自由组合模型、调整参数并实时预览效果,轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性,不仅支持 Windows、macOS 和 Linux 全平台,还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构,并率先支持 SDXL、Flux、SD3 等前沿模型。 无论是希望深入探索算法潜力的研究人员和开发者,还是追求极致创作自由度的设计师与资深 AI 绘画爱好者,ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能,使其成为当前最灵活、生态最丰富的开源扩散模型工具之一,帮助用户将创意高效转化为现实。

108.3k|★★☆☆☆|6天前
开发框架图像Agent

gemini-cli

gemini-cli 是一款由谷歌推出的开源 AI 命令行工具,它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言,它提供了一条从输入提示词到获取模型响应的最短路径,无需切换窗口即可享受智能辅助。 这款工具主要解决了开发过程中频繁上下文切换的痛点,让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用,还是执行复杂的 Git 操作,gemini-cli 都能通过自然语言指令高效处理。 它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口,具备出色的逻辑推理能力;内置 Google 搜索、文件操作及 Shell 命令执行等实用工具;更独特的是,它支持 MCP(模型上下文协议),允许用户灵活扩展自定义集成,连接如图像生成等外部能力。此外,个人谷歌账号即可享受免费的额度支持,且项目基于 Apache 2.0 协议完全开源,是提升终端工作效率的理想助手。

100.8k|★★☆☆☆|1周前
插件Agent图像

markitdown

MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具,专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片(含 OCR)、音频(含语音转录)、HTML 乃至 YouTube 链接等多种格式的解析,能够精准提取文档中的标题、列表、表格和链接等关键结构信息。 在人工智能应用日益普及的今天,大语言模型(LLM)虽擅长处理文本,却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点,它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式,成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外,它还提供了 MCP(模型上下文协议)服务器,可无缝集成到 Claude Desktop 等 LLM 应用中。 这款工具特别适合开发者、数据科学家及 AI 研究人员使用,尤其是那些需要构建文档检索增强生成(RAG)系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性,但其核心优势在于为机器

93.4k|★★☆☆☆|1周前
插件开发框架