Minari 是一个用于离线强化学习研究的 Python 库，类似于 Gymnasium 的离线版本，或是 HuggingFace 数据集库的离线 RL 版本。

文档网站位于 minari.farama.org。我们还有一个公开的 Discord 服务器（用于问答和协调开发工作），你可以通过此链接加入：https://discord.gg/bnJ6kubTg6。

安装

从 PyPI 安装 Minari：

pip install minari

这将安装最低所需的依赖项。根据你的使用场景，系统会提示你安装其他依赖项。若要一次性安装所有依赖项，可使用：

pip install "minari[all]"

如果你想开始测试或为 Minari 做贡献，请从源代码安装该项目：

git clone https://github.com/Farama-Foundation/Minari.git --single-branch
cd Minari
pip install -e ".[all]"

命令行 API

查看可用的远程数据集：

minari list remote

下载一个数据集：

minari download D4RL/door/human-v2

查看可用的本地数据集：

minari list local

显示某个数据集的详细信息：

minari show D4RL/door/human-v2

获取命令列表：

minari --help

基本用法

读取数据集

import minari

dataset = minari.load_dataset("D4RL/door/human-v2")

for episode_data in dataset.iterate_episodes():
    observations = episode_data.observations
    actions = episode_data.actions
    rewards = episode_data.rewards
    terminations = episode_data.terminations
    truncations = episode_data.truncations
    infos = episode_data.infos
    ...

写入数据集

import minari
import gymnasium as gym
from minari import DataCollector


env = gym.make('FrozenLake-v1')
env = DataCollector(env)

for _ in range(100):
    env.reset()
    done = False
    while not done:
        action = env.action_space.sample()  # <- 在这里使用你的策略
        obs, rew, terminated, truncated, info = env.step(action)
        done = terminated or truncated

dataset = env.create_dataset("frozenlake/test-v0")

更多示例请参阅 基本用法。有关如何使用 Minari 创建新数据集的完整教程，请参阅我们的 Pointmaze D4RL 数据集 教程，该教程重新创建了来自 D4RL 的 Maze2D 数据集。

集成 Minari 的训练库

• TorchRL
• d3rlpy
• AgileRL

引用

如果你使用了 Minari，请考虑引用它：

@software{minari,
	author = {Younis, Omar G. and Perez-Vicente, Rodrigo and Balis, John U. and Dudley, Will and Davey, Alex and Terry, Jordan K},
	doi = {10.5281/zenodo.13767625},
	month = sep,
	publisher = {Zenodo},
	title = {Minari},
	url = {https://doi.org/10.5281/zenodo.13767625},
	version = {0.5.0},
	year = 2024,
	bdsk-url-1 = {https://doi.org/10.5281/zenodo.13767625}
}

---

Minari 是“Minarai”的缩写，日语中意为“通过观察学习”。

Minari 快速上手指南

Minari 是一个用于离线强化学习（Offline RL）研究的 Python 库。它类似于 Gymnasium 的离线版本，或 HuggingFace Datasets 的离线 RL 版本，旨在简化数据集的加载、管理和创建流程。

环境准备

• 操作系统：支持 Linux、macOS 和 Windows。
• Python 版本：建议安装 Python 3.8 或更高版本。
• 前置依赖：确保已安装 pip 包管理工具。
• 网络提示：由于默认源位于海外，国内用户建议在安装时指定国内镜像源（如清华源）以加速下载。

安装步骤

1. 基础安装

通过 PyPI 安装最小依赖版本：

pip install minari -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 完整安装

若需使用所有功能（包括额外依赖），推荐安装完整版：

pip install "minari[all]" -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 源码安装（可选）

如果您计划贡献代码或测试最新开发版：

git clone https://github.com/Farama-Foundation/Minari.git --single-branch
cd Minari
pip install -e ".[all]" -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

1. 命令行操作 (CLI)

Minari 提供了便捷的命令行工具来管理远程和本地数据集。

查看可用的远程数据集：

minari list remote

下载指定数据集：

minari download D4RL/door/human-v2

查看本地已下载的数据集：

minari list local

查看数据集详细信息：

minari show D4RL/door/human-v2

2. Python 代码示例

读取数据集

加载数据集并遍历其中的每一轮（episode）数据：

import minari

dataset = minari.load_dataset("D4RL/door/human-v2")

for episode_data in dataset.iterate_episodes():
    observations = episode_data.observations
    actions = episode_data.actions
    rewards = episode_data.rewards
    terminations = episode_data.terminations
    truncations = episode_data.truncations
    infos = episode_data.infos
    # 在此处进行数据处理或模型训练

创建数据集

使用 DataCollector 包装 Gymnasium 环境，自动收集交互数据并保存为 Minari 数据集：

import minari
import gymnasium as gym
from minari import DataCollector


env = gym.make('FrozenLake-v1')
env = DataCollector(env)

for _ in range(100):
    env.reset()
    done = False
    while not done:
        action = env.action_space.sample()  # <- 在此处替换为您的策略
        obs, rew, terminated, truncated, info = env.step(action)
        done = terminated or truncated

dataset = env.create_dataset("frozenlake/test-v0")