POMDPs

Linux	Mac OS X	Windows

本包提供用于处理马尔可夫决策过程（MDPs）和部分可观测马尔可夫决策过程（POMDPs）的核心接口。POMDPTools包充当POMDPs.jl接口的“标准库”，提供了策略、信念更新器、分布以及模拟器等常用组件的实现。

我们的目标是为以下方面提供通用的编程词汇：

1. 将问题表述为MDP和POMDP。
2. 编写求解软件。
3. 高效地运行仿真。

POMDPs.jl与其他生态系统集成：

• Python可以通过quickpomdps包或通过pyjulia直接以表格形式定义和求解MDP和POMDP。
• POMDPTools提供与CommonRLInterface的双向集成，从而与JuliaReinforcementLearning包集成。
• SymbolicMDPs包提供一个用于处理PDDL模型的接口。

如需详细入门，请查看我们的Julia Academy课程! 如有疑问，请在GitHub讨论区发帖。我们欢迎任何人的贡献！有关贡献的信息，请参阅CONTRIBUTING.md。

安装

可以使用Julia的包管理器安装POMDPs.jl及相关的求解器包。例如，要安装POMDPs.jl和QMDP求解器包，可在Julia REPL中输入以下命令：

using Pkg; Pkg.add("POMDPs"); Pkg.add("QMDP")

快速入门

要使用QMDP求解器创建的策略运行经典Tiger POMDP的简单模拟，可以使用以下代码（请注意，POMDPs.jl并不局限于像这样具有显式定义分布的离散问题）：

using POMDPs, QuickPOMDPs, POMDPTools, QMDP

m = QuickPOMDP(
    states = ["left", "right"],
    actions = ["left", "right", "listen"],
    observations = ["left", "right"],
    initialstate = Uniform(["left", "right"]),
    discount = 0.95,

    transition = function (s, a)
        if a == "listen"
            return Deterministic(s) # 老虎仍待在原门后
        else # 门被打开
            return Uniform(["left", "right"]) # 重置
        end
    end,

    observation = function (s, a, sp)
        if a == "listen"
            if sp == "left"
                return SparseCat(["left", "right"], [0.85, 0.15]) # 稀疏分类分布
            else
                return SparseCat(["right", "left"], [0.85, 0.15])
            end
        else
            return Uniform(["left", "right"])
        end
    end,

    reward = function (s, a)
        if a == "listen"
            return -1.0
        elseif s == a # 找到老虎
            return -100.0
        else # 老虎逃脱
            return 10.0
        end
    end
)

solver = QMDPSolver()
policy = solve(solver, m)

rsum = 0.0
for (s,b,a,o,r) in stepthrough(m, policy, "s,b,a,o,r", max_steps=10)
    println("s: $s, b: $([s=>pdf(b,s) for s in states(m)]), a: $a, o: $o")
    global rsum += r
end
println("未折现的奖励为 $rsum.")

更多示例及带有可视化效果的示例，请参考文档中的示例和POMDPs.jl问题图库部分。

文档和教程

除了上述提到的Julia Academy课程之外，详细的文档和示例可以在这里找到。

支持的包

许多包都使用POMDPs.jl接口，包括MDP和POMDP求解器、辅助工具以及对POMDPs.jl接口的扩展。POMDPs.jl及JuliaPOMDP项目中的所有包均完全支持Linux。OSX和Windows支持所有原生求解器*，大多数非原生求解器也应该可以工作，但可能需要额外的配置。

工具：

POMDPs.jl本身仅包含用于交流问题定义的核心接口；这些包包含了常用组件的实现：

软件包	构建状态	覆盖率
POMDPTools（托管于此仓库）
ParticleFilters

已实现的模型：

许多模型已使用 POMDPs.jl 接口为各种项目实现。此列表包含几个常用模型：

软件包	构建状态	覆盖率
POMDPModels
LaserTag
RockSample
TagPOMDPProblem
DroneSurveillance
ContinuumWorld
VDPTag2
RoombaPOMDPs

MDP 求解器：

软件包	构建/覆盖率	在线/ 离线	连续 状态 - 动作	评分3
DiscreteValueIteration		离线	N-N	★★★★★
LocalApproximationValueIteration		离线	Y-N	★★
GlobalApproximationValueIteration		离线	Y-N	★★
MCTS（蒙特卡洛树搜索）		在线	Y (DPW)-Y (DPW)	★★★★

POMDP 求解器：

软件包	构建/覆盖率	在线/ 离线	连续 状态-动作-观测	评分3
QMDP（次优）		离线	N-N-N	★★★★★
AdaOPS		在线	Y-N-Y	★★★★
ARDESPOT		在线	Y-N-N1	★★★★
BasicPOMCP		在线	Y-N-N1	★★★★
CompressedBeliefMDPs		离线	Y-Y-Y	★★★★
NativeSARSOP		离线	N-N-N	★★★★
POMCGraphSearch		离线	Y-Y-Y	★★★★
SARSOP*		离线	N-N-N	★★★★
GapHeuristicSearch		在线	?-?-?	★★★
IncrementalPruning		离线	N-N-N	★★★
ParticleFilterTrees（SparsePFT、PFT-DPW）		在线	Y-Y2-Y	★★★
POMCPOW		在线	Y-Y2-Y	★★★
POMDPSolve*		离线	N-N-N	★★★
AEMS		在线	N-N-N	★★
BeliefGridValueIteration		离线	N-N-N	★★
FIB（次优）		离线	N-N-N	★★
MCVI		离线	Y-N-Y	★★
PointBasedValueIteration		离线	N-N-N	★★

¹：可以运行，但不会收敛到最优解

²：可以运行，但无法证明会收敛到最优解，并且在多维动作空间中可能表现不佳。更多信息请参见 https://github.com/michaelhlim/VOOTreeSearch.jl。

强化学习：

软件包	构建/覆盖率	连续 状态	连续 动作	评分3
TabularTDLearning		否	否	★★
DeepQLearning		是1	否	★★★
Crux		是	是	★★★★

¹：对于部分可观察马尔可夫决策过程（POMDP），它将使用观测值而非状态作为策略的输入。

³ 主观评分；如果您认为某个评分需要调整，请提交问题

• ★★★★★：可靠地为每个问题计算出解。
• ★★★★：对大多数问题效果良好。可能需要一些配置，或者不支持接口的所有功能。
• ★★★：可能效果不错，但可能需要复杂或大量的配置。
• ★★：近期未使用（状况未知）。可能不完全符合接口规范，或存在软件包兼容性问题。
• ★：尚不清楚是否能够运行

性能基准测试：

软件包
DESPOT

*这些软件包需要非 Julia 的依赖项

引用 POMDPs

如果 POMDPs 对您的研究有所帮助，并希望予以感谢，请引用以下论文：

@article{egorov2017pomdps,
  author  = {Maxim Egorov 和 Zachary N. Sunberg 和 Edward Balaban 和 Tim A. Wheeler 和 Jayesh K. Gupta 和 Mykel J. Kochenderfer},
  title   = {{POMDP}s.jl：不确定性下的序列决策框架},
  journal = {机器学习研究期刊},
  year    = {2017},
  volume  = {18},
  number  = {26},
  pages   = {1-5},
  url     = {http://jmlr.org/papers/v18/16-300.html}
}

POMDPs.jl 快速上手指南

POMDPs.jl 是 Julia 生态中用于处理马尔可夫决策过程（MDP）和部分可观测马尔可夫决策过程（POMDP）的核心接口包。它提供了定义问题、编写求解器以及运行高效模拟的统一编程框架。

环境准备

• 操作系统：Linux（完全支持）、macOS、Windows（原生求解器完全支持，部分非原生求解器可能需要额外配置）。
• 前置依赖：
  • 已安装 Julia (推荐最新稳定版)。
  • 具备基础的 Julia 包管理知识。
• 网络建议：由于 Julia 包服务器位于海外，国内开发者建议在首次安装包时配置国内镜像源以加速下载。

配置国内镜像源（可选但推荐） 在 Julia REPL 中执行以下命令设置清华或中科大镜像：

using Pkg
Pkg.Registry.add(RegistrySpec(url="https://mirrors.tuna.tsinghua.edu.cn/git/julia/General.git"))
# 或者
ENV["JULIA_PKG_SERVER"] = "https://mirrors.tuna.tsinghua.edu.cn/julia"

安装步骤

使用 Julia 自带的包管理器 Pkg 进行安装。你需要安装核心接口包 POMDPs，通常还需要安装辅助工具包 POMDPTools 和具体的求解器（例如 QMDP）。

在 Julia REPL（命令行界面）中依次执行以下命令：

using Pkg
Pkg.add("POMDPs")
Pkg.add("POMDPTools")
Pkg.add("QMDP")
Pkg.add("QuickPOMDPs")

注：QuickPOMDPs 用于快速定义模型，POMDPTools 提供常用的策略、信念更新器和模拟器实现。

基本使用

以下示例演示如何定义经典的 Tiger POMDP 问题（老虎门问题），使用 QMDP 求解器生成策略，并运行一次简单的模拟。

将以下代码保存为 .jl 文件或直接在 REPL 中运行：

using POMDPs, QuickPOMDPs, POMDPTools, QMDP

# 1. 定义 POMDP 模型
m = QuickPOMDP(
    states = ["left", "right"],
    actions = ["left", "right", "listen"],
    observations = ["left", "right"],
    initialstate = Uniform(["left", "right"]),
    discount = 0.95,

    # 状态转移函数
    transition = function (s, a)
        if a == "listen"
            return Deterministic(s) # 听动作不会改变老虎位置
        else # 开门动作会重置环境
            return Uniform(["left", "right"])
        end
    end,

    # 观测函数
    observation = function (s, a, sp)
        if a == "listen"
            if sp == "left"
                return SparseCat(["left", "right"], [0.85, 0.15])
            else
                return SparseCat(["right", "left"], [0.85, 0.15])
            end
        else
            return Uniform(["left", "right"])
        end
    end,

    # 奖励函数
    reward = function (s, a)
        if a == "listen"
            return -1.0
        elseif s == a # 找到了老虎
            return -100.0
        else # 老虎逃走了（选对了门）
            return 10.0
        end
    end
)

# 2. 初始化求解器并计算策略
solver = QMDPSolver()
policy = solve(solver, m)

# 3. 运行模拟
rsum = 0.0
# stepthrough 会自动处理信念状态更新和步骤迭代
for (s,b,a,o,r) in stepthrough(m, policy, "s,b,a,o,r", max_steps=10)
    println("状态：$s, 信念：$([s=>pdf(b,s) for s in states(m)]), 动作：$a, 观测：$o")
    global rsum += r
end

println("未折扣总奖励为：$rsum")

代码说明

1. 模型定义：使用 QuickPOMDP 宏快速定义状态、动作、观测空间及转移/观测/奖励逻辑。
2. 求解：实例化 QMDPSolver 并调用 solve 生成最优策略。
3. 仿真：利用 stepthrough 迭代器自动执行“感知 - 决策 - 行动”循环，并输出每一步的状态、信念分布、动作及奖励。

更多高级用法、可视化示例及自定义求解器开发，请参考官方文档中的 Examples 章节。