与以下内容相关的代码库： 我们在贝叶斯优化中是否忽视了组合优化器？ 已被JMLR接收。

摘要

贝叶斯优化提供了一种样本高效的全局优化方法。在此框架下，一个至关重要的性能决定子程序是获取函数的最大化问题，而这一任务因获取函数通常为非凸函数、因而难以优化而变得更加复杂。本文对获取函数最大化的各种方法进行了全面的实证研究。此外，通过推导出流行获取函数的新型但数学等价的组合形式，我们将最大化问题重新表述为一个组合优化问题，从而能够受益于该领域的丰富文献。我们强调了在包含3958个独立实验的合成优化任务以及Bayesmark任务中，采用组合优化方法进行获取函数最大化的实证优势。鉴于获取函数最大化子程序的通用性，我们认为，采用组合优化器有望在当前应用贝叶斯优化的所有领域实现性能提升。

AIRBO

与以下内容相关的代码库： 针对任意不确定输入的高效鲁棒贝叶斯优化

摘要

贝叶斯优化（BO）是一种广泛应用于各类场景的样本高效优化算法。在一些具有挑战性的贝叶斯优化任务中，由于优化过程中不可避免的随机性，例如加工误差、执行噪声或情境变化，会导致输入不确定性。这种不确定性会使输入在评估前偏离预期值，从而造成最终结果的显著波动。本文提出了一种新颖的鲁棒贝叶斯优化算法——AIRBO，该算法能够有效识别出在任意输入不确定性下均表现稳健的鲁棒最优解。我们的方法通过赋予高斯过程最大均值差异（MMD）来直接建模任意分布的不确定输入，并进一步借助Nystrom近似加速后验推断。我们在MMD估计误差下建立了严格的理论遗憾上界，并通过大量针对合成函数和实际问题的实验表明，我们的方法能够应对多种输入不确定性并达到最先进的性能。

强化学习研究

利用局部引导增强强化学习智能体

与以下论文相关的代码库： 利用局部引导增强强化学习智能体

摘要

本文探讨了如何将局部引导策略集成到强化学习智能体中。为此，我们首先展示了如何将现有算法适配到这一场景，随后提出了一种基于噪声式策略切换的新算法。该方法以恰当的近似策略评估（APE）方案为基础，引入一种微小扰动，从而引导局部引导策略逐步趋向更优的动作。我们在一组经典的强化学习问题上对该方法进行了评估，其中包括一些安全关键系统，这些系统要求智能体不得进入某些区域，以免引发灾难性后果。在所有提出的环境中，我们的智能体均能高效地利用这些策略，提升任何基于APE的强化学习算法的性能，尤其是在其初始学习阶段。

Sauté RL与Simmer RL：利用安全状态增强的安全强化学习

与以下论文相关的代码库： Sauté RL：利用状态增强实现几乎必然安全的强化学习
以及 利用安全状态增强提升安全探索。

Sauté RL摘要：利用状态增强实现几乎必然安全的强化学习（ICML 2022）

在现实应用场景中，几乎必然（或概率为1）满足安全约束对于强化学习（RL）的部署至关重要。例如，飞机的起降理想情况下应以概率1完成。我们通过引入安全增强型（Saute）马尔可夫决策过程（MDP），将安全约束融入状态空间并重塑目标函数，从而消除这些约束。我们证明了Saute MDP满足贝尔曼方程，使我们更接近解决几乎必然满足约束的安全强化学习问题。我们认为，Saute MDP能够从不同视角看待安全强化学习问题，从而带来新的特性。例如，我们的方法具有即插即用的特性，即任何强化学习算法均可“安全增强”。此外，状态增强还支持跨安全约束的策略泛化。最后，我们证明，在约束满足度极为重要的情况下，Saute RL算法的表现可优于其最先进的同类算法。

安全状态增强对安全探索的影响摘要（NeurIPS 2022）

安全探索是无模型强化学习（RL）中一个极具挑战性且重要的问题。通常，安全成本稀疏且未知，这不可避免地导致约束违反——而在安全关键的应用中，这种情况理应尽量避免。我们通过在状态空间中增加一个安全状态来解决这一问题，该安全状态仅在约束满足时取非负值。同时，该状态的数值也代表了距离约束违反的程度，其初始值则反映了可用的安全预算。这一思路使我们能够制定训练期间的安全预算调度策略。我们称这种方法为Simmer（用于强化学习的安全策略改进），以体现此类调度的谨慎性。我们将这一理念应用于两类安全强化学习问题：一类是在平均成本上施加约束的强化学习，另一类是在概率为1的情况下施加约束的强化学习。实验表明，对安全算法进行“Simmer”处理能够在两种场景下均提升训练过程中的安全性。此外，我们还发现，Simmer能够稳定训练过程并提升平均约束下的安全强化学习性能。

基于模型的离线强化学习：悲观主义调制的动力学信念

与论文基于模型的离线强化学习：悲观主义调制的动力学信念相关的代码，已被NeurIPS 2022会议录用。

摘要

基于模型的离线强化学习旨在利用先前收集的静态数据集和动力学模型，寻找高奖励策略。尽管通过复用静态数据集进行学习，但若能合理利用动力学模型的泛化能力，则有望促进策略学习。为此，已有研究提出量化预测动力学的不确定性，并将其显式应用于奖励惩罚。然而，在马尔可夫决策过程的框架下，动力学与奖励本质上是不同的因素，仅通过奖励惩罚来刻画动力学不确定性的影响，可能会在模型利用与风险规避之间产生意想不到的权衡。本文则另辟蹊径，维护一个关于动力学的信念分布，并通过从该信念中进行偏差采样来评估与优化策略。这种偏向悲观的采样过程基于离线强化学习的交替马尔可夫博弈形式化推导而来。我们正式证明，这种偏差采样会自然地诱导出一个具有策略相关重加权因子的动力学信念更新，称为“悲观主义调制的动力学信念”。为提升策略性能，我们设计了一种迭代的正则化策略优化算法用于该博弈，并在特定条件下保证策略性能的单调提升。为进一步实现实际应用，我们还进一步设计了一种离线强化学习算法以近似求解该问题。实验结果表明，所提出的方案在广泛的基准任务上均取得了最先进的性能。

SparsePO：通过稀疏标记掩码控制大语言模型的偏好对齐

与论文“SparsePO：通过稀疏标记掩码控制大语言模型的偏好对齐”相关的代码。

摘要

偏好优化（PO）已被证明是使语言模型对齐到人类期望行为的有效步骤。当前的变体遵循离线直接偏好优化目标，主要聚焦于一种严格设定：所有标记均作为KL散度和奖励信号贡献到损失函数中。然而，人类偏好并非受序列中每个词同等影响，而是往往依赖于特定的词或短语——例如，存在有毒词汇会导致非偏好响应。基于这一观察，我们认为在偏好优化过程中并非所有标记都应被同等加权，并提出了一种灵活的目标，称为SparsePO，旨在自动学习在偏好优化训练过程中为每个标记对应的KL散度和奖励分配权重。我们提出了两种不同的权重掩码变体，它们既可以由参考模型本身推导而来，也可以在线学习获得。值得注意的是，我们的方法会在学习到的掩码中引入稀疏性，从而使模型能够学会如何在标记级别最优地权衡奖励与KL散度的贡献，并自动学习最佳的掩码稀疏程度。我们在多个领域开展的广泛实验，包括情感控制、对话、文本摘要以及文本到代码生成等，均表明我们的方法能够根据目标任务为各标记分配有意义的权重，生成更多符合预期偏好的响应，并在推理任务上较其他基于标记或响应级别的偏好优化方法提升多达2个百分点。

生成模型研究

EM-LLM：面向无限上下文的大语言模型的人类式情景记忆

与我们的EM-LLM论文相关的代码：[arXiv]。

摘要

大型语言模型（LLMs）已展现出卓越的能力，但在处理超长上下文时仍面临挑战，限制了其在长序列中的连贯性和准确性。相比之下，人类大脑擅长在跨越一生的广阔时间尺度上组织并检索情景式经验。本文提出EM-LLM，这是一种新颖的方法，无需微调即可将人类情景记忆与事件认知的关键要素融入大语言模型，使其能够在保持计算效率的同时处理几乎无限的上下文长度。EM-LLM通过在线结合贝叶斯惊喜与图论边界细化，将标记序列组织成连贯的情景事件。必要时，这些事件可通过两阶段记忆过程被检索，结合基于相似性和时间连续性的检索方式，实现高效且贴近人类的关联信息访问。在LongBench和$\infty$-Bench基准测试上的实验表明，EM-LLM表现出色，无论是在各类基础大语言模型上，还是在与当前最先进检索模型InfLLM的对比中，均持续领先。此外，EM-LLM在广泛的任务中也优于其热门对应物RAG，同时所需资源相近。尤为值得一提的是，EM-LLM的表现甚至在多数任务中超越了全上下文模型，同时成功实现了对500万标记的检索——这一规模对于此类模型而言在计算上几乎是不可行的。最后，我们的分析揭示了EM-LLM的情景分割与人类感知事件之间存在强相关性，这表明该人工系统与其生物对应物之间存在桥梁，从而为探索人类记忆机制提供了一个全新的计算框架。

用于推测解码的注意力混合机制

摘要

大型语言模型（LLMs）参数量的快速增长导致其计算需求大幅攀升，使得部署变得极具挑战且成本高昂。推测解码（SD）利用小型模型高效地预测未来标记，随后由大型语言模型并行验证这些预测。目前，基于大型语言模型激活信息的小型模型能够实现最快的解码速度。然而，我们发现SD模型存在若干局限性，包括训练过程中缺乏策略性以及部分可观测性问题。为解决这些不足，我们提出了一种更为稳健的小型模型架构——用于SD的注意力混合机制。我们的新架构可应用于两种场景：传统的单设备部署，以及一种新型的客户端—服务器部署模式——其中小型模型托管于用户端设备，而大型语言模型则运行在服务器上。在单设备场景下，我们展示了最先进的加速效果：EAGLE-2的解码速度提升9.5%，接受长度增加25%。而在客户端—服务器设置中，我们的实验表明：1）在不同网络条件下均能实现最优的延迟表现，并且对服务器的调用次数极少；2）在完全断网的情况下，我们的方法相较于其他SD方法仍能保持更高的准确性，并且优于直接调用大型语言模型API的做法——后者在断网后将无法继续生成过程。