OpenR | fufu酱のNoteBook

type

status

slug

summary

category

password

date

icon

OpenR 将数据获取、强化学习训练（包括在线和离线训练）以及非自回归解码集成到一个统一的平台中。

受到 OpenAI 的 o1 模型成功的启发， OpenR 采用了一种基于模型的方法，超越了传统的自回归方法

自动生成合成样本数据

自动生成合成样本来增强数据。与依赖昂贵且难以扩展的人工标注的 PRM800k 数据集不同，我们引入了一个新数据集 MATH-APS。

这个数据集基于 MATH 数据集，并使用 OmegaPRM 等自动化方法来生成样本，从而减少了对人工标注的依赖，更易于大规模收集数据。自动化方法如 OmegaPRM、Math-Shepherd和 MiPS 可以高效地收集高质量的过程监督数据。虽然 Math-Shepherd 和 MiPS 提供了过程监督的自动化标注，但它们需要大量的策略调用，计算成本较高。

OmegaPRM 改进了这个过程，通过迭代地划分解决方案、回溯分析并找出模型推理中的第一个错误步骤来提高效率

这些数据集由三个部分组成：问题、过程和标签。输入由问题和过程的拼接组成。在过程中，解决方案被分为多个步骤，每个步骤用一个特殊的步骤标记分隔，以标记每个步骤结束的位置，PRM可以在此处进行预测。标签对整个过程进行分类，根据解决方案的正确性将每个步骤标记为 + 或 -

模型每完成一个步骤，就会得到一个奖励或反馈，用来评估该步骤是否正确。这个奖励帮助模型判断是否朝着正确方向前进。整个过程重复进行，模型会不断调整其推理路径，目标是获得尽可能多的正面反馈或奖励。

MDP 强化学习环境

我们将这种 MDP 实现为一个强化学习环境，类似 OpenAI 的 Gym 环境。在这里，每个数学问题都被看作一个任务，模型通过一系列连续的推理步骤来解决这些问题。正确的步骤获得奖励，错误的步骤则受到惩罚。通过这种方式，模型可以在不断试错中优化其策略，从而逐渐提高其解决数学问题的能力。

在线强化学习训练。在使用强化学习训练大型语言模型 (LLM) 时，通常使用近端策略优化 (PPO) 来使生成的语言输出与预期的动作对齐。PPO 可以帮助模型生成既符合语境又达到目标的响应，填补了语言理解和操作输出之间的空隙。我们提供了传统的 PPO 和一种更高效的变体，即群体相对策略优化 (GRPO)。这两者主要在优势值的计算方法上不同：PPO 使用一个网络来估算状态值，并通过广义优势估算 (GAE) 技术来计算优势值；而 GRPO 则简化了这个过程，直接使用标准化的奖励信号来估算动作的优势，从而减少了训练资源的消耗，同时更加注重奖励模型的稳定性。

解码：推理时的引导搜索和规划

我们使用 PRM 来评估每个解决步骤的准确性。一旦训练出高质量的过程奖励模型，我们就可以将其与语言模型结合到解码过程中，从而实现引导搜索和多次生成的评分或投票。

为了将 PRM 用作验证器，我们定义了评估 LLM 生成的解决方案正确性的方法，将每一步的得分转换为最终分数。主要有两种方法：

PRM-Min：选择所有步骤中得分最低的作为最终分数。

PRM-Last：选择最后一步的得分作为最终分数。这种方法已经被证明效果与 PRM-Min 相当。

当通过扩大推理时计算生成多个答案后，我们需要基于分数选择最佳答案。我们采用了三种策略：

1. 多数投票：通过统计出现最多的答案作为最终答案。

2. RM-Max：根据结果奖励模型，选择最终奖励最高的答案。

3. RM-Vote：根据结果奖励模型，选择奖励总和最高的答案。

通过结合这些策略，可以形成多种加权方法，例如 PRM-Last-Max，即使用 PRM-Last 和 RM-Max 组合进行选择。我们的框架允许我们在多种搜索算法中进行选择，例如 Beam Search、Best-of-N, 蒙特卡洛树搜索等。每种算法在 PRM 的质量上有其独特的优势。复杂的搜索算法在处理更难的任务时可能表现更好，而简单的方法如最佳 N 则常能在难度较低的情况下表现良好。

解码阶段的 Scaling Law

《Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters》趋势相近的 Test-time Scaling Law，参见：

图 3 (a) 比较了这些搜索和投票方法在推理过程中的性能。y 轴表示 MATH500 数据集上的测试准确率，而 x 轴显示生成预算（每个问题的平均标记数），反映了每个问题的计算消耗或标记使用情况。该图表明，随着生成预算的增加，最佳 N 选择和束搜索方法的性能显著优于多数投票，与之前的发现表现出相似的模式。在低推理时计算预算下，最佳 N 选择方法表现优于束搜索，而束搜索在较高预算下可以达到相同的性能。另一方面，图 (b) 显示我们的 PRM (Math-aps) 能在所有测试的计算预算下达到最高的测试准确率。这确实验证了我们的 PRM 训练能够有效地学习过程监督。

Key features:

Process-Supervision Data过程监督数据

Online Reinforcement Learning (RL) Training在线强化学习（RL）训练

Gen & Discriminative PRM生成与判别性 PRM

Multi-Search Strategies 多重搜索策略

Test-time Computation & Scaling测试时计算与缩放