论文拟合智能体强化学习数据缩放定律：环境多样性收益高于任务和轨迹

AI研究博主@omarsar0推荐了一篇论文，研究智能体强化学习（agentic RL）训练数据的缩放定律，称其值得做agentic RL数据合成的人阅读。

据他介绍，论文沿任务、环境、轨迹三个维度拟合缩放定律。在不同模型规模、模型家族、领域，以及PPO和GRPO两种训练算法下，三者指数的排序都相同：环境高于任务，任务高于轨迹。环境的优势主要来自“世界”的多样性，即真正不同的场景；只改变同一世界的结构，效果与增加任务数量相当。

论文还为每种数据合成方法给出折扣系数，以及训练开始崩溃时的合成数据与真实数据比例，这些比例在不同维度之间相差一个数量级。按论文给出的方法分配预算，计算效率最高可达常见做法（多生成轨迹）的1.7倍。论文编号为arXiv 2610.23946。

以上为@omarsar0对论文的介绍，结论以论文原文为准。