上海人工智能实验室, 清华大学, 伊利诺伊大学厄巴纳-香槟分校等
大家好，我是这项研究的一员。今天，我想和你们分享一段我们团队在探索大语言模型（LLM）推理能力时经历的奇妙旅程。想象一下，我们正试图教一个聪明的机器人去解决复杂的数学题。我们使用的工具是强化学习（RL）——一种让机器像我们一样通过试错来学习的强大技术。然而，我们很快就发现了一个令人困惑的现象：无论我们投入多少计算资源，模型的性能提升到一定程度后，就像撞上了一堵无形的墙，再也无法前进了。[1]
这个过程，就好像一位极具天赋的探险家，在进入一片广袤的未知森林（探索空间）后，很快就找到了一条看似不错的路，然后就日复一日地沿着这条路走，再也不去寻找其他可能更优的路径。他的效率（性能）在初期飞速提升，但最终，他能达到的最远点，也就被这条路的终点所限制了。他失去了探索的“欲望”和“可能性”。
在AI的世界里，这种“探索的欲望”被一个美丽而深刻的物理概念所量化——策略熵（Policy Entropy）。高熵意味着模型行为充满不确定性，愿意尝试各种新奇的解决方案；而低熵则代表模型变得非常自信、固执，只相信少数几个它认为最优的答案。我们观察到，在RL训练的初期，模型的策略熵会急剧下降，几乎是“崩塌”式地跌至谷底。这种“熵崩塌”现象，正是导致性能停滞不前的罪魁祸首。它意味着模型为了追求短期回报，过早地放弃了探索更广阔世界的机会。[1] 这让我们不禁发问：我们能否理解并驾驭这股熵的力量，打破性能的天花板，让AI的推理能力真正得以扩展呢？这便是我们研究的起点。
我们首先发现了一个惊人的规律。在没有外部干预的情况下，模型的性能（我们用验证集准确率 $R$ 表示）和策略熵（$H$）之间，存在一个几乎完美的函数关系。这个关系可以用一个异常简洁的指数公式来描述：
这个发现太迷人了！它就像一个自然法则，揭示了RL训练的内在宿命。我们可以把这想象成一个创业公司的成长过程：
这个规律不仅让我们能在训练早期就预测出模型的最终性能，更重要的是，它指出了一个严峻的现实：如果不打破这个“熵换性能”的魔咒，简单地增加训练时间是徒劳的，因为性能的天花板早已注定。
图1: 熵与性能的权衡关系 (静态SVG)
为了打破这个宿命，我们必须深入理解：熵究竟是如何变化的？通过理论推导，我们发现了一个核心机制。熵的每一步变化，都和一个叫做“协方差”的统计量息息相关。
这个公式有点抽象，我们用一个生活的例子来解释：
在LLM的训练中，我们发现模型总是倾向于前者：高概率的“正确”答案总是获得高优势，导致协方差持续为正，熵单调递减，最终崩塌。模型陷入了舒适区，不愿冒险尝试那些看似冷门但可能带来惊喜的解法。
图2: 协方差的直观解释 (静态SVG)
既然找到了问题的根源——那些高协方差的“元凶”token，我们就能对症下药了。传统方法，如直接添加熵奖励，效果并不理想，就像给探险家发奖金让他随便乱逛，他可能会迷路，而不是找到更好的路。我们的思路更加精准：直接“管制”那些导致熵快速下降的害群之马。
为此，我们提出了两种简单而高效的技术：
理论的优美最终需要实验来证明。我们将我们的方法应用在了Qwen2.5等一系列模型上，并在多个数学推理基准测试中进行了验证。结果令人振奋！
与基线方法相比，使用了Clip-Cov和KL-Cov的模型：
这证明，通过主动管理熵，我们不仅没有损害性能，反而打破了原有的性能天花板，释放了模型真正的潜力。特别是在大模型上，效果尤为显著，因为它们本身蕴含的知识更丰富，一旦“解开束缚”，就能探索到更广阔、更优质的策略空间。
图3: 性能对比 (静态SVG柱状图)
我们的研究不仅提供了两种实用的技术，更重要的是，它揭示了我们可以通过调节超参数（如裁剪比例或KL惩罚系数）来主动地、精确地控制策略熵的水平。这意味着我们从一个被动的观察者，变成了一个主动的“熵调控师”。
这开启了一个全新的可能性：是否存在一个“最优熵值”，能够在探索（寻找新大陆）和利用（耕种已有土地）之间达到完美的平衡？这仍然是一个开放的问题，但我们已经拥有了探索这个问题的罗盘和船舵。
对于那些希望深入了解我们工作背后数学原理的朋友，这部分将提供更详尽的解析。
我们研究的核心在于理解策略熵 $H$ 如何随训练步骤变化。对于像LLM这样的Softmax策略，其输出概率由logits $z_{s,a}$ 决定： $$ \pi_\theta(a|s) = \frac{\exp(z_{s,a})}{\sum_{a'}\exp(z_{s,a'})} $$ 我们推导出的第一个关键引理（Lemma 1）表明，单步熵变近似等于动作对数概率和logits变化量之间的负协方差：[1]
接下来，我们需要知道 $z_{k+1} - z_k$ 是什么。在策略梯度（Policy Gradient）类算法中，参数更新方向由梯度决定。对于自然策略梯度（Natural Policy Gradient），我们证明了logits的变化量正比于优势函数 $A(s,a)$：[1]
将这两个结果结合，我们得到了最终的、也是最具启发性的定理（Theorem 2）：
这个理论完美地解释了我们在实验中观察到的现象：模型在训练数据上，高概率的动作总是伴随着高优势值，导致协方差持续为正，熵因此不断单调递减，直至崩塌。
我们的解决方案直接作用于这个协方差。我们首先在每个batch内，为每个token计算其“伪协方差”贡献值：
$$ \text{Cov}(y_i) = (\log \pi_\theta(y_i) - \overline{\log \pi}) \cdot (A(y_i) - \overline{A}) $$其中 $\overline{\log \pi}$ 和 $\overline{A}$ 是batch内的均值。这个值衡量了每个token对总协方差的贡献。
Clip-Cov实现: 我们设定一个协方差阈值区间 $[\omega_{low}, \omega_{high}]$，并设定一个裁剪比例 $r$。然后从所有协方差值落入该区间的token中，随机选择 $r \cdot N$ 个（$N$是batch总token数）。在计算PPO损失时，对于这些被选中的token，我们直接将其梯度分离（detach），使其不参与反向传播。 $$ L_{\text{Clip-Cov}}(\theta) = \begin{cases} L_{PPO}(\theta) & \text{if } t \notin I_{\text{clip}} \\ \text{detach}(L_{PPO}(\theta)) & \text{if } t \in I_{\text{clip}} \end{cases} $$ 这是一种非常直接的“硬”干预。[1]
KL-Cov实现: 我们选取协方差排名前 $k$ 的token。对于这些token，我们在其原始PPO损失的基础上，增加一个KL散度惩罚项，惩罚当前策略 $\pi_\theta$ 与产生数据的旧策略 $\pi_{\theta_{old}}$ 之间的偏差： $$ L_{\text{KL-Cov}}(\theta) = \begin{cases} L_{PPO}(\theta) & \text{if } t \notin I_{KL} \\ L_{PPO}(\theta) + \beta \cdot D_{KL}(\pi_{\theta_{old}} || \pi_\theta) & \text{if } t \in I_{KL} \end{cases} $$ 这里的 $\beta$ 是控制惩罚力度的系数。这是一种更“软”的正则化方法，它不是完全阻止更新，而是限制更新的幅度。[1]
这两种方法都极为高效，只需要在损失函数计算中增加几行代码，就能实现对熵的有效控制，并且对超参数不敏感，鲁棒性很强。
我们的研究旅程，从一个令人困惑的“性能天花板”问题开始，最终揭示了强化学习在大型语言模型中深刻的熵机制。我们发现，标准的RL过程本质上是一场可预测的、以牺牲探索能力为代价的性能追逐，而这场追逐的终点早已被写定。
但更重要的是，我们没有止步于此。通过理解熵变的内在驱动力——协方差，我们找到了驾驭这股力量的方法。我们提出的Clip-Cov和KL-Cov，就像是为AI探险家量身打造的智能导航系统，它能在不影响航速的前提下，持续提醒他：“嘿，别忘了看看旁边的风景，那里可能有宝藏！”
人们普遍相信，继预训练之后，强化学习将是推动AI能力进入下一纪元的关键。然而，要真正释放RL的潜力，我们需要的不仅仅是更大的算力，更是对学习过程本身更深刻的理解。我们希望，这项以熵为核心的研究，能为这个宏伟的目标提供一块小小的拼图，启发未来的工作，让我们共同探索通往更高层次智能的新航路。毕竟，正如普朗克所言：“自然界的任何变化，除非熵增为其利益服务，否则绝不会发生。” 或许，在AI的世界里，智慧的火花，也正是在有序与无序的完美交融中迸发出来的。