近期，Google DeepMind 的研究论文《LLM是贪婪的代理：强化学习微调对决策能力的影响》深入探讨了大型语言模型（LLM）在决策任务中的行为特性。本文将尝试从一种“物理逻辑”的类比视角，结合论文核心观点，解读LLM在决策过程中的“惯性”、“势阱”以及如何通过外部“能量注入”（如强化学习微调）来优化其行为轨迹，实现更优决策。
论文指出，尽管LLM拥有强大的知识储备和一定的推理能力（通过思维链CoT），但在复杂决策场景中，它们常表现出次优行为。这可以类比于物理系统中的某些特性：
LLM倾向于过早地锁定在当前看似最优的行动上，而忽视了更广阔的探索空间。这如同一个物体在能量场中迅速滑入最近的“局部势阱”，即使附近存在更深的“全局最优势阱”，由于缺乏足够的“动能”或“扰动”来越过势垒，系统便稳定在次优点。论文数据显示，LLM可能仅探索了40-65%的行动空间，关键信息和文字可以突出表示。
演示智能体如何因贪婪策略而陷入局部最优。
LLM（尤其是小型模型）在决策时，会倾向于重复上下文中频繁出现的行动，即便这些行动的回报不高。这可视为一种“行为惯性”或路径依赖。如同一个粒子在重复外力的作用下，即使存在更优路径，也更容易沿着已形成的“轨道”运动。大型模型（如27B参数）能部分克服此偏见，但仍受贪婪性影响。
展示智能体如何倾向于选择频繁出现但非最优的行动。
LLM可能能够准确描述解决任务的最优策略（“知道”），但在实际行动中却无法有效执行（“做不到”）。论文中，LLM能生成87%正确的UCB算法推理，但即便推理正确，仍有58%的行动是基于短期贪婪而非最优策略。这如同一个系统拥有完美的理论模型，但其执行器或控制器受内部约束或简化启发式算法的影响，导致理论与实践脱节。
概念演示：左侧为“认知”的理想策略，右侧为“行动”的次优实践。
为解决上述问题，研究者提出在自生成的思维链（CoT）基本原理上进行强化学习微调（RLFT）。这可以看作是向LLM这个“物理系统”注入外部“能量”或施加“引导力场”，以改变其自然的行为倾向。
RLFT的核心机制是：LLM生成包含CoT推理和具体行动的决策，与环境交互后获得奖励信号。随后，通过强化学习算法（类似PPO，并带有KL散度约束以保持与原模型不过度偏离），更新模型参数，使其倾向于产生能带来更高回报的CoT模式和行动。这个过程可以表示为：Policy_new = RL_Update(Policy_old, CoT_rationale, Action, Reward)。
图示RLFT如何通过环境反馈迭代优化LLM的决策过程。
RLFT的效果显著：
论文强调，思维链（CoT）对于RLFT至关重要。没有CoT的RLFT效果不佳。CoT可以视为LLM内部的一种“计算过程”或“状态演化”，它为决策提供了更丰富的上下文和推理基础，是探索和合理化的关键。这如同一个物理系统拥有更复杂的内部自由度，使其能够模拟和规划更优的轨迹，而非简单的刺激-反应。
此外，“思考时间”（即允许LLM生成更多token的预算）也对性能有积极影响。更多的生成预算能提升决策质量，但相应地增加了计算成本。这表明，决策质量与“计算深度”或“信息处理时间”正相关。
展示RLFT如何随训练步数增加LLM的行动空间覆盖率。
该研究通过系统的实验揭示了LLM在决策任务中的核心缺陷，并验证了RLFT结合CoT的有效性。从“物理逻辑”视角看，LLM的决策行为受到其固有“动力学特性”的制约，而RLFT则提供了一种有效的“调控机制”。未来的研究方向可能包括探索更高效的探索策略（如论文中提到的“try-all”初始探索或奖励塑形），以及如何在计算成本和决策质量之间取得更优平衡，特别是在高风险决策场景中，赋予LLM更强的“系统鲁棒性”和“自适应能力”。
总而言之，将LLM视为一个可分析、可调控的复杂系统，借鉴物理学中描述系统行为和演化的逻辑框架，有助于我们更深刻地理解其内在机制，并设计出更有效的优化方法，推动其向更通用、更强大的智能代理演进。