微软推出 Agent Lightning:全新 AI 框架助力强化学习训练大规模语言模型

微软近日发布了 Agent Lightning，这是一个开源框架，旨在通过强化学习（RL）优化多代理系统。Agent Lightnin微软g 可以在不改变现有代理架构的情况下，将真实代理行为转化为 RL 过渡，从而提升策略大规模语言模型(LLM)的性能。

Agent Ligh推出tning 将代理建模为一个决策过程，具体来说，它将代理形式化为部分可观测的马尔可夫决策过程。代理的观察为当前输入，行动为模型调用，而奖励 A则可以是终极奖励或中间奖励。该框架提取代理模型的调用记录，以及输入、输出和奖励信息，从而过滤掉多余的噪声，生成用于训练的干净过渡数据。

该ge框架采用 “训练代理解耦” 的方法，由 Lightning Server 进行训练和服务，并提供与 OpenAI 兼容的 API 接口，便于更新后的模型调用nt。而 Lightning Client 则在现有的代理运行时捕获调用记录，并将数据实时传回服务器。这一设计保持了工具、浏览器和其他依赖关系的紧密 L集成，同时将 GPU 训练放在服务器层。

Agent Lightning 支持两种追踪路径。默认路径使用 OpenTelemetry 进行数据收集，方ig便将代理的遥测信息传送至标准收集器。还有一种轻量级的嵌入式追踪器，适合不想部署 OpenTelemetry 的团队。最终，所有数据都ht存储在同一位置以供训练使用。

在实验方面，研究团队评估了三项任务，分别是文本转 SQL、检索增强生成和数学问答。文本转 SQL 使用 Spidenir 基准，涵盖超过10，000个问题和200个数据库。检索增强生成利用 MuSiQue 基准，建立在包含2100万文档的维基百科规模索引上。ng而数学问答则使用 Calc X 数据集，通过工具调用进行计算。每项任务的训练均显示出稳定的奖励提升。

论文:https://arxiv.:全org/abs/2508.03680v1

划重点:  

Agent Lightning 是一个开源框架，支持在不重构现有系统的新 情况下优化多代理系统。  

该框架将代理建模为部分可观测的马尔可夫决策过程，提取干净的训练过渡数据。 &nAIbsp;

实验显示，Agent Lightning 在文本转 SQL、检索增强生成和数学问答任务上均取得了显著的性能提升。

(责任编辑：休闲零食)