|

狂揽484星 ART：训练多步大模型Agent的利器，彻底告别手动打奖励

作者贝克街的捉虫师

大家好，我是贝克街的捉虫师呀！

最近，大模型Agent这个方向真是太火了，各种自动化工具、智能助手层出不穷。但是，当我们真正上手去训练一个能完成多步骤复杂任务的Agent时，是不是经常会遇到一些让人头疼的问题？尤其是那些需要Agent像人一样“从经验中学习”才能提升性能的场景，传统的奖励函数设计简直就是个体力活，反复调整参数不说，效果还不一定好，感觉就像是给Agent在黑暗中指路，非常摸不着头脑。

就在我为这些问题挠头的时候，在GitHub上发现了一个非常给力的开源项目——ART (Agent Reinforcement Trainer)。它不光能帮助大模型Agent真正实现“从经验中学习”，更让我眼前一亮的是它提出的RULER机制，直接解决了奖励函数设计这个大难题。

项目概述

ART，全称是Agent Reinforcement Trainer，正如其名，它是一个专门为大模型Agent设计的强化学习训练框架。想象一下，如果你的Agent像个蹒跚学步的孩子，ART就像一位经验丰富的启蒙老师，能够通过“犯错”和“纠正”的方式，让Agent在真实世界的任务中不断积累经验，从而变得越来越聪明，越来越可靠。

它不仅仅是一个简单的Agent训练工具，更是一个能让LLM（大型语言模型）具备从经验中学习能力的强化学习骨架。项目将强化学习（RL）中的GRPO (Generalized Policy Optimization) 方法巧妙地集成进来，提供了一个非常符合人体工程学的设计，可以轻松地将这种学习能力引入到任何Python应用中。简而言之，ART就是来帮助我们训练出那些能应对复杂、多步骤真实任务的Agent的。

项目数据

这个项目在GitHub上的表现相当亮眼，目前已经累计收揽了2149颗星，并且在今天就狂揽了484颗星，可以看出它的热度和潜力都非常高。

ART项目主要使用Python语言进行开发，这对于广大的开发者来说无疑是非常友好的。从活跃的星标增长和项目介绍来看，它正处于积极开发中，更新迭代的速度也比较快，这让人对它的未来充满信心。Readme中列出了Brad Hilton、Kyle Corbitt等7位作者，这表明项目背后有一个专业的团队在维护和推动。此外，项目还在PyPI上提供了包，方便用户通过pip进行安装，下载量也一直在持续增长。社区方面，他们也建立了Discord群组，方便用户交流和寻求帮助，这对于一个开源项目来说是非常重要的生态支持。

在模型支持方面，ART与vLLM和HuggingFace-transformers兼容，这意味着大多数主流的因果语言模型，尤其是Unsloth支持的模型，都可以通过ART进行训练。不过，需要注意的是，Gemma 3目前似乎不被支持，如果在使用中遇到其他模型不兼容的问题，项目方也鼓励大家通过Discord或GitHub Issues进行反馈，可见他们对社区的重视。

功能亮点

ART项目的核心吸引力在于它为大模型Agent训练带来了实实在在的效率和能力提升。这里我挑几个我觉得特别实用的亮点跟大家分享一下：

✨ RULER：零代码奖励函数

这真的是ART最让我惊艳的地方！传统的强化学习，最让人头疼的就是设计那个“奖励函数”。为了让Agent学会我们想要的行为，我们得绞尽脑汁去写几十甚至上百行复杂的逻辑来评分。ART引入的RULER (Relative Universal LLM-Elicited Rewards) 机制，直接用一个大模型作为“法官”来评估Agent的轨迹，你只需要在系统提示词中定义好任务，RULER就能自动评分，完全不需要我们手动编写奖励函数。这一下开发效率直接提升了2-3倍，通用性还特别好，很多任务都不需要修改就能用，而且在好几个基准测试里，它的表现甚至能超过手动设计的奖励函数。

# 以前：耗费数小时的奖励函数工程
def complex_reward_function(trajectory):
    # 50多行复杂的评分逻辑...
    pass

# 现在：使用RULER，一行代码搞定
judged_group = await ruler_score_group(group, "openai/o3")

🚀 高效的GRPO强化学习框架

ART的核心是它的GRPO强化学习框架。它让大模型真正能够“从经验中学习”，从而显著提高Agent的可靠性。这个框架被设计得非常符合实际应用的需要，可以方便地集成到任何Python应用中。项目提供了一个非常符合人体工程学的设计，抽象了训练服务器的复杂性，这意味着开发者可以更专注于Agent的逻辑，而不用深陷于强化学习算法的实现细节。

🌐 灵活的客户端-服务器架构

ART采用了客户端-服务器的分离架构，这带来了巨大的灵活性。你的Agent代码可以在任何客户端机器上运行，甚至是你自己的笔记本电脑。而真正的推理和训练过程则可以由独立运行的服务器来承担，这个服务器通常部署在带有GPU的环境中。这种设计让我们可以“从任何地方训练”，无论是本地GPU还是临时的云端GPU环境，它都能很好地支持，极大地简化了部署和扩展的难度。

📊 无缝集成可观测性工具

在Agent的开发和训练过程中，调试是必不可少的一环。ART考虑到了这一点，它与W&B (Weights & Biases)、Langfuse和OpenPipe等主流的托管平台进行了深度集成，提供了一站式的可观测性解决方案。这意味着我们可以非常方便地监控Agent的训练进度、性能指标和行为轨迹，简化了调试过程，让Agent的表现一目了然。在我看来，这种开箱即用的调试支持，对于实际项目落地来说价值巨大。

💡 智能默认配置与高度可定制性

虽然ART提供了很多强大的功能，但它并没有牺牲易用性。项目带有一系列经过优化的智能默认配置，对于刚入门的用户来说，可以直接使用这些默认设置来快速启动训练。同时，如果你有更高级的需求，ART也提供了高度的定制化能力，你可以根据自己的模型、任务和资源情况，精细地调整训练参数和推理引擎的配置，以满足特定的性能需求。这种兼顾了易用性和灵活性的设计，让ART能够适应各种不同的应用场景。

安装与使用

ART的安装过程非常直接，因为它被打包成了标准的Python库。

环境要求：
ART Agent的训练可以在任何运行Python的客户端机器上进行。对于服务器端，需要一个带有GPU的环境来运行模型推理和训练。

安装指南：
将ART添加到你现有的Python项目中，只需要一个简单的pip命令：

pip install openpipe-art

快速入门指引：
安装完成后，ART的训练循环主要分为客户端和服务器两部分。客户端负责与ART交互，向LLM发送消息并获取补全结果。服务器则独立运行，处理推理和训练的复杂逻辑。

  1. 推理阶段：你的代码通过ART客户端执行Agent的工作流，例如并行执行多个“rollout”（Agent的尝试过程）来更快地收集数据。这些请求会被路由到ART服务器，服务器会在vLLM中运行模型的最新LoRA。Agent执行过程中，每个system、user和assistant消息都会被记录在一个Trajectory（轨迹）中。当一个rollout完成时，你的代码会给这个轨迹分配一个reward（奖励），来表示LLM的表现。

  2. 训练阶段：当每个rollout完成后，轨迹会被分组并发送到服务器。推理过程会暂停，直到训练完成。服务器会使用GRPO对模型进行训练，它会从最新的检查点（或者第一次迭代时从一个空的LoRA）开始初始化。训练结束后，服务器会将新训练的LoRA保存到本地目录并加载到vLLM中。然后，推理恢复，循环继续从第一步开始。

这个训练循环会一直运行，直到达到预设的推理和训练迭代次数。

ART项目提供了详细的Notebook示例，包括如何训练2048游戏Agent、井字棋Agent等，这是快速上手和理解ART工作原理的最佳途径。例如，你可以直接在Google Colab中运行它们的2048训练示例：

https://colab.research.google.com/github/openpipe/art/blob/main/examples/2048/2048.ipynb

使用场景与推荐理由

ART作为一个专注于大模型Agent强化学习的框架，它的应用场景非常广泛，特别适合那些希望提升Agent在复杂任务中表现的开发者和团队。

具体应用场景：

  1. 开发多步骤自动化Agent：如果你正在构建需要执行一系列复杂操作的Agent，比如自动进行邮件搜索（就像ART•E Agent的例子）、网页浏览、代码调试或者自动化客服流程，ART可以帮助你的Agent通过反复试错和学习来掌握这些复杂的技能，而不仅仅是依靠简单的指令遵循。
  2. 快速原型开发与迭代：对于那些需要快速验证Agent效果的场景，特别是当奖励函数难以手工定义时，ART的RULER机制可以让你跳过繁琐的奖励工程，直接用LLM评估Agent表现，从而大大加速原型开发和迭代的速度。
  3. 提升Agent在非确定性环境中的鲁棒性：在一些结果不那么确定、需要Agent自己探索和适应的环境中，强化学习是提升Agent表现的关键。ART可以帮助Agent在这些场景中通过经验来学习最佳策略，提高其适应性和鲁棒性，使其在真实世界中表现更稳定。
  4. LLM Agent相关研究和实验：对于从事大模型Agent研究的学者和工程师来说，ART提供了一个结构清晰、功能完善的强化学习平台，可以方便地进行各种算法尝试、模型对比和性能评估。

推荐理由：

ART最大的亮点和推荐理由在于它解决了传统强化学习中奖励函数难以设计和泛化的问题。RULER机制是革命性的，它通过LLM作为评估器，将人类对任务的理解直接转化为奖励信号，大大降低了强化学习的门槛，让更多开发者可以轻松地将RL能力应用于LLM Agent。

与市面上一些专注于LLM Agent编排的框架不同，ART更侧重于Agent内部能力和行为策略的提升，它提供了一种让Agent真正“学习”和“成长”的机制，而不是简单地串联工具或API。它的客户端-服务器架构也保证了训练的可伸缩性和灵活性，你可以在本地编写Agent代码，然后将计算密集型的训练任务交给云端GPU，这对于资源有限的个人开发者或者需要大规模训练的企业级应用都非常友好。

所以，如果你是一名LLM Agent开发者，或者对Agent的“从经验中学习”能力感兴趣，ART绝对是一款值得你深入尝试的实用工具。

结语

ART (Agent Reinforcement Trainer) 这个项目，在我看来，是当前大模型Agent发展中的一个非常重要的补充。它不仅提供了一个稳定可靠的强化学习框架，更是通过RULER这样的创新机制，极大地降低了我们训练高性能、多步骤Agent的门槛。它让大模型Agent不再是简单的“指令执行器”，而是能够真正通过与环境交互，积累经验，从而不断优化自身行为的“学习者”。

我个人觉得，ART非常适合那些希望让自己的LLM Agent变得更加“智能”和“自适应”的开发者。它提供了一整套从训练到调试的解决方案，让Agent的强化学习变得不再那么遥不可及。

强烈推荐大家去GitHub上了解一下这个项目，亲自动手尝试一番：

GitHub 项目地址： https://github.com/openpipe/art

官方文档： https://art.openpipe.ai

如果你在尝试过程中有任何心得或者疑问，欢迎在评论区分享你的看法，我们一起交流学习呀！

类似文章