2025年12月10日，LangChain正式发布了Polly。一款直接集成在LangSmith平台中的AI智能助手，专门帮助开发者调试、分析和改进AI Agent。

是的，你没看错：我们在一个用于构建Agent的产品中，又添加了一个Agent。这听起来有些讽刺，但背后有着深刻的逻辑。

LangChain团队与数千名开发者合作，帮助他们基于LangSmith构建生产级Agent。在这个过程中，我们清楚地看到了Agent真正擅长的事情（分析复杂的执行轨迹、发现数百个步骤中的模式）以及它们不擅长的事情（替代需要深思熟虑的工程决策）。我们想要把这件事做对。

最终的结果就是Polly：一个理解Agent架构、识别失败模式、真正帮助你更快地构建更好Agent的AI Agent工程师。Polly现已进入beta测试阶段。

为什么Agent需要一个AI调试伙伴？

通过与数千个在LangSmith上构建Agent的团队合作，我们反复看到相同的调试挑战。Agent与简单的LLM调用在本质上存在巨大差异，主要体现在三个方面：

• 更长的提示词：系统提示词往往跨越数百甚至数千行。当行为出现问题时，几乎不可能找出是哪条指令导致了问题。

• 更长的执行轨迹：Agent可以运行数百个步骤，在单次执行中生成数千个数据点——这远远超出了人类能够有效解析的范围。

• 多轮交互：Agent涉及跨越数小时或数天的多轮对话。要理解发生了什么，需要查看整个交互历史。

当出现问题时，你很难轻易定位是哪个决策、哪条提示指令或哪个工具调用导致了问题。这正是AI Agent工程师擅长的领域——也是我们构建Polly的原因。

Polly如何帮助调试轨迹、分析对话并优化提示词

与其手动扫描无尽的执行轨迹，或猜测哪个提示词修改能解决问题，你现在只需用自然语言向Polly提问。就像团队中有一位专家级的Agent工程师。以下是Polly目前可以做的事情：

调试单个执行轨迹

在轨迹视图中，Polly分析单个Agent执行，帮助你理解发生了什么。这正是Polly真正发光的地方——深度Agent的执行轨迹可能包含数百个步骤，失败模式往往很微妙，分布在多个步骤中，或埋藏在长执行的中间部分。

你可以向Polly提问：

• “Agent是否做了任何可以更高效的事情？”

• “Agent是否犯了任何错误？”

• “为什么Agent选择了这种方法而不是那种方法？”

• “问题到底出在哪里？”

Polly不仅仅是展示信息。它理解Agent行为模式，能够识别即使经过仔细人工检查也会遗漏的问题。

分析完整对话

在线程视图中，Polly可以访问整个对话的信息，这些对话有时跨越数小时、数天或数十轮来回交互。这是人类无法在脑海中保持的上下文。

图片

你可以让Polly：

• 总结多轮交互中发生的事情

• 识别Agent行为随时间的模式

• 解释为什么Agent的方法在轮次之间发生了变化

• 发现Agent何时丢失了重要上下文

这对于调试那些令人沮丧的问题尤其强大——”Agent之前工作得很好，然后突然就不行了”。Polly可以精确定位事情在何时、为何发生了变化。

优化提示词工程

这是Polly真正强大的地方。系统提示词是任何深度Agent最重要的部分，而Polly是一位专家级的提示词工程师。

只需用自然语言描述你想要的行为，Polly就会相应地更新你的提示词。不再需要手动调整数百行指令，试图找出正确的措辞，或担心在修复一个问题时是否破坏了其他东西。

Polly还可以帮助你：

• 定义结构化输出模式

• 配置工具定义

• 添加或完善少样本示例

• 在不丢失关键指令的情况下优化提示词长度

Polly如何与LangSmith追踪系统协同工作

Polly的智能来自LangSmith全面的追踪基础设施。LangSmith捕获你的Agent所做的一切：

• 运行（Runs）：单个步骤，如LLM调用和工具执行

• 轨迹（Traces）：Agent的单个执行，由运行树组成

• 线程（Threads）：完整对话，包含多个轨迹

在LangSmith中设置追踪只需几分钟——按照指南即可开始。一旦你的数据流入LangSmith，Polly就可以立即开始帮助你分析Agent行为、识别问题并改进提示词。

开始使用Polly

Polly已经可以分析轨迹、调试对话并优化提示词。随着时间的推移，我们将教它如何分析实验、优化提示词以及更多功能。

准备好开始使用Polly了吗？

• 在几分钟内设置追踪

• 开始使用LangSmith构建和调试你的Agent

• 与Polly对话，体验Agent工程的未来

你可以观看视频教程，了解更多关于如何开始使用Polly的详细信息。

LangChain是受数千个团队信任的Agent工程平台，用于构建生产级Agent。现在，有了Polly，你拥有一位AI专家，在每一步都为你提供帮助。

今天就试试Polly吧。

文章来自：51CTO