地面覆盖,代理型AI追踪增强…谷歌Vertex AI原生支持

robot
摘要生成中

应用程序可观测性初创公司Groundcover大幅扩展了“AI可观测性”功能。此次更新强化了对代理型AI系统的追踪能力,并新增了与谷歌云托管AI平台“Google Vertex AI”完全兼容的原生支持。

此次扩展的重点在于填补企业在将大语言模型(LLM)快速引入实际服务环境过程中产生的“可见性空白”。现有的可观测性工具大多以按照既定规则运行的传统软件为前提进行设计,在面对提示词和响应实时变化的AI系统时存在明显局限。因此,开发团队和平台运营团队难以了解哪些输入导致了哪些结果、响应为何发生变化,以及成本在何处产生、金额多少。

为解决这些问题,Groundcover增强了功能,使其能够捕获LLM交互的完整上下文,并追踪日益复杂的多阶段AI系统中结果的生成过程。该公司尤其强调其核心优势在于,无需在运行环境中进行额外检测工作,即可快速应用可观测性。

Groundcover产品副总裁Or Benjamin表示:“客户一直反映LLM调用处于运营可观测性团队的视野之外。他们希望能有系统的方法来理解提示词、响应和成本。为应对现有可观测性需求之外的大规模、关键业务AI监控需求,我们开发了AI可观测性。”他解释道。

代理追踪可见性

此次更新中最引人注目的变化是“代理追踪可见性”。通过该功能,不仅可以查看每次模型调用,还能同时查看工具执行过程、参数、执行结果以及期间的推理路径。对于运营涉及多个步骤的代理型AI工作流的企业而言,排查问题原因和提升性能将变得更加容易。

成本管理功能强化

成本管理功能也得到了增强。新增的精确成本归属功能,通过考虑提示缓存,旨在从详细执行单元层面追踪令牌成本。该功能区分了普通输入令牌、缓存创建令牌和缓存读取令牌,从而更准确地反映最新LLM API复杂的计费结构。由此,团队可以更清晰地了解特定代理执行或会话实际产生的成本。

支持Google Vertex AI

此外,新增了对Google Vertex AI的支持。现在,在谷歌云平台上构建AI服务的企业无需额外检测即可自动收集相关的可观测性数据。公司方面表示,其设计确保所有可观测性数据保留在客户自身环境内,兼顾了安全性和数据可控性。

Groundcover的AI可观测性功能目前正以通用方式自动向所有客户部署。该公司表示,已于4月22日至24日举行的“Google Cloud Next”活动上演示了这些新功能。

在AI服务快速跨越实验阶段、进入实际运行环境之际,“AI可观测性”正超越简单的监控范畴,崛起为质量、成本与可靠性管理的核心领域。此次功能扩展,被视为企业为更稳定地运营代理型AI而拓宽必要基础的一项举措。

TP AI注意事项 本文基于TokenPost.ai语言模型进行摘要。正文主要内容可能被省略或与实际有出入。

此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
请输入评论内容
请输入评论内容
暂无评论