Cobertura de solo, rastreamento de IA de agente aprimorado... Suporte nativo do Google Vertex AI

A startup de observabilidade de aplicações Groundcover expandiu significativamente a funcionalidade de “Observabilidade de IA”. Esta atualização reforçou a capacidade de rastreamento de sistemas de IA baseados em agentes e adicionou suporte nativo totalmente compatível com a plataforma de IA hospedada na nuvem do Google, “Google Vertex AI”.

O foco desta expansão foi preencher a “lacuna de visibilidade” que surge quando as empresas introduzem rapidamente grandes modelos de linguagem (LLM) em ambientes de serviço reais. As ferramentas de observabilidade existentes são geralmente projetadas para softwares tradicionais que operam de acordo com regras predefinidas, apresentando limitações evidentes ao lidar com sistemas de IA que mudam em tempo real com prompts e respostas. Assim, as equipes de desenvolvimento e operação têm dificuldade em entender quais entradas geraram quais resultados, por que as respostas mudaram, além de identificar onde e quanto os custos estão sendo gerados.

Para resolver esses problemas, a Groundcover aprimorou suas funcionalidades para capturar o contexto completo das interações com LLMs e rastrear o processo de geração de resultados em sistemas de IA cada vez mais complexos e multiestágios. A empresa destaca que sua vantagem central é a capacidade de aplicar observabilidade rapidamente, sem necessidade de detecção adicional no ambiente de execução.

O vice-presidente de produto da Groundcover, Or Benjamin, afirmou: “Os clientes têm relatado que as chamadas de LLM estão fora do alcance das equipes de observabilidade operacional. Eles desejam uma abordagem sistemática para entender prompts, respostas e custos. Para atender às demandas de monitoramento de IA em grande escala e de negócios críticos, além das necessidades atuais de observabilidade, desenvolvemos a observabilidade de IA.”, explicou.

Visibilidade no rastreamento de agentes

A mudança mais notável nesta atualização é a “Visibilidade no Rastreamento de Agentes”. Com essa funcionalidade, é possível não apenas visualizar cada chamada de modelo, mas também acompanhar o processo de execução das ferramentas, parâmetros, resultados e o raciocínio durante o período. Para empresas que operam fluxos de trabalho de IA baseados em agentes com múltiplas etapas, isso facilitará a identificação de problemas e a melhoria de desempenho.

Fortalecimento das funcionalidades de gestão de custos

As funcionalidades de gestão de custos também foram aprimoradas. A nova funcionalidade de alocação de custos precisa, que considera o cache de prompts, visa rastrear o custo de tokens a partir de unidades de execução detalhadas. Essa funcionalidade diferencia tokens de entrada comuns, tokens de criação de cache e tokens de leitura de cache, refletindo com maior precisão a complexa estrutura de cobrança da API do LLM mais recente. Assim, as equipes podem entender melhor os custos reais de execução de agentes ou sessões específicas.

Suporte ao Google Vertex AI

Além disso, foi adicionado suporte ao Google Vertex AI. Agora, empresas que constroem serviços de IA na plataforma Google Cloud podem coletar automaticamente dados de observabilidade relevantes sem necessidade de detecção adicional. A empresa afirma que seu design garante que todos os dados de observabilidade permaneçam no ambiente do cliente, equilibrando segurança e controle de dados.

A funcionalidade de observabilidade de IA da Groundcover está atualmente sendo implantada de forma automática e universal para todos os clientes. A empresa declarou que demonstrou esses novos recursos na “Google Cloud Next”, realizada de 22 a 24 de abril.

À medida que os serviços de IA avançam rapidamente do estágio experimental para ambientes de operação real, a “Observabilidade de IA” está ultrapassando o simples monitoramento, emergindo como uma área central de gestão de qualidade, custos e confiabilidade. Essa expansão de funcionalidades é vista como uma iniciativa para que as empresas operem agentes de IA de forma mais estável, ampliando as bases necessárias para isso.

Notas do TP AI Este texto é um resumo baseado no modelo de linguagem TokenPost.ai. O conteúdo principal pode estar omitido ou divergente da realidade.