Uma pesquisa da Salesforce mostrou resultados algo desanimadores sobre o uso de agentes de IA baseados em grandes modelos de linguagem (os famosos LLMs) para automatizar tarefas ligadas ao gerenciamento de relacionamento com clientes (o bom e velho CRM).
Os testes revelaram que os agentes obtiveram uma taxa de sucesso de apenas 58% em tarefas simples, que exigiam apenas uma interação (sem necessidade de acompanhamento ou busca de informações adicionais). Em tarefas mais complexas, que envolviam múltiplos passos, a taxa caiu para 35%.
Nesse contexto, “taxa de sucesso” mede o quão bem um agente consegue completar corretamente uma tarefa em uma única troca de mensagens (uma pergunta e uma resposta).
A pesquisa foi realizada com dados sintéticos, ou seja, inventados, dentro do CRMArena-Pro, um ambiente criado pelos pesquisadores para simular o funcionamento de um sistema real de CRM.
Os agentes testados recebiam pedidos e precisavam decidir entre buscar informações em outros sistemas, fazer perguntas adicionais ao usuário ou fornecer uma resposta direta.
“Essas conclusões sugerem uma lacuna significativa entre as capacidades atuais dos LLMs e as demandas multifacetadas dos cenários empresariais do mundo real”, afirma o artigo. Uma declaração e tanto, vinda da maior empresa de CRM do mundo.
A pesquisa está disponível na íntegra na internet e foi divulgada pelo site britânico The Register.
Certamente não foi a própria Salesforce que compartilhou o link com os jornalistas ingleses, já que os resultados vão na contramão do discurso oficial da empresa, o que, aliás, fala bem dos pesquisadores que conduziram o estudo.
O CEO da Salesforce, Marc Benioff, vem tentando convencer investidores de que os agentes de IA representam uma “oportunidade de alta margem” para a empresa, chegando a propor um novo modelo de cobrança por tarefa resolvida, em vez da tradicional venda de licenças de software.
