Libere o poder da IA generativa para negócios com LLMOps e outras chaves

Por: Naveen Kamat e Dennis Perpetua

Um ser humano escreveu este artigo. Há um ano, essa declaração teria sido desnecessária, até mesmo pedante, mas com o advento da IA ela se tornou necessária?

As expectativas do uso da IA generativa nos negócios são otimistas. Prevê-se que os gastos corporativos com soluções que incluem IA generativa cheguem a 143 bilhões de dólares até 2027.¹ Uma pesquisa da McKinsey prevê que a IA generativa adicionará de $2,6 trilhões a $4,4 trilhões à economia global anualmente.² As empresas ansiosas para começar têm uma pergunta clássica: como isso vai gerar valor real para nossos clientes, funcionários e acionistas?

Para liberar todo o poder da IA generativa, sugerimos que as empresas abordem quatro pilares:

1. Construir uma base de dados sólida
2. Aproveitar as operações de grandes modelos de linguagem (LLMOps)
3. Gerenciar a possível shadow AI
4. Escolha os casos de uso corretos

Construir uma base de dados sólida

Não importa se você pretende ajustar um grande modelo de linguagem (LLM) existente, como o GPT-3.5 Turbo da OpenAI, ou o LaMDA do Google, ou se deseja criar seu próprio modelo básico, é essencial ter uma boa estratégia de dados. Uma boa arquitetura de dados é essencial para resultados acelerados e para o início da era da IA. Sua eventual solução de negócios com IA generativa precisará ser capaz de acessar dados em tempo real, armazenamentos de documentos com curadoria ou bancos de dados vetoriais e trabalhar dentro de controles de acesso e protocolos estabelecidos para garantir o cumprimento das regulamentações.

Estabelecer uma estrutura de dados em todo o seu ambiente digital e estabelecer uma boa governança de dados são os primeiros passos. As IAs generativas são tão boas quanto os seus dados: um rótulo errado ou uma instância de desvio do modelo pode criar alucinações, erros ou simplesmente resultados ruins. A partir daí, você terá que fazer ajustes na arquitetura específicos de IA generativa para negócios, como projetar modelos de prompt ou sequenciamento de prompt, geração aumentada de recuperação ou ajuste de parâmetros de modelo para obter os resultados mais relevantes e ideais.

A desidentificação ou anonimização de dados para proteger dados de identificação pessoal ou de informações pessoais confidenciais que estão sendo consumidos pelos LLMs pode ser uma consideração importante do ponto de vista da governança de dados.

Os obstáculos da base de dados não são intransponíveis, mas exigirão uma estratégia de dados fundamental para resolvê-los. Adicionar IA generativa ao seu conjunto de tecnologias sem mudanças de estratégia de dados é uma receita para estouros de custos, problemas de conformidade e muito mais.

Caso de uso: Data Foundation e pesquisas com SQL

No caso de um departamento de atendimento ao cliente, as solicitações ad-hoc de relatórios de bancos de dados de linguagem de consulta estruturada (SQL) podem consumir muito tempo das equipes de atendimento ao cliente. Isso ocorre porque centenas de relatórios por mês precisam ser concluídos, sendo que muitos relatórios individuais exigem horas. Além disso, muitas solicitações de atendimento ao cliente exigem que os agentes examinem grandes guias de usuário e documentações para encontrar uma solução.

Um assistente de atendimento ao cliente feito com IA generativa e treinado no banco de dados SQL e guias do usuário de uma empresa pode traduzir perguntas de linguagem natural em consultas SQL, executar as consultas e, em seguida, traduzir os resultados de volta para linguagem natural para facilitar a compreensão. Esse processo também pode ser aplicado a uma biblioteca inteira de guias do usuário, permitindo pesquisas rápidas e respostas rápidas aos problemas dos clientes.

Aproveite operações de grandes modelos de linguagem (LLMOps)

Com sua base de dados estabelecida, em seguida você deverá:

• Definir quais modelos de fundação serão adequados à finalidade
• Configurar sequências ou modelos de prompt para seus LLMs
• Configurar lojas de vetores
• Definir barreiras responsáveis para a inteligência artificial

A arquitetura, as políticas e os procedimentos que regem esse corpo de trabalho são conhecidos como LLMOps. Abrange todo o ciclo de vida da IA generativa, desde a conformidade e segurança até desvios e vieses, engenharia imediata e outros.

Os LLMs precisam de grandes conjuntos de dados para treinamento. Um desafio é que, se a maior parte dos dados de treinamento estiver em inglês, os modelos poderão inadvertidamente assumir pontos de vista ocidentais. O viés de dados na IA generativa também pode surgir de outras formas: imagine usar um bot de atendimento ao cliente treinado somente com vozes do nordeste dos EUA para atender a chamadas de clientes do sul da Inglaterra. Ele poderá ter dificuldade na interpretação de dialetos regionais.

Outro desafio de interpretação pode ser o contexto. Em inglês, a frase “I’m locked out of my office” vai significar "estou trancado para fora do meu escritório" para um segurança de um prédio e "não consigo acessar meu Office" para um agente de atendimento ao cliente da Microsoft. Uma solução empresarial de IA generativa pode não ser capaz de interpretar a intenção.

A utilização de uma  estrutura de LLMOps ajuda a colocar a IA em usos eficazes, ideais e responsáveis, tanto para o resultado final quanto para proteger uma organização e seus usuários de possíveis perigos.

Caso de uso: LLMOps, contexto e feedback do cliente

Uma estratégia sólida de LLMOps, apoiada por técnicas como a geração aumentada de recuperação, pode dar à IA generativa o domínio específico, o contexto cultural e situacional de que ela precisa para melhorar a experiência dos clientes.

Considere o exemplo de um aeroporto internacional na Índia, que recebe milhares de avaliações e comentários todos os meses nas redes sociais. Os membros da equipe estavam gerenciando e respondendo manualmente aos feedbacks, o que se mostrou um processo extremamente demorado. O aeroporto criou uma IA para examinar todos os canais de mídia social em busca de comentários de clientes e classificá-los por sentimento (por exemplo, satisfeito versus insatisfeito) e intenção (como busca de informações versus recomendação). Em seguida, a IA gerou respostas adequadas para cada uma delas, que foram revisadas pelos gerentes antes da implementação. A solução oferece ao aeroporto uma maneira nova e eficiente de lidar com os problemas dos clientes.

Gerenciar a possível shadow AI  

Nos primórdios da nuvem, não era incomum que as equipes utilizassem diversas plataformas para armazenar seus documentos e arquivos. A prática, dimensionada entre departamentos, criou um emaranhado intrincado de plataformas virtuais e vulnerabilidades de segurança associadas.

Enquanto as empresas trabalhavam para simplificar o armazenamento em nuvem, as práticas de segurança e os custos, os funcionários ainda se apegavam às ferramentas e plataformas preferidas para fazer seus trabalhos, criando a shadow IT.

As empresas podem se antecipar a uma situação semelhante de shadow AI implementando políticas de IA responsável que evitem a IA supérflua e reduzam os riscos de segurança que poderiam resultar do uso não autorizado. Essas políticas devem ser flexíveis o suficiente para incentivar a inovação dentro das equipes e, ao mesmo tempo, estabelecer diretrizes claras de conformidade e padrões éticos.

A gestão de custos também se aplica a uma ponderação direta de opções. A arquitetura de uma solução empresarial de IA generativa pode alcançar resultados semelhantes a outra, mas por uma fração do custo. Diversas técnicas de otimização também podem ser utilizadas para obter o melhor resultado com um consumo de computação muito menor.

Escolha os casos de uso corretos

Ao considerar casos de uso de IA generativa nos negócios, procure situações em que seus recursos rápidos de ingestão, análise e resumo fornecerão o maior valor para clientes, funcionários ou outros usuários.

Evite casos de uso que possam introduzir injustiça e preconceito, riscos de não conformidade regulatória ou levar a danos à reputação.Escolha aqueles que podem ser implementados de forma rápida, confiável e barata. Comece com protótipos que possam ser expandidos após a prova de conceito. Saiba como você medirá o ROI.

Aqui estão algumas áreas a serem analisadas para liberar o poder da IA generativa nos negócios:

• Análise de custos para otimização
• Automatização de tarefas rotineiras
• Exame de casos de suporte ao cliente para identificar tendências
• Personalização de experiências do cliente

Caso de uso: transcrição e resumo

Os contact centers apresentam um caso de uso particularmente maduro para IA generativa com resumos de eventos de suporte ao cliente gerados por IA. Ocorre uma interação típica de suporte ao cliente, com o conteúdo e o contexto da interação capturados e analisados pela IA.

Em seguida, a IA gera um resumo do evento que o agente de suporte analisa e verifica. Isso permite que o próximo agente de suporte se familiarize e ajude o usuário rapidamente, reduzindo o tempo que o agente de suporte anterior passa recapitulando a chamada.

Os números confirmam isso e mostram amplo espaço para crescimento. Em um estudo do Stanford Digital Economy Laboratory e da MIT Sloan School of Management, os call centers tiveram um aumento de 13,8% na produtividade quando implementaram uma ferramenta de assistente de IA generativa.³ E o tamanho do mercado de IA generativa no atendimento ao cliente está previsto para mais de US$ 2,1 bilhões em 2032.⁴

O futuro da IA generativa nos negócios está apenas começando a ser escrito. Como qualquer nova tecnologia, há muitas dúvidas e precauções, mas com uma base sólida, uma estratégia proativa, otimização de custos e os casos de uso certos, o futuro pode ser brilhante.

Naveen Kamat é vice-presidente e CTO de serviços de DATA and AI da Kyndryl. Dennis Perpetua é vice-presidente e CTO de serviços de Digital Workplace.

1 A IDC prevê que os gastos com soluções de IA generativa chegarão a 143 bilhões de dólares em 2027, com uma taxa de crescimento anual composta de 73,3% em cinco anos. IDC. Outubro de 2023 

2 Economic potential of generative AI, McKinsey, junho de 2023. IDC prevê que os gastos com soluções de IA generativa alcançarão $143 bilhões em 2027, com uma taxa de crescimento anual composta de 73,3% durante cinco anos. IDC, outubro de 2023

3 Measuring the Productivity Impact of Generative AI, National Bureau of Economic Research, junho de 2023

4 IA generativa no mercado de atendimento ao cliente terá valor de cerca de USD 2.103,00 milhões até 2032, Enterprise Apps Today, maio de 2023