17 de Fevereiro de 2023

ChatGPT: Análise e implicações para a tecnologia de conversação

Índice de conteúdo

Por Sergio Soage, Engenheiro de Aprendizagem de Máquinas no Aivo

Como vimos na segunda parte da nossa série de artigos de IA conversacional, o ChatGPT chamou e continua chamando uma grande atenção. Não só pelo universo da inteligência artificial, mas também por praticamente todo o resto do mundo.

É por isso que, a partir da Aivo, decidimos analisar (como nos lançamentos do GPT-3 e outros modelos fundacionais) exaustivamente seus potenciais e suas limitações, a fim de determinar quais são os possíveis casos de uso que melhoram nosso pipeline conversacional.

Limitações do ChatGPT

Para resumir, o ChatGPT (para mais detalhes veja o artigo anterior) é um novo modelo baseado no GPT-3 e criado pela OpenAI. Este modelo fundacional foi intensamente supervisionado, treinado e otimizado através de diálogos usando a aprendizagem por reforço. Todo esse treinamento alcançou resultados muito promissores e o ChatGPT impressiona os usuários com sua capacidade de gerar texto a partir de uma entrada apresentada pelos usuários. No entanto, em testes extensos, vimos que este modelo não é totalmente preciso e há muito que podemos e devemos aprender sobre o seu funcionamento.

O resultado de nossos testes indica que, como uma tecnologia de conversação, não é totalmente confiável e até tem o potencial de gerar múltiplos problemas para nossos clientes.

Utilizando este exemplo simples:

- Duas crianças, Chloe e Alexander, saíram para passear. Ambos viram um cachorro e uma árvore. Alexander também viu um gato e o mostrou para Chloe. Ela foi acariciar o gato. Quem viu o gato primeiro?

- Tanto Chloe quanto Alexander viram o gato ao mesmo tempo, já que Alexander mostrou para Chloe. Não está claro quem viu o gato primeiro, já que ambas as crianças estavam vendo a mesma coisa ao mesmo tempo.

EXTRAÍDO DE CHATGPT

Neste caso, fica claro que ele não entende o significado do que está lendo e dizendo, apresentando uma resposta ambígua. Esses e muitos outros exemplos explicam porque o ChatGPT não é uma solução recomendada para aplicações em que a precisão e a consistência são importantes.

Com a implantação atual, o ChatGPT não serve como um serviço principal confiável para aplicações que também se especializam em uma área. Mesmo que você tivesse um back-end que pudesse validar a resposta, também não ficaria claro se ele pode entregar informações precisas ou se ele pode ser corrigido sem um novo aperfeiçoamento. Como vimos no post anterior, até a OpenAI explica que o sistema não é confiável. Resumindo, as desvantagens de modelos como o ChatGPT são:

  • Ele não fornece informações de fato corretas. A própria OpenAI explica: "A OpenAI confirma que o ChatGPT às vezes escreve respostas plausíveis, mas incorretas ou sem sentido."
  • Falta de domínio específico: você não encontra o conhecimento para resolver dúvidas de assuntos específicos.
  • Falta de capacidade de troca e até mesmo de conversação: Ele não tem acesso a bancos de dados de clientes, nem é capaz de manter o estado de uma conversa além do comprimento dos tokens que o prompt pode suportar.
  • Dependência de um aplicativo de terceiros para todo o processamento de dados do cliente . A privacidade e a segurança dos dados são um grande risco nesse modelo.
  • A OpenAI escreveu um relatório muito bom sobre os problemas e possíveis correções. Você pode lê-lo aqui e se aprofundar em mais informações neste artigo.

Artigo relacionado: Introdução: o risco dos modelos fundacionais da inteligência artificial

GPT Chat: Casos de uso com sucesso

Isso significa que modelos como GPT e outros não devem ser usados em tecnologias de conversação? Claramente, a resposta é não. Esses modelos são incrivelmente úteis para a melhoria dos nossos e desenvolver a experiência do usuário. Na Aivo, usamos GPT-3 e outros modelos de várias formas, entre elas:

Geração de dados

  • Dados de treinamento: Existem vários artigos que usam modelos fundacionais para gerar dados, como :
  • Geração de Diálogos:
  • A geração artifical de diálogos nos permite melhorar nossos modelos de Rastreamento de Estado do Diálogo, mudanças nas Intenções ou qualquer tipo de mudança na conversa (sentimento, etc.)
  • Geração de respostas
  • Por ser capaz de afetar a geração de respostas, seja via prompts ou através dos parâmetros do modelo (temperatura), podemos gerar variações nas respostas para melhorar a experiência do usuário e ajustá-la ao contexto da conversa.

Acelerar o tempo de desenvolvimento para otimizar nossos modelos  

  • O ChatGPT não é, nem será, o único modelo disponível. Podemos coneguir dados de várias fontes, controlando e escolhendo onde e como usar essas informações. Isso nos permite reduzir muito o tempo necessário para melhorar nossos modelos, aproveitando de forma seletiva e controlada o conhecimento adquirido pelos modelos fundacionais.

Estas são apenas algumas das maneiras que nós da Aivo utilizamos as tecnologias mais recentes, e vamos nos aprofundar nelas.

Este é o terceiro artigo de uma série sobre modelos fundacionais, ChatGPT e tecnologias de conversação. Se ainda não leu, te convidamos a ler os artigos anteriores no nosso blog. Na edição do próximo mês, vamos nos aprofundar e dar exemplos práticos de como usamos esses modelos na Aivo e quais melhorias conseguimos com dados do mundo real.

Enquanto isso, se você quiser saber mais sobre a tecnologia que usamos na Aivo, você pode começar conhecendo nossa Suite.

Até o próximo artigo!  

Disclaimer: Este artigo NÃO foi gerado pelo ChatGPT, mas sim por um humano :)

Quer melhorar sua estratégia CX?

Nossas soluções de atendimento ao cliente baseadas em IA conversacional podem ajudar a fornecer uma experiência eficiente 24 horas, 7 dias da semana aos seus clientes. Entre em contato com nossa equipe para saber em detalhes como podemos apoiar seu negócio.