Sofisma e Inteligência Artificial

Por que razão os projectos de IA na indústria hoteleira baseados no ChatGPT são fracassos e continuarão sempre a sê-lo

Introdução

A chegada estrondosa do ChatGPT espalhou a fantasia de uma IA já omnisciente, ligada a um website, para gerar automaticamente um assistente virtual capaz de prestar apoio ao cliente. Mas trata-se efetivamente de uma fantasia, que conduz a uma longa lista de problemas.

A IA generativa tem potencialmente as respostas para resolver estes problemas, mas estas respostas são muitas vezes aproximadas, ou mesmo falsas. Quando é o assistente virtual do seu hotel que começa a comunicar informações falsas, pode facilmente imaginar as consequências.

A IA generativa é, de facto, um fator importante e um grande passo em frente. No entanto, mais de um ano após o seu aparecimento, os fracassos de todos os projectos hoteleiros baseados exclusivamente na IA generativa mostram claramente que nem tudo é assim tão simples.

Capítulo 1. Inteligência vs. Conhecimento

A inteligência é a capacidade de compreender, de se relacionar, de resolver um problema e de se adaptar a novas situações. O conhecimento é um conjunto de informações, ideias e competências adquiridas através da experiência ou da educação.

Em suma, o conhecimento e a inteligência complementam-se e trabalham em conjunto para compreender e navegar num mundo em constante mudança.

Num projeto de assistente virtual, a IA é certamente importante, mas a maior parte do trabalho reside na gestão do processo de aquisição de conhecimentos e na gestão dos dados. Mas, estranhamente, ninguém parece preocupar-se com isso! É assustador ver tantos gestores de TI convencidos de que só precisam de colocar os dados no seu website e talvez  juntamente com os conhecimentos da equipa de vendas, colocar tudo numa grande panela, mexer bem e já está.

Mas não. Infelizmente, não é assim que funciona. Para se convencer disso, basta fazer perguntas ao ChatGPT sobre um assunto que compreende bem, para perceber que as respostas obtidas são regularmente aproximadas e, muitas vezes, completamente falsas. A isto chama-se alucinação. Infelizmente, a alucinação pode ser convincente.

De facto, o ChatGPT, tal como os sofistas (ou gaslighters), pode produzir respostas convincentes sem visar a verdade. As respostas baseiam-se em modelos estatísticos sem qualquer compreensão real da verdade ou das implicações. Além disso, tal como a retórica sofística, estas respostas podem influenciar acções, mesmo que não se baseiem em provas factuais ou num conhecimento profundo do assunto.

• Exemplo de sofismo: O meu gato é um mamífero, o meu cão é um mamífero, logo o meu gato é um cão.

• Exemplo de alucinação: Um quarto twin tem 25m2, um quarto duplo tem 25m2, logo os dois quartos são idênticos.

Este fenómeno é particularmente perigoso porque quanto mais pobre for a base de dados, mais forte será o fenómeno de alucinação. No caso dos hotéis, estas bases de dados raramente ultrapassam os 500 pontos de informação quando, na realidade, os clientes já pedem mais de 2500 e a sua sede de informação não pára de crescer!

E o que acontecerá quando um hóspede, depois de ter feito o check-in com o Chatbot de hotel, aparecer na receção do hotel numa cadeira de rodas, apesar de o hotel não estar equipado para receber esse hóspede? Quem será considerado responsável pela alucinação? O hotel, a equipa de desenvolvimento, os gestores de dados, o ChatGPT? Digam aos vossos filhos para se tornarem advogados, e terão trabalho para séculos.

Exemplo: A Air Canada deve respeitar a política de reembolso inventada pelo chatbot da companhia aérea.

Capítulo 2. Não tenho opinião, só tenho dados

A. A base de conhecimentos

A qualidade dos dados, a sua estrutura, ordem e formatação são tão importantes como a sua relevância para determinar a qualidade dos resultados. A lógica comercial é também uma chave para o sucesso.

• Para responder às expectativas dos clientes, um hotel deve ser capaz de apresentar pelo menos 2500 pontos de informação (pontos que vão muito além do preço do pequeno-almoço, do tamanho do quarto, da hora de check-in, etc.)…
• Entre 60 e 70% destes pontos (ou seja, cerca de 1500) não estão absolutamente formalizados (o código de vestuário do restaurante, a presença de Wifi, a profundidade da piscina, o tipo de tomada elétrica, onde encontrar as toalhas para a  praia, etc.). É evidente que a informação só está presente na cabeça dos funcionários. Tendo em consideração a rotação do pessoal na indústria hoteleira, é assustador.
• O website de um hotel tem um máximo de 300 pontos de informação, as OTA (Booking, Expedia) têm um pouco mais (Por esta razão, os hoteleiros devem concentrar-se mais no Google e menos nas OTAs).

Perante estes números, como é que podemos explicar que o ChatGPT (ou um equivalente) pode responder a uma pergunta sobre um tópico sobre o qual não tem o mínimo conhecimento?

Preencher uma base de dados existente como a Q-Data a partir da Quicktext e estabelecer os processos para a manter já é um desafio para a maioria dos departamentos de IT e marketing dos hotéis. Mas é possível! Construir uma base de dados de conhecimentos como a Q-Data, a partir do zero, quando se trata de um grupo hoteleiro, por maior que seja, é totalmente impossível.

Assim, o desafio é muito mais a melhoria do conhecimento do que da inteligência. É por esta razão que a Velma, da Quicktext, é reconhecida mundialmente como a IA mais eficiente no sector hoteleiro, não só pelas capacidades cognitivas da Velma, especializadas no sector hoteleiro, mas também graças à sua base de dados estruturada, sendo a mais profunda do mercado (mais de 1900 pontos).

B. O pedido, por outras palavras, o que é que os seus clientes estão a pedir?

Como, e com que base, podemos melhorar a sua base de conhecimentos?

É aqui que a inteligência humana, combinada com os dados, nos permitirá determinar quais os elementos de conhecimento a recolher.

Boas notícias! desde que a Velma existe na Quicktext, acumulámos mais de 30 milhões de perguntas e consultas sobre todos os tipos de hotéis, localizações e estações do ano, de clientes de todo o mundo…

Este conhecimento permite-nos antecipar perguntas, ou seja, os prompts.

C. Modelação de IA

A evolução do modelo e o seu comportamento são muito mais importantes do que se pensa. É necessário, em simultâneo:

• Antecipar os prompts (perguntas dos clientes),
• Antecipar as respostas (a base de conhecimentos),
• Gerir a conetividade (motor de reservas, CRM, call center, software de gestão de tarefas, etc.),
• E, finalmente, dominar a IA que irá “triturar” tudo isto (como pode ver na lista acima, esta última parte é apenas um componente da equação).

O ChatGPT pode parecer a solução óbvia, porque é rápido e fácil (7 horas para o instalar), mas infelizmente a preguiça tem um preço: demasiados erros. Eis as causas…

• Falta de conteúdo: é impossível responder sem os dados disponíveis (os famosos 2500 pontos de informação potenciais).
• Classificação: A resposta está presente, mas não está suficientemente classificada para ser incluída nos resultados devolvidos.
• Fora de contexto: os dados são extraídos da base de dados, mas não podem ser incluídos na resposta gerada devido ao excesso de informação.
• Dados não extraídos: o modelo não consegue extrair as informações corretas devido a um volume excessivo de dados ou a informações contraditórias.
• Formato errado: a pergunta implica a extração das informações de um formato específico (fotografia, botão, tabela, carrossel) que o modelo ignora.
• Especificidade incorrecta: resposta demasiado específica ou insuficientemente específica, devido à falta de clareza da redação.
• Incompleta: respostas exactas, mas com informações em falta, mesmo que estas estejam presentes na base de dados.

Mas ainda não acabou, também teremos de gerir:

• Escalabilidade: à medida que o volume de dados aumenta, manter uma indexação eficiente e rápida torna-se rapidamente uma tarefa hercúlea.
• Actualizações: especialmente quando os documentos são frequentemente adicionados, modificados ou eliminados, garantir que estas atualizações são feitas sem comprometer o desempenho do sistema é um desafio diário.
• Tempos de resposta: 10 segundos é muito tempo de espera.
• Já para não falar da ligação ao software empresarial.

D. Os factos e os números

A solução Quicktext consiste, portanto, em optar por um método híbrido: IA clássica, combinada com IA generativa, ambas específicas do sector hoteleiro.

Um pouco de matemática para entender realmente.

• ChatGPT na indústria hoteleira gera 30% de alucinações (este é o mínimo observado)
• 80% dos pedidos dos clientes são simples e não necessitam de IA generativa. (Exemplo: A que horas é o pequeno-almoço?)

No caso de uma IA híbrida (como o Q-Brain+) 80% clássica, 20% generativa, apenas 20% dos pedidos estão potencialmente sujeitos a alucinações. Com o domínio da sua IA (tendo o seu próprio LLM), este nível de alucinação desce para menos de 10%.

Assim, o volume de alucinações é 10% x 20% = 2%.

Em resumo, com um modelo generativo, as alucinações serão de cerca de 30%, enquanto que com um modelo híbrido serão de 2%.

Capítulo 3. Para não se esquecer de nada

Em resumo, criar um assistente virtual baseado no ChatGPT ou equivalente sem dispor dos outros elementos necessários equivale a estar condenado a

• Não dominar os prompts (perguntas),
• Não dominar a caixa negra (IA generativa),
• Não dominar a base de conhecimentos (as respostas).

Como é que podemos acreditar que um tal conjunto de aproximações pode gerar um sistema relevante?

Boas notícias! acabaste de ganhar o jackpot ao responder a esta pergunta.

E caso não tenha sido suficiente!

Como resolver os seguintes problemas com a IA generativa pura?

• A noção de pesquisa multi-propriedade e multicritério (estou curioso para ver isso).
• Atualização de dados (especialmente se não estiverem estruturados)
• Adaptação cultural (e isto não é definitivamente uma simples tradução)
• Conectividade com as APIs dos motores de reserva, PMS, CRM, gestão de tarefas
• Gestão das notificações quando é necessária a interação humana
• Recuperação de dados de conversação
• RGPD
• Etc

Capítulo 4. Dupla hibridação

Agora consegue compreender porque é que as cadeias hoteleiras e os “especialistas” que decidiram seguir exclusivamente o caminho da IA generativa para a indústria hoteleira estão a acumular desilusões atrás de desilusões. Os poucos, aqueles que ainda se recusam a admiti-lo, são os que decidiram não medir os resultados. Sem termómetro, não há febre.

A solução reside, portanto, na dupla hibridação.

• Na inteligência: clássica + generativa
• No conhecimento: base de dados estruturada + fontes de dados externas (mas com moderação).

Esta é uma tarefa enorme, nós sabemos o quão imensa é esta tarefa, pois estamos a trabalhar nela há 7 anos.

Lembrem-se sempre, a melhor maneira de responder a uma pergunta é… se ninguém precisar de a fazer.

Meditem sobre isto, pois será o tema de um futuro artigo.