Sophisme et Intelligence artificielle

Pourquoi les projets IA dans l’hôtellerie basés sur ChatGPT sont des échecs et le resteront

Introduction

L’arrivée tonitruante de ChatGPT a répandu le fantasme d’une intelligence artificielle déjà omnisciente qu’il suffirait de connecter à un site web pour générer automatiquement un assistant virtuel capable d’assurer le support client.

L’IA générative a potentiellement réponse à tout, mais cette réponse est souvent approximative, voire fausse. Mais quand c’est l’assistant virtuel de votre hôtel qui commence à communiquer de fausses informations, vous pouvez imaginer les conséquences.

L’IA générative est bien une disruption majeure et un grand pas en avant. Mais force est de constater que, un an après son apparition, les échecs de tous les projets hôteliers basés sur l’IA générative montrent que tout n’était pas aussi simple.

Chapitre 1. Intelligence vs Connaissance

L’intelligence est la capacité à comprendre à raisonner, à résoudre un problème et de s’adapter à de nouvelles situations.La connaissance est une collecte d’information, idées et compétences acquises par l’expérience ou l’éducation.

En résumé, connaissance et intelligence se complètent chacune l’un l’autre et travaillant de concert et permettent de comprendre et de naviguer dans un monde en perpétuelle évolution.

Dans un projet d’assistant virtuel, l’IA est importante certe, mais le gros du travail se trouve dans la gestion du processus d’acquisition des connaissances. Et bizarrement personne ne s’en préoccupe vraiment ! Je m’effraye de voir autant de dirigeants IT convaincus qu’il suffit de mettre les données du site web et éventuellement de leur base de connaissance SalesForce dans une grande casserole, de bien remuer et que le tour serait joué.

Et non, malheureusement, cela ne fonctionne pas, il suffit, pour vous en convaincre, que vous posiez des questions a ChatGPT sur un sujet que vous maîtrisez parfaitement pour vous rendre compte que la réponse est régulièrement approximative, voire fausse. C’est ce que l’on appelle une hallucination. Hallucination pouvant être convaincante cela dit.

En effet ChatGPT, à l’instar des sophistes, peut produire des réponses convaincantes sans viser la vérité. La réponse étant basée sur des modèles statistiques sans réelle compréhension des implications. De plus, tout comme la rhétorique sophistique, ces réponses peuvent influencer les actions, même si elles ne reposent pas sur des éléments factuels ou une compréhension approfondie du sujet.

• Exemple de sophisme: Mon chat est un mammifère, mon chien est un mammifère donc mon chat est un chien.

• Exemple d’hallucination: La chambre twin fait 25m2, la chambre double fait 25m2 donc les deux chambres sont identiques.

Ce phénomène est particulièrement dangereux car plus la base de données est pauvre plus le phénomène d’hallucination sera fort. Dans le cas des hôtels, ces bases dépassent rarement les 500 points d’informations quand en réalité les clients en demandent déjà plus de 2500 et leur soif d’information croit constamment !

Et maintenant que se passera t’il quand un client se présentera à l’enregistrement en chaise roulante alors que l’hôtel n’est pas équipé pour le recevoir? Qui sera reconnu responsable de l’hallucination? L’hôtel, l’équipe de développement, les responsables de la data, ChatGPT? Dites à vos enfants de devenir avocats, il y a du travail pour des siècles.

Exemple: Air Canada a du honorer la politique de remboursement inventée par son chatbot.

Chapitre 2. Je n’ai pas d’opinion, je n’ai que des données

A. La base de connaissance

La qualité des données, leur structure, leur ordre et leur formatage sont aussi importants que leur pertinence pour déterminer la qualité des résultats. La logique métier est également une clé de succès.

• Pour répondre aux attentes des clients, un hôtel doit pouvoir exposer au minimum 2500 points d’information (le prix du petit-déjeuner, la surface de la chambre, l’heure du check in, etc.)…
• Entre 60 et 70 % de ces points (soient environ 1500.) ne sont absolument pas formalisés (le dress code du restaurant, la présence de Wifi au bord de la piscine, le type de prise électrique, où trouver les serviettes de plage, etc). En clair, l’information est uniquement présente dans la tête des membres du personnel. Quand on connaît le turnover dans l’hôtellerie, ça fait peur.
• un site web d’un hôtel comporte au maximum 300 points d’information, les OTA (Booking, Expedia) en ayant un peu plus (C’est pourquoi les hôteliers devraient se concentrer davantage sur Google et moins sur les OTA).

Au regard de ces chiffres, comment expliquer de quelle manière ChatGPT (ou équivalent pas de jaloux) serait en mesure de répondre à une question dont elle n’a pas la moindre connaissance…

Alimenter une base de données existante comme Q-Data de Quicktext et mettre en place les process pour l’entretenir est déjà un défi pour la plupart des départements IT et marketing des hôtels. Mais il relève du possible ! Constituer cette base de connaissance en partant de zéro quand on est un groupe hôtelier si important soit-il est tout simplement mission impossible.

Donc le défi est bien plus l’amélioration de la connaissance que celle de l’intelligence. C’est pour cette raison que Velma est mondialement reconnue comme l’IA la plus performante dans l’hôtellerie, non seulement par ses capacités cognitives spécialisées dans l’hôtellerie, mais aussi grâce a sa base de données structurées la plus profonde du marché (plus de 1900 points et en croissance constante).

B. Le prompt, autrement dit, ce que vos clients demandent?

Mais me direz-vous, comment et sur quelle base améliorer sa base de connaissance?

C’est là que l’intelligence humaine combinée à la data va nous permettre de savoir quels sont les éléments de connaissance à collecter.

Bonne nouvelle! depuis que Velma existe chez Quicktext, nous avons en magasin plus de 30 millions de requêtes sur tout type d’hôtels, de localisations et de saisons, provenant de clients dans le monde entier…

Cette connaissance permet d’anticiper les questions, autrement dit les prompts.

C. La modélisation de l’IA

Le réglage et le comportement du modèle sont bien plus importants que vous ne le pensez. Il faut à la fois:

• Anticiper les prompts (les questions des clients),
• Anticiper les réponses (la base de connaissance),
• Gérer les connectivités (Moteur de réservations, CRM, call center, logiciel de gestion de tâche…),
• Et enfin maîtriser l’IA qui va mouliner tout cela. (Elle n’est qu’une composante de l’équation.)

ChatGPT pourrait sembler la solution évidente, car facile (mise en place 7 heures), mais malheureusement la paresse à un prix, beaucoup trop d’erreurs. En voici les causes…

• Contenu manquant: impossible de répondre avec les documents disponibles (les fameux 2500 points d’informations potentiels).
• Classement: la réponse est présente, mais pas suffisamment classée pour être incluse dans les résultats renvoyés.
• Hors Contexte: la donnée est bien extraite de la base, mais ne parvient pas à entrer dans la réponse générée à cause du nombre trop important d’informations.
• Non-extraction des données: le modèle ne parvient pas à extraire l’information correcte à cause d’un volume de données excessif ou d’informations contradictoires.
• Mauvais format: la question implique d’extraire les informations dans un format spécifique (photo, bouton, tableau, carrousel) que le modèle ignore.
• Spécificité incorrecte: réponse trop ou pas assez spécifique, par manque de clarté de la formulation.
• Incomplète: réponses exactes, mais avec informations manquantes, même si celles-ci sont bien présentes dans la base.

Mais ce n’est pas fini, il va falloir aussi gérer:

• La scalabilité: le volume de données augmentant, maintenir une indexation efficace et rapide devient rapidement une tâche exponentielle.
• Les mises à jour: en particulier, là où les documents sont fréquemment ajoutés, modifiés ou supprimés, garantir sans compromettre les performances du système est un défi de tous les jours.
• Les temps de réponse, c’est long 10 secondes quand on attend.
• Sans parler de la connexion aux logiciels métier.

D. A vos calculatrices

La solution de Quicktext consiste donc à opter pour une méthode hybride : une IA classique combinée à une IA générative spécifique de l’hôtellerie.

Un peu de maths pour bien comprendre.

• ChatGPT dans le domaine de l’hôtellerie génère 30 % d’hallucination (minimum constaté)
• 80 % des requêtes clients sont simples et n’ont pas besoin d’IA générative. (Exemple : A quelle heure est le petit-déjeuner)

Dans le cas de l’IA hybride (comme Q-Brain+) 80 % classique, 20 % générative, seules 20 % des requêtes seront soumises potentiellement à hallucinations. Avec une maîtrise de son IA (avoir sa propre LLM), ce niveau d’hallucination tombe à moins de 10 %.

Donc le volume hallucinatoire est de 10 % x 20 % = 2 %.

En résumé avec un modèle génératif, les hallucinations tourneront autour de 30 % alors que dans un modèle hybride 2 %.

Chapitre 3. Pour ne rien oublier

Résumons, créer un assistant virtuel basé sur ChatGPT ou équivalent sans posséder les autres éléments nécessaires, revient à être condamné à :

• Ne pas maîtriser les prompts (les questions),
• Ne pas maîtriser la boite noire (l’IA générative),
• Ne pas maîtriser la base de connaissance (les réponses),

Comment peut-on croire qu’un tel assortiment d’approximations puisse générer un système pertinent?

Bonne nouvelle! Vous êtes milliardaire en répondant à cette question.

Et au cas où cela ne serait pas suffisant!

Comment régler les sujets suivants avec une pure IA générative?

• La notion de multi property et la recherche multicritères (je suis curieux de voir ça).
• La mise à jour de la donnée (surtout si elle n’est pas structurée)
• L’adaptation culturelle (et non pas une simple traduction)
• La connectivité aux API des Booking engine, PMS, CRM, task management
• La gestion des notifications lorsqu’une action humaine est nécessaire
• La récupération des données conversationnelles
• Le RGPD
• Etc

Chapitre 4. La double hybridation

Vous comprenez maintenant pourquoi les chaînes hôtelières et les “experts” qui ont décidé de partir exclusivement dans la voie de l’IA générative pour l’hôtellerie accumulent les déconvenues. Les rares, refusant encore de l’admettre, sont ceux qui ont décidé de ne pas mesurer les résultats. Pas de thermomètre pas de fièvre.

La solution réside donc dans la double hybridation.

• Dans l’intelligence: classique + générative
• Dans la connaissance: base de données structurées + sources de données externes (mais avec modération).

Il s’agit d’une tâche titanesque, nous en savons quelque chose, nous y travaillons depuis 7 ans.

Et n’oubliez jamais, la meilleure façon de répondre à une question, est que personne n’ait besoin de la poser.

Méditez là-dessus, ce sera l’objet d’un futur article.