Knowledge Buddy : comment ça marche ?

Don Schuerman, Chief Technology Officer chez Pega, explique comment Knowledge Buddy, grâce à la génération augmentée de récupération (Retrieval Augmented Generation, ou RAG en anglais), exploite vos contenus d’entreprise pour améliorer la fiabilité des réponses fournies par Pega GenAI. Cette approche offre trois avantages majeurs : la traçabilité des réponses, la limitation du risque d’hallucinations et l’exploitation de données à jour.

Transcription :

Bonjour, je suis Don Schuerman. Je suis ici pour vous en dire plus sur notre nouveau produit Knowledge Buddy. En bref, si vous n’en avez pas encore entendu parler, Knowledge Buddy s’appuie sur l’IA générative pour générer des réponses pertinentes tirées de la base de connaissances de votre entreprise. Il utilise pour cela une fonctionnalité combinant récupération et génération, appelée Retrieval Augmented Generation (RAG) en anglais. Cette puissante technique permet de relever trois grands défis de l’utilisation de l’IA générative en entreprise.

Tout d’abord, la traçabilité. Si vous demandez à ChatGPT une bonne recette de burritos, il saura vous répondre correctement. Sans vous indiquer où il a trouvé l’information, ce qui ne pose aucun problème pour une recette de burritos, mais pas pour le traitement d’une déclaration de sinistre ou d’une exception de paiement.

Deuxième défi : les hallucinations. Tous ceux qui se sont amusés à interroger ChatGPT suffisamment longtemps l’ont constaté : quand il ne sait pas, il invente... Un fonctionnement inacceptable dans l’univers de l’entreprise.

Troisième défi : s’appuyer sur des informations à jour. Malheureusement, comme vous le savez, GPT-3.5 a été entraîné en 2021, et GPT-4 en 2022 et 2023. Et le ré-entraînement ou le réglage d’un modèle n’est pas possible, car l’ajout de nouveaux contenus coûte à chaque fois des millions, voire des dizaines de millions de dollars. Comment alors s’assurer de s’appuyer sur des contenus à jour ? L’approche RAG répond à ces trois défis.

Comment ? Vous prenez d’abord tous les contenus pertinents au sein de votre entreprise : documentation, guides, contenu marketing... Chez Pega, nous utilisons Knowledge Buddy sur notre documentation interne, pour le contenu commercial, marketing... Puis vous utilisez l’IA et le processus d’« Embedding » pour extraire tout le contenu de cette documentation, sous la forme de petits morceaux de contenu, en préservant les liens sémantiques entre tous ces morceaux. Par exemple, vous comprenez le lien entre Tortilla et Plier un burrito, même si les mots Tortilla et Plier n’ont pas de lien sémantique direct évident. Vous intégrez tous ces morceaux dans une base de données spécifique, appelée base de données vectorielle, qui conserve et préserve les liens sémantiques. Voilà tout ce que fait Knowledge Buddy. Pour vous, de manière automatique.

Pour répondre à une question posée par l’un de vos utilisateurs ou clients, Knowledge Buddy commence par aller chercher dans la base de données vectorielle tous les contenus potentiellement en rapport avec la question posée. Et avant même de faire appel aux fonctionnalités d’IA générative, il crée un prompt spécifique, du type : « Je compte sur toi pour répondre à des questions. Je vais te poser une question. Je vais aussi t’indiquer le contenu à utiliser pour y répondre. Et si tu ne trouves pas la réponse dans le contenu indiqué, tu dois me dire 'je ne sais pas'. » C’est un point très important, j’indique clairement au modèle de ne pas halluciner. Vous fournissez ce prompt et les contenus à l’IA générative. Ici, nous utilisons les modèles Azure OpenAI. Knowledge Buddy reçoit les informations pertinentes et formule sa réponse. Une réponse directement liée au contenu du référentiel de connaissances.

Revenons à nos trois grands défis à relever pour utiliser l’IA générative en entreprise. Est-ce que Knowledge Buddy garantit la traçabilité grâce à l’approche RAG ? Oui. Nous savons quels morceaux de contenu, quels documents, ont été utilisés pour répondre. Nous avons même accès aux URL vers les documents dans le référentiel de contenus. Les hallucinations ? Encore oui. Nous avons indiqué à OpenAI de dire qu’il ne sait pas s’il ne trouve pas de réponse dans le contenu de référence. Le contenu et les connaissances utilisés sont-ils à jour ? Encore oui. Il suffit de mettre à jour la base de données vectorielle pour prendre en compte les ajouts ou modifications de documents. Plus besoin d’entraîner à nouveau le modèle ou de l’ajuster. Nous avons conçu Knowledge Buddy pour répondre aux besoins de nos clients et nous fournissons tous les workflows nécessaires, prêts à l’emploi, pour ajouter de nouveaux contenus, gérer la base de données vectorielle, définir la taille des morceaux de contenu, retracer l’ensemble du processus de traitement, de la question à la réponse.

Ainsi, avec Knowledge Buddy, vous disposez d'une approche prête à l'emploi pour transformer vos masses de contenus internes en réponses immédiatement utiles pour vos employés et vos clients. Si vous cherchez un moyen d’exploiter l’IA générative pour offrir une expérience plus efficace et plus pertinente, de manière sûre et responsable, aussi bien à vos clients qu’à vos collaborateurs, alors Knowledge Buddy, avec son architecture RAG sous-jacente, est la solution qu’il vous faut.