Cómo funciona Knowledge Buddy

Don Schuerman, director de tecnología de Pega, explica cómo Knowledge Buddy utiliza la generación aumentada de recuperación, o RAG, para convertir el contenido de su empresa en respuestas fiables impulsadas por Pega GenAI. La tecnología RAG minimiza los riesgos asociados a GenAI garantizando que las respuestas puedan rastrearse hasta el contenido de origen, evita la alucinación y mantiene la información actualizada.

Transcripción:

Hola, soy Don Schuerman. Hoy estoy aquí, en la pizarra, para hablarles un poco sobre el producto Knowledge Buddy de Pega. Pues bien, Knowledge Buddy utiliza IA generativa para sintetizar las respuestas correctas a partir de su propia base de conocimientos empresariales. Y lo hace mediante una capacidad o un patrón llamado generación aumentada de recuperación o RAG. Se trata de una técnica realmente eficaz porque resuelve tres retos que surgen cuando se utiliza IA generativa en el nivel empresarial.

El primer reto para responder preguntas en el nivel empresarial es la necesidad de trazabilidad. Si le piden a ChatGPT una receta de burritos, les dará una receta de burritos realmente buena. No puede decirles dónde la encontró. Esto no es problema cuando se trata de burritos, pero tal vez lo sea si se quiere saber cómo procesar un reclamo o gestionar una excepción de pago.

El segundo reto es que las alucinaciones no se pueden manejar. Si usan ChatGPT el tiempo suficiente, sabrán que, de vez en cuando, si se le pregunta algo que no sabe, se inventa una respuesta y la comunica con total confianza. Y eso es algo que no queremos que pase cuando operamos en el nivel empresarial.

En tercer lugar, debemos garantizar que nuestro contenido esté siempre actualizado. Lamentablemente, GPT-3.5 se entrenó en 2021, y GPT-4, en 2022/2023. Volver a entrenar o perfeccionar un modelo cada vez que haya nuevo contenido no es una opción. Hacerlo puede costar millones de dólares, o quizá decenas de millones. Por lo tanto, hay que asegurarse de que el contenido esté actualizado. El GAR gestiona todo esto.

¿Cómo funciona? Bueno, lo primero es recopilar todo el contenido de la empresa, que puede ser documentación, manuales de instrucciones o contenido de marketing. En Pega, utilizamos Knowledge Buddy con nuestra documentación de la empresa; lo utilizamos internamente para contenido de ventas y marketing. c Pero no solo se extraen los fragmentos de contenido, sino que se analizan las relaciones semánticas entre ellos. Entonces, se comprende que "tortilla" se relaciona con "envolver un burrito", aunque las palabras "tortilla" y "envolver" no tengan ningún tipo de relación semántica directa. Se toman los fragmentos de contenido y se los coloca en un tipo especial de base de datos llamada "base de datos vectorial". Una base de datos vectorial es realmente eficaz para almacenar y mantener esas relaciones semánticas. Con Knowledge Buddy, nosotros lo hacemos por usted. Knowledge Buddy hace todo este trabajo automáticamente.

Cuando sus usuarios o clientes consultan algo en Knowledge Buddy, lo primero que este hace es ir a esa base de datos vectorial y extraer todos los fragmentos de contenido que podrían relacionarse con la respuesta a esa pregunta. Aquí es cuando la IA generativa se involucra, pero antes de que Knowledge Buddy vaya y llame a la IA generativa, le hace una petición muy específica a la propia IA generativa. En esa petición, le dice: "Eres un compañero de conocimientos, cuento contigo para responder preguntas. Te voy a hacer la pregunta que quiero que respondas. También voy a darte todo el contenido que quiero que utilices para responder a esa pregunta. Y si no puedes encontrar la respuesta en ese contenido, quiero que digas 'No lo sé'. Si no puedes averiguar a qué se refiere la pregunta a partir del contenido que te proporcioné, quiero que digas 'No lo sé'". Y ese "no lo sé" cobra importancia de verdad porque, en definitiva, le estoy diciendo al modelo: "No alucines". Así que tomamos ese mensaje y los fragmentos de contenido y los enviamos a la IA generativa. En este caso, utilizamos modelos OpenAI de Azure. Se obtiene la respuesta, y Knowledge Buddy la devuelve en forma de respuesta. Una respuesta, por cierto, que está directamente vinculada al contenido de sus repositorios.

Entonces, cuando volvemos a examinar los tres retos o necesidades a la hora de utilizar la IA generativa en el empresa, con este enfoque de RAG, ¿Knowledge Buddy proporciona trazabilidad? Absolutamente. Sabemos qué fragmentos de contenido se utilizaron para responder la pregunta, y conocemos los documentos obtenidos; incluso podemos proporcionar las URL de los documentos del repositorio de contenidos que utilizamos para responder esa pregunta. ¿Eliminamos la alucinación? Por supuesto; le decimos a OpenAI que diga "no lo sé" si no encuentra la respuesta en el contenido que les damos. ¿Y su contenido y sus conocimientos están actualizados? Sí, porque si tienen contenido nuevo o actualizan un documento, lo único que deben hacer es actualizar la base de datos vectorial. No hace falta volver a entrenar un modelo ni hace falta perfeccionarlo. De hecho, como creamos Knowledge Buddy para que funcione en el ámbito empresarial de nuestros clientes, les proporcionamos todos los flujos de trabajo listos para agregar contenido nuevo, gestionar esta base de datos vectorial, establecer el tamaño de los fragmentos, rastrear todo el trabajo que se realiza, auditar todas las preguntas que se formulan y las respuestas que se obtienen.

Así, con Knowledge Buddy, dispondrán de un enfoque preparado para convertir todos sus montones de contenido empresarial en respuestas inmediatamente útiles para sus empleados y clientes. Si está buscando cómo aplicar la IA generativa para ofrecer una mejor experiencia del cliente y de los empleados y obtener más eficiencia ya, y quiere hacerlo de forma segura y responsable, no se pierda Knowledge Buddy y a la arquitectura RAG subyacente que utiliza.