Como funciona o Knowledge Buddy

Don Schuerman, CTO da Pega, vai ao quadro para explicar como o Knowledge Buddy emprega a Geração Aumentada de Recuperação, ou RAG, para transformar o conteúdo corporativo em respostas confiáveis com o Pega GenAI. A RAG minimiza os riscos associados à GenAI, garantindo que as respostas possam ser rastreadas até o conteúdo de origem, prevenindo alucinações e mantendo as informações atualizadas.

Transcrição:

Olá, sou Don Schuerman. Estou aqui no quadro hoje para falar um pouco sobre o produto Knowledge Buddy da Pega. Caso ainda não conheça o Knowledge Buddy, ele usa IA criativa para sintetizar as respostas certas a partir de sua base de conhecimento empresarial. Ele usa um recurso, ou padrão, chamado geração aumentada de recuperação, ou RAG. A RAG é uma técnica realmente avançada, porque aborda os três desafios de usar a IA criativa em nível empresarial.

O primeiro desafio: você precisa de rastreabilidade se quiser responder a perguntas no nível empresarial. Se você pedir ao ChatGPT uma receita de burrito, ele fornecerá uma receita de burrito muito boa. Ele simplesmente não consegue dizer onde encontrou aquela receita de burrito, o que é ok para burritos, mas provavelmente não será ok se você estiver tentando descobrir como processar uma reclamação ou lidar com uma exceção de pagamento.

O segundo desafio na empresa é: não é possível lidar com alucinações. E se você usa o ChatGPT por um tempo, sabe que, às vezes, se você perguntar algo que ele não saiba, ele inventa uma resposta com muita confiança. E não queremos isso ao operar no nível empresarial.

Em terceiro lugar, precisamos garantir, no nível empresarial, que nosso conteúdo esteja sempre atualizado. Infelizmente, o GPT-3.5 foi treinado em 2021, o GPT-4 foi treinado em 2022/2023. E você não quer ter que retreinar ou ajustar um modelo, que pode custar milhões de dólares, toda vez que tiver um novo conteúdo. Então, você precisa garantir que o conteúdo permaneça atual. A RAG cuida de tudo isso.

Então, como funciona? Bem, o primeiro passo é pegar todo o conteúdo da sua empresa, como documentação, manuais de instrução ou conteúdo de marketing. Na Pega, usamos o Knowledge Buddy em nossa documentação e, internamente, para conteúdo de vendas e marketing. E então você usa a IA para criar processos chamados de incorporações, nos quais basicamente retira os pequenos pedaços de conteúdo de todos esses documentos. Mas além de retirar pedaços do conteúdo, você entende as relações semânticas entre eles. Então, você entende que tortilha está relacionada a wraps e a enrolar um burrito, mesmo que a palavra tortilha e wrap não tenham nenhum tipo direto de relação semântica. Depois você pega esses pedaços de conteúdo e os coloca em um tipo especial de banco de dados chamado banco de dados vetorial. O banco de dados vetorial é muito bom para armazenar e manter essas relações semânticas. Fazemos isso para você com o Knowledge Buddy. O Knowledge Buddy faz todo esse trabalho para você automaticamente.

Então, quando você tem o Knowledge Buddy e seus usuários ou seus clientes fazem uma pergunta, o primeiro passo do Knowledge Buddy é consultar esse banco de dados vetorial e puxar todos os pedaços de conteúdo que podem estar relacionados à resposta. É nesse momento que a IA criativa aparece. Mas antes que o Knowledge Buddy realmente a utilize, ele constrói uma instrução ou solicitação muito especializada para a IA criativa. E, nessa instrução, ele diz: "Você é um amigo do conhecimento, conto com você para responder às perguntas. Vou dizer a pergunta que eu quero que você responda. Também vou fornecer todo o conteúdo que eu quero que você use ao responder a essa pergunta. E, se você não encontrar a resposta nesse conteúdo, quero que você diga: 'Não sei'. Se não descobrir o que a pergunta significa com base no conteúdo fornecido, quero que diga: 'Não sei'". E esse “eu não sei” se torna realmente importante porque estou efetivamente dizendo ao modelo: "Não alucine". Então, enviamos essa instrução e os pedaços de conteúdo para a IA criativa. Neste caso, estamos usando modelos OpenAI do Azure. Então, a informação chega, e o Knowledge Buddy retorna essa informação na forma de uma resposta. Uma resposta, aliás, que está diretamente ligada ao conteúdo do seu repositório.

Então, quando voltamos e olhamos para os três desafios ou três necessidades de usar a IA criativa no nível empresarial, será que o Knowledge Buddy, com essa abordagem de RAG, oferece rastreabilidade? Com certeza. Sabemos os pedaços de conteúdo que foram usados para responder à pergunta e sabemos os documentos obtidos. Podemos até fornecer os URLs dos documentos em seu repositório de conteúdo usados para responder a essa pergunta. Eliminamos a alucinação? Com certeza. Pedimos para a OpenAI dizer: "Não sei" se não for possível encontrar a resposta no conteúdo disponível. E seu conteúdo e conhecimento estão atualizados? Sim, porque caso você tenha um novo conteúdo ou atualize um documento, tudo o que precisa fazer é atualizar o banco de dados vetorial. Não é preciso retreinar e nem ajustar um modelo. Na verdade, como construímos o Knowledge Buddy para operar no tipo de nível empresarial em que nossos clientes estão, damos a você todos os fluxos de trabalho para adicionar novo conteúdo, gerenciar esse banco de dados vetorial, definir o tamanho de seus pedaços, rastrear todo o trabalho que acontece e auditar cada pergunta feita e as respostas que retornam.

Assim, com o Knowledge Buddy, você tem uma abordagem pronta para uso na empresa que pode transformar suas montanhas de conteúdo corporativo em respostas imediatamente úteis para seus funcionários e clientes. Se você está procurando uma maneira de começar a aplicar IA criativa e oferecer melhores experiências a funcionários e cliente, além de aumentar a eficiência, tudo de forma segura e responsável, confira o Knowledge Buddy e a arquitetura RAG associada que ele usa.