Knowledge Buddyの仕組み

PegaのCTOであるドン・シャーマンが、ホワイトボードを使って、Knowledge Buddyがどのように検索拡張生成(RAG)を活用して、企業コンテンツをPega GenAIによる信頼性の高い回答に変換するのか、その仕組みについて説明します。RAGを使用すると、ソースコンテンツを根拠とし、誤情報の提供を防ぎ、情報を最新に保つことによりGenAIに関連したリスクを最小化できます。

スクリプト

こんにちは、ドン・シャーマンです。今日はホワイトボードを使って、PegaのKnowledge Buddy製品について少しお話しします。あまりご存知ない方に説明しますと、Knowledge Buddyは、生成AIを活用して、企業独自のナレッジベースから正確な回答を出力します。そこで使用されるのが検索拡張生成、つまりRAGという機能またはパターンです。RAGは、企業レベルでの生成AIの利用に関する3つの課題に対処できる、非常に強力な手法です。

1つ目の課題ですが、企業レベルの回答にはトレーサビリティが必要です。ChatGPTにブリトーのレシピを尋ねると、素晴らしいレシピを返してくれますが、レシピの入手元は教えてくれません。ブリトーの話題ならそれで構いませんが、請求や決済例外処理を扱う方法を確認する場合は問題になります。

2つ目の課題は、企業レベルでは誤情報に対処できないということです。ChatGPTをある程度使用したことのある方ならご存知でしょう。ChatGPTにはわからないはずの質問にも、堂々と間違った情報を回答するケースがあります。これは、企業レベルでは許容できません。

3つ目の課題は、企業レベルでコンテンツを常に最新に保つことです。残念ながら、GPT-3.5は2021年に、GPT-4は2022～2023年に学習が行われました。コンテンツが新しくなるたびに、数百万ドルから数千万ドルを費やしてモデルの再学習や調整を行うのは現実的ではありません。常にタイムリーなコンテンツを保つ方法を確立する必要があります。RAGなら、これらすべてに対処可能です。

仕組みについて説明します。最初に行う必要があるのは、すべての企業コンテンツの収集です。これはドキュメントや手順書などのマニュアル、マーケティングのコンテンツなどです。Pegaでは、はじめにKnowledge Buddyを社内向けに製品ドキュメントに活用して、営業やマーケティングコンテンツにも活用しました。これらすべてのドキュメントからコンテンツの小さなチャンクを取り出す埋め込みと呼ばれるプロセスで、AIを使用します。さらにコンテンツのチャンクを取り出すだけでなく、それらの意味的な関係も理解するのです。「トルティーヤ」と「包む」には直接の意味的関係はありませんが、トルティーヤが食材を包む物として実際には関連していますよね。コンテンツのチャンクを取り出したら、ベクトルデータベースと呼ばれる特種なデータベースに入力します。ベクトルデータベースは、これらの意味的関係の保存と維持に非常に優れています。ここでKnowledge Buddyの出番です。Knowledge Buddyはこの一連のプロセスを自動化します。

Knowledge Buddyに対し、ユーザーや顧客が質問するとしましょう。Knowledge Buddyが最初に行うのは、ベクトルデータベースにアクセスし、質問への回答に関連していると思われるすべてのコンテンツのチャンクを取得することです。ここでGenAIが登場します。しかし、Knowledge BuddyはGenAIを呼び出す前に専用のプロンプトを構築します。これは、GenAIに特化したリクエストです。そのプロンプトでこう伝えます。「知識が豊富なので適切な回答を期待します。質問するので回答してください。また、回答の作成に使用してもらいたいコンテンツはすべて提供します。コンテンツ内を探しても回答が見つからなければ『わからない』と答えてください。 コンテンツを根拠にしても質問の意味が理解できない場合は『わからない』と答えてください」。この指示は非常に重要です。なぜなら、「誤情報は提供しないように」としっかり伝えることになるからです。 プロンプトとコンテンツのチャンクは、取得したらGenAIに送ります。この場合、AzureのOpenAIモデルを使用しています。GenAIの応答を受けたKnowledge Buddyは、その応答を回答の形式にして返します。ちなみに、回答はリポジトリのコンテンツに直接つながっています。

企業レベルの生成AIに関する3つの課題を振り返ってみると、RAGのアプローチでトレーサビリティは確保できるのか疑問が浮かびますが、もちろん確保できます。質問への回答に使われたコンテンツのチャンクやドキュメントは把握していますし、コンテンツリポジトリ内のドキュメントへのURLまで提示できます。誤情報はなくせるのでしょうか。もちろんです。OpenAIに対しては、提供したコンテンツを探しても回答が見つからない場合は「わからない」と答えるよう指示してあります。コンテンツや知識は最新の内容に保てるでしょうか。保てます。コンテンツやドキュメントが新しく追加されたり更新されたりした場合は、ベクトルデータベースを更新すればいいのです。モデルの再学習や調整を行う必要はありません。事実、Knowledge Buddyは企業レベルで運用できるよう構築されていますので、新しいコンテンツの追加やベクトルデータベースの管理、コンテンツチャンクのサイズ設定、発生した処理の追跡、質問と回答内容の監査に関するワークフローはすぐに活用できます。

Knowledge Buddyは企業対応型のアプローチを採用していますので、大量の企業コンテンツであっても、従業員や顧客がすぐに利用できる回答に変換してくれます。安全性と責任を確保しながら、生成AIを活用して従業員や顧客の体験の向上と効率化を実現したいとお考えでしたら、Knowledge Buddyとその基盤となるRAGアーキテクチャについてぜひ詳細をご覧ください。