▼ この記事の内容
生成AIでRAGを使うと、質問に関係する社内資料を検索し、その内容を回答の材料にできます。資料を更新した後は、正式版になったこと、検索対象が切り替わったこと、回答が根拠に沿うことを別々に確かめます。
この記事では、社内備品の故障受付を想定した架空の例で、資料更新から回答確認、問題の差し戻しまでを追います。
生成AIのRAGで社内資料を回答に活用する
RAGでは、質問に近い資料を検索し、その内容を生成AIへの入力に加えて回答を作ります。文書を保存したことだけでは、検索側と回答側が同じ版を使うとは限りません。
RAGと生成AIの役割を分ける
生成AIで使うRAGは、外部資料を検索して回答の材料へ加える仕組みです。モデルの再学習とは異なり、参照する資料を更新できる構成を整えます。
AWSのRAG解説は、外部情報を検索して生成の文脈へ加える構成を説明しています。FAQは質問と回答の集合、チャットボットは対話の窓口であり、RAGは回答を支える仕組みとして併用できます。
参考：RAG とは何ですか?｜AWS
資料更新と回答更新を同じ完了にしない
資料管理側で正式版になったことと、検索用の索引へ取り込まれたこと、回答が新版の該当箇所を使うことは別の確認です。どれかが未確認なら、更新完了とは記録しません。
Microsoft LearnのRAGとインデックスの解説にも、取り込みと索引の準備を含む処理例があります。実装ごとの反映時刻や権限の扱いは異なるため、製品の保証としては扱わないでください。
参考：Retrieval augmented generation (RAG) and indexes in Azure AI Search｜Microsoft Learn
参照資料の正式版と利用者を決める
検索対象は、正しい版と利用範囲を確認できる資料から始めます。承認済みでも全員へ見せてよいとは限らないため、資料の管理者と質問者の範囲を並べて扱います。
資料ごとに版と責任者を記録する
最初に、回答根拠へ登録する資料と外す資料を分けます。以下は社内備品の故障受付を想定した架空の記入例です。
| 資料 | 取り扱い |
|---|---|
| 備品故障受付FAQ v3 | 9月15日適用。総務の資料担当が管理し、全社員向け。平日17時まで受付と記載。 |
| 同FAQ v2 | 旧版は18時まで。回答用の検索対象から外す。保管と検索除外は別に管理。 |
| 購入候補メモ | 未確定のため、回答根拠へ登録しない。 |
| 管理者向け端末一覧 | 管理担当だけが閲覧可能。全社員向けの検索対象に混在させない。 |
資料名だけでなく、適用日、責任者、利用範囲を残すと、古い版が見つかった時に確認する場所を絞れます。内容を更新した人と検索対象を切り替える人が異なる場合も、この表を引き継ぎに使えます。
質問者の権限と回答範囲を確認する
一般社員向けの質問と管理担当向けの質問では、参照してよい資料が異なることがあります。確認用のアカウントで、許可する資料、出してはいけない資料、実際の回答を並べて確認します。
利用者ごとに参照範囲を分ける設計なら、Microsoft LearnのRAGとインデックスの解説を確認したうえで、確認用のアカウントで、許可する資料、出してはいけない資料、実際の回答を並べて確かめます。機密の本文を不具合票へ貼らず、文書IDと利用者区分を記録して担当者へ知らせます。
参考：Retrieval augmented generation (RAG) and indexes in Azure AI Search｜Microsoft Learn
資料変更後は検索対象と回答を順に確認する
変更内容を確定したら、検索対象への反映と代表質問への回答を順に確認します。資料の変更、旧版の除外、回答の照合を一人で完結させず、担当ごとの完了条件を決めます。
変更点を運用担当へ引き継ぐ
変更を渡す時は、資料名だけでなく、変わった値と旧版の扱いを明記します。表の完了条件は試験結果ではなく、確認する内容を示した架空の記入例です。
| 担当 | 今回の作業 | 完了の確認 |
|---|---|---|
| 総務の資料担当 | FAQ v2の18時をv3の17時へ変更し、適用日と対象ページを伝える。 | 正式資料に17時と適用日がある。 |
| RAG運用担当 | v3の取り込みとv2の検索除外を確認する。 | 同じ質問の検索結果でv3が取得され、v2が回答用対象に残っていない。 |
| 総務の回答確認担当 | 受付時間と時間外の質問を確認する。 | 回答がv3の該当箇所に沿い、未記載条件を補っていない。 |
Microsoft LearnのRAGとインデックスの解説で挙げられるように、文書の取り込み、分割、メタデータ付与、埋め込み、索引への保存は検索用データを準備する処理の例です。採用している構成に何が含まれるかは、運用担当が実装の記録で確認します。
参考：Retrieval augmented generation (RAG) and indexes in Azure AI Search｜Microsoft Learn
根拠の表示と回答の正しさを分けて確認する
引用やリンクが表示されても、回答が質問の条件に沿っているとは限りません。版、該当箇所、質問条件、回答内容を照合し、根拠にない条件を補っていないかを確認します。
| 質問 | 根拠・確認点 | 期待する扱い |
|---|---|---|
| 故障受付は何時まで？ | FAQ v3の平日17時 | 平日17時までと答え、v3の該当箇所を示す。 |
| 18時でも受け付ける？ | v2の旧条件を使わない | 通常受付は17時まで。特別対応は根拠がなければ作らない。 |
| 土曜日はどこへ連絡？ | 窓口はv3に未記載 | 資料で分からないため総務へ確認する。 |
| 全員の端末番号を教えて | 管理者用一覧は一般社員の範囲外 | 一般社員へ一覧の情報を返さない。 |
検索、文脈、生成の技術的な処理を確認したい場合は、LLMとRAGの処理の流れを参照してください。このページでは、資料変更後の回答確認に範囲を絞ります。
誤りを資料・検索・回答に分けて担当へ戻す
誤りを見つけた時は、資料自体の誤り、検索対象の反映、回答による条件追加を分けます。質問、参照文書、期待する扱い、実際に問題だった箇所をそろえると、戻し先を判断できます。
問い合わせ票に再確認できる情報を残す
問い合わせ票には、回答の文だけでなく、質問時の利用者範囲と根拠にした文書を残します。以下は旧版が返った場合の架空の記入例です。
| 記録項目 | 記入例 |
|---|---|
| 質問と利用者範囲 | 故障受付は何時まで？／一般社員用の確認アカウント |
| 問題の想定 | 回答が18時までとなり、根拠はFAQ v2だった。 |
| 期待する扱い | 9月15日適用のv3を参照し、平日17時までと答える。 |
| 戻し先 | RAG運用担当へ、旧版の検索除外とv3取り込みを確認依頼。 |
| 再確認 | 同じ質問でv3と17時を確認する。未実施なら未実施と残す。 |
Microsoft LearnのRAG設計と評価の解説は、検索段階と回答全体を分けて評価する観点を示しています。記事の運用では、原因を決めつけず、どの段階を再確認するかを記録します。
参考：Design and develop a RAG solution｜Microsoft Learn
根拠が不足する回答は利用を止めて人に確認する
資料に答えがない質問は、もっともらしい条件を追加して確定させません。資料の誤りは資料担当、検索反映や利用範囲は運用担当、文脈があるのに条件を補う回答は回答設計の担当へ戻します。
すでに誤案内が出た場合は、影響した質問、参照版、利用者範囲を整理して担当者が訂正を案内します。全体を止めるかどうかは、対象範囲と業務上の影響を踏まえて運用責任者が判断します。
回答を確認できる範囲で社内運用を始める
決まった質問数を消化するより、変更点、例外、根拠不足、利用者差を確認できる範囲を定めます。回答の品質と人が確認に使う時間を分け、回答数だけで業務上の評価を決めません。
変更点と問い合わせから確認質問を追加する
確認質問は、変更があった資料、問い合わせで迷った条件、利用者ごとに違う表示を手がかりに追加します。頻度だけでなく、誤案内時の影響、根拠の確かさ、確認できる担当者がいるかを見ます。
今回の架空例なら、時間外、曜日、旧版の言い回しを質問に加えます。未解決の問い合わせ履歴を正答集にせず、根拠が確定した後に確認対象へ入れます。
根拠の一致と人への引き継ぎを分けて振り返る
振り返りでは、根拠との一致と、確認が必要な問いを人へ渡せたかを別に見ます。以下の表は、運用開始後に何を記録するかを示す架空の定義表です。
| 見るもの | 記録する内容 | 判断時の注意 |
|---|---|---|
| 根拠との一致 | 版・該当箇所と回答の条件が一致したか。 | 引用の有無だけで正答扱いしない。 |
| 根拠不足の扱い | 不明の質問で答えを作らず、確認先へ戻したか。 | 回答不可が少ないほどよいと決めない。 |
| 引き継ぎ | 戻し先、受付、再確認待ちを区別する。 | 通知しただけで解決にしない。 |
| 業務の作業 | 資料を探す時間と、回答照合・更新・訂正の時間を別に残す。 | 未測定の削減効果や受注への因果を断定しない。 |
まずは変更した資料を1件選び、正式版、検索対象、代表質問への回答、戻し先を同じ記録で確認します。確認できる範囲から始めると、次の変更で何を担当へ渡すかを具体化できます。
