判断の出発点
信頼性は、利用してよい資料と答えを控える質問から始まります。文章が見つかっても、最新で、その状況に当てはまり、十分な根拠があるとは限りません。資料ごとに責任者と更新手順を決めます。
具体例で考える
架空の返品案内で、品物は破損し購入日は不明だとします。適用する規定を示し、日付を確認し、解決しない例外は担当者へ渡します。会話を終わらせるために期限を作ってはいけません。
選択肢とその負担
正確な文書を探すなら検索で足りることもあります。質問表現と資料を結び付けるなら検索を伴う対話が役立ち、正式な注文状態なら構造化された照会が適します。併用時は回答の出所を明確にします。
見落としやすい点
通常の質問、古い資料、矛盾、根拠不足、権限外の要求を評価例に入れます。情報の検索と回答文を別々に評価してください。引用が付いていても内容を裏付けているとは限りません。
規程変更を運用手順にする
返品規程が変わったとき、責任者は承認済み文書、適用開始日、対象者、置き換える版を提供します。取込みでは変わらない文書参照と版番号を残し、抽出後の見出し、例外、表が理解できるか確認します。旧文章が検索に残ればファイル更新だけでは不十分です。旧版を現行インデックスから除き、保存された回答も無効化する方法を決めます。
架空の仕入先アシスタントでは、公開条件と社内の例外対応指針を分離します。権限は文章を回答の文脈へ渡す前に確認します。既に渡した秘密をモデルに口外しないよう頼む方法では不十分です。役割変更時もアプリの権限規則でアクセスを取り消します。文書、検索設定、人への引継ぎの責任者は分けて定めます。
回答できない場合の動作も受け入れ条件にする
規程の担当者と、通常の返品、要承認の例外、不明な購入日、旧規程、別顧客の情報要求を含む質問集を作ります。指示を調整する前に、許される根拠と動作を定義します。日付がないため担当者へ回すのは正解になり得ます。期限を自信ありげに作ることは、軽微な誤差ではありません。
選ばれた文章と回答を一緒に点検します。間違った規程に基づくもっともらしい回答は不合格です。新インデックスで既知の例が悪化した場合、検証済み設定へ戻すか一時的に文書検索を提供できるようにします。苦情調査に必要な版情報を、アクセス制限と保存期間を定めて残します。評価の都合だけで全会話を無制限の分析基盤へ複製しないでください。
依頼前に確認すること
規定変更を誰が反映するか。根拠がないとき何と言うか。未解決を誰が引き取るか。成功したデモだけで判断せず、AI連携の設計でこの運用を決めます。