幻覚検出機能
幻覚検出機能を使うと、対話AIが回答した文章中の 「幻覚（データに基づかないもっともらしい誤り）」 を検出できます。
- 幻覚が検出された場合、幻覚の強さや量に基づいて幻覚スコアと呼ばれる指標が算出されます。
- 幻覚スコアが100に近いほど回答には嘘が含まれている可能性が高いため、（幻覚検出機能自体の不備・精度不足もありえますが）信頼できる情報源を用いた事実確認の要否判断にご活用ください。
ご利用方法
1. ダイアログを開く
検出を行いたい回答枠の下部にある盾マークのボタンを押下しますと、幻覚を検出するためのダイアログが開きます。
2. 機能を選ぶ
タブに表示された３種類の幻覚検出機能の中から、ご利用になりたい１つを選択してください（下図の赤枠内）。
- 各幻覚検出機能は、一度に検出を試みる粒度や方式、使い分け場面が各々異なります。
「回答全体を多数決」機能:
- 粒度・方式） 多数決に基づいて回答文章全体から幻覚の検出を試み、幻覚スコアと多数決の結果を表示します。
- 多数派の意見と無関係か矛盾している回答文章ほど、幻覚スコアが高くなります。
- 幻覚が検出された場合、幻覚を除去・緩和した回答文章を表示します。
- 使い分け） 最も速い一方で検出の粒度は粗いため、以下の場面に適しています。
- 「大きな幻覚があるか素早く確認したい」
- 「複数の文にわたる幻覚を見つけたい」
「キーフレーズに注目して多数決」機能:
- 粒度・方式） 多数決に基づいて回答文章の各文中のキーフレーズ（人物名・年代など）から幻覚の検出を試み、文ごとに幻覚スコアと多数決の結果を表示します。
- 多数派の意見と無関係か矛盾している回答文ほど、幻覚スコアが高くなります。
- 幻覚が検出された場合、幻覚を除去・緩和した各文を表示します。
- タブには、各文の幻覚スコアの平均値が表示されます。
- 使い分け） 最も遅い一方で検出の粒度は細かいため、以下の場面に適しています。
- 「細かな幻覚があるか一文一文を確認したい」
- 「人物名・年代などキーフレーズの幻覚を見つけたい」
「回答と参照文書の対応をチェック」機能:
- 本機能は、ドキュメントを参照するチャット内でのみ利用可能です。
- 粒度・方式） 回答文章とドキュメントとの対応関係を文単位で照合し、文ごとに幻覚スコアと対応関係の有無を表示します。
- ドキュメントと無関係か矛盾している回答文ほど、幻覚スコアが高くなります。
- なお、幻覚の除去・緩和は未対応です。
- タブには、各文の幻覚スコアの平均値が表示されます。
- 使い分け） ドキュメントと直接照合するため、以下の場面に適しています。
- 「ドキュメントに言及が無い回答文があるか確認したい」
- 「回答文と対応するドキュメント中の文を見つけたい」
3. オプションを選ぶ
幻覚検出機能のオプションを、ダイアログ下部にあるセレクトボックスから１つ選んでください（下図の赤枠内）。
- このオプションでは、幻覚検出のために回答と比較する 参照（references） の種類を設定します。
「Use regenerated answers as references」オプション:
- 対話AIに再度同じ質問をして得た別の回答文章を、比較する参照とします。
- 「回答全体を多数決」機能を利用する時のみ選択できます。
「Use document chunks as references」オプション:
- 対話AIが回答した際に参照したドキュメントのチャンク（断片）を、比較する参照とします。
- ドキュメントを参照するチャット内で、「キーフレーズに注目して多数決」「回答と参照文書の対応をチェック」機能を利用する時のみ選択できます。
「No references」オプション:
- 参照を用いずに、対話AIが保有する知識だけと比較します。
- 「キーフレーズに注目して多数決」の機能を利用する時のみ選択できます。
4. 幻覚検出を開始する
Checkボタンを押下します（下図の赤枠内）。
選択した幻覚検出機能が実行され、数十秒後に幻覚検出結果が表示されます。
- ただし、具体的な処理時間は、選択した機能や回答の長さによって変わります。
- 以前の幻覚検出結果を上書きする場合は、代わりにRecheckボタンが表示されます。
検出結果の読み方
幻覚スコア
タブや各文頭のチップに表示された数字が、回答文章全体または各文に付けられた幻覚スコアです。
- 0～100の値をとり、100に近いほど含まれている幻覚の強さや量が大きいことを表しています。
- 幻覚スコアに応じてタブやチップの色が変わります。青色は0、灰色は50、赤色は100に対応します。
- ただし、挨拶・謝罪などの幻覚検出できない回答の場合、幻覚スコアは"
--"のままタブやチップを黒色で表示します。
「回答全体を多数決」機能
EXPLANATIONは、幻覚スコアの算出理由です。多数決の結果が表示されます。
MITIGATED ANSWERは、幻覚を除去・緩和した後の回答文章です。
- 基本的に、多数派で合意した意見に修正されます。
- 外部のデータベースやインターネットに問い合わせたものではないため、修正後の回答文章が一般に認められた事実である保証はありません。
CHECKED ANSWERは、幻覚検出対象の回答文章です。チャット画面に表示されていた回答が再掲されます。
- 表示領域が畳まれている場合、末尾の
ボタンを押下してください。
REFERENCE PASSAGESは、多数決する際に参照した別の回答文章です。対話AIに同じ文脈で３回再回答させた結果が表示されます。
- 表示領域が畳まれている場合、末尾のボタンを押下してください。
「キーフレーズに注目して多数決」機能
SCORE AND EXPLANATION FOR EACH CHECKED SENTENCEは、文ごとの幻覚スコアと算出理由です。
- 算出理由として、キーフレーズごとの多数決の結果が表示されます。
- 幻覚が検出された場合、幻覚を除去・緩和した後の文を、「幻覚緩和結果」 にそれぞれ表示します。
- 基本的に、多数派で合意した意見に修正されます。
- 外部のデータベースやインターネットに問い合わせたものではないため、修正後の回答文章が一般に認められた事実である保証はありません。
REFERENCE PASSAGESは、キーフレーズを多数決する際に参照したドキュメントのチャンク（断片）です。
- 「Use document chunks as references」オプションを選択した時のみ表示されます。
- 表示領域が畳まれている場合、末尾のボタンを押下してください。
「回答と参照文書の対応をチェック」機能
SCORE AND EXPLANATION FOR EACH CHECKED SENTENCEは、文ごとの幻覚スコアと算出理由です。
- 算出理由として、対応関係があったドキュメントの文とその関係性が表示されます。
REFERENCE PASSAGESは、対応関係を照合する際に参照したドキュメントのチャンク（断片）です。
- 表示領域が畳まれている場合、末尾のボタンを押下してください。
