生成AIの幻覚を利用した犯罪をどう防ぐか、早急に必要なハルシネーション研究
コメント
注目のコメント
サイバーセキュリティの最新技術が発表されるRSAというカンファレンスにおいて、今年、画期的な企業としてNo.1を獲ったのが、AIのデータ汚染をAIで防ぐHiddenLayerでした。HiddenLayerは、ChatGPTなどへのデータポイズニングなどを検知するために、データの入力/出力を監視し、AIとML（機械学習）を用いて悪意あるアクティビティを特定します。この領域をMLDR(Machine Learning Detection & Response)と呼びますが、今後はこういったソリューションが多く台頭してくるでしょう。
記事にも詳細に説明があるように、ChatGPTは"答え"を学習しているのではなく"答え方"を学習しているものであるため、それ単体ではハルシネーションは避けられないことです。
ただここで注意したいのは、AIが意図なく誤った出力してしまうハルシネーションと、人間が悪意を持って異なる回答に誘導するディセプション（欺罔行為）とは明らかに異なる点です。
ハルシネーションはGPTの特性からくる制御ができない事象であるのに対して、ディセプションは人がそのための学習を意図的にするものであるもので、いずれもリスクはあるものの、その対策法は大きく異なるはずです。
仮にハルシネーションを抑える機構や仕組みが開発されたとしても（近い将来にできるはず）、人間の行為であるディセプションも同様に防止されるわけではなく、こちらは規制やルール、法的な対策がなければ抑止できるものではありません。
対機械、対人間それぞれでの危機管理・リスク対策が必要であることを感じます。ハルシネーションによる誤情報には注意が必要ですが、あくまで現時点での話でしょう。正確性は急速に改善されるはずです。適切な原典を選び、正しく要約する技術は進んでいます。
問題は偽情報サイトが生成AIを用いて増殖すること。サイト自体の信頼性評価が大事になります。今でもGoogle等はフィッシングサイトを表示しないよう信頼性評価しています。信頼できる学習データセットをどうやって作成するか。技術で解決できることはまだまだ沢山あります。
