OpenAI、AIモデルの「幻覚」を軽減する手法を報告
コメント
注目のコメント
元の記事と論文をざっと読んだ上で、要点は3つ
1. Open AIは、GPT-4の改良を実験している
GPT-5の開発はしてないと言ってたけど、GPT-4の改良はしている模様
2. 段階的な思考に、評価ステップを加えると良い
段階的な思考(CoT)の有効性は知られており、さらに評価ステップを入れると良いのは他の研究でも分かってきており、それに取り組んだ模様
3. GPT-4のモデルの調整が必要なので試せない
Open AIの社外では試せないので、再現できない論文に対する是非は相変わらずありそう
記事 https://openai.com/research/improving-mathematical-reasoning-with-process-supervision
論文 https://arxiv.org/abs/2305.20050ChatGPTが登場した当初からリスクが懸念され、何かと話題になっている「幻覚（ハルシネーション）」を軽減する手法を、OpenAIが発表したとのことです。
ですが、安心安全なAI利活用に向けて重要なステップではありますが、現時点では決して完全なものではなく、他の専門家からは懐疑的な声もすでに上がっているようです。
その理由は、かなり限定的な条件で行われた内容であることが背景にあるのと詳細が明かされていないことが背景にあります。例えば、すでに世界中に利用者がいる現状の利用シーンに当てはめた時にも効果が現れるかは不透明であること、異なるコンテキストにおいては違う結果が現れる可能性があること、「でっち上げ」を防ぐ効果がある点には触れられていないことなどが指摘されています。
また、この研究は現時点では査読（他の専門家による評価）を受けたものではないため、研究成果として認められるのは今後の話になってきます。とりあえずは自主的に「発表」したという段階で、その内容の正確性も含めて、今のタイミングでは慎重に受け止めた方が良さそうです。
・OpenAIによる発表
https://openai.com/research/improving-mathematical-reasoning-with-process-supervision
・他の参考記事
https://www.cnbc.com/2023/05/31/openai-is-pursuing-a-new-way-to-fight-ai-hallucinations.htmlOpenAIが2つのモデルをテストして、一方はハルシネーションを検出することができたようです。
https://openai.com/research/improving-mathematical-reasoning-with-process-supervision
