AIの挙動をAIで自動分析 OpenAI、モデルの理解や改善に向け一歩前進
コメント
注目のコメント
この論文ですね。
「Language models can explain neurons in language models」
https://openai.com/research/language-models-can-explain-neurons-in-language-models
完全には理解できませんが、以下のような手順みたいです。
Step1:GPT-4を使って説明文を生成
GPT-2のニューロン(の状態)をGPT-4を用いてテキストシーケンス(=文)化
Step2:GTP-4を使ってシミュレート
説明時に”発火"したニューロンの挙動をGPT-4を使ってシミュレート
Step3:比較
実際の説明文生成をどれ位上手くシミュレートできたかをスコア化
これまで研究者が手作業でやっていた分析を自動化できたのが大きな成果とのこと。謎に包まれていた中間段階の挙動が言語化され、見通しが良くなるのは朗報でしょうね。
特に「なぜこんな文章が生成されてしまったのか？」の分析には欠かせないツールになりえそうです。
【追記】こちらの記事に仕組みが正確に説明されていました。
https://newspicks.com/news/8432130GPT自体をGPTで分析する実験的な取り組みですね。
なぜ、古いGPT-2の挙動を、最新のGPT-4で分析したかは、大きく2つの理由がありそうです。
・技術視点：この分析手法は、モデルが大きくなるほど、上手くいかないようです(論文より)。GPT-2は比較的モデルが小さいので、対象になったのでしょう。
・ビジネス視点：GPT-3.5以降は、ビジネス上の都合などでモデルの中身が公開されていません。なので、仮にGPT-4をGPT-4で分析出来たとしても、その結果が公開されることはなさそうです。以前はこんな技術があれば良いなと思っていることが、現実になりつつある感じがします。いずれはより高度なこともAIによりAIの開発が進み、半自動化が進み、これまでの開発スピードの労力、時間が大幅に減りそうな未来もそこまで遠くないのでは。
