技術の鍵は「トランスフォーマー」と「自己教師あり学習」 松尾豊氏が、第3次AIブームからひもとく“AIの歴史”
コメント
注目のコメント
技術的な点を理解して、応用を議論するというのは本当に大切ですよね。松尾さんは「それってつまりどういう技術なの?何がすごいの?」という質問にすごい分かりやすく答えてくれます。
分かりやすいですね。
そもそもGPTと言う略語が、
Generative Pre-trained Transformer
生成的 事前訓練式 トランスフォーマー
ですからね。
従来のAI開発の常識、
パラメーター数は適切なサイズにしないと性能が下がる
というのを完全に覆し、
パラメーターを増やすほど性能が上がる様に見える、
というのがGPTの凄いところです。
開発者もまさかこんな風になるとは
予想していなかったでしょう。
東工大などがスパコン「富岳」を用いて、
日本語情報を事前学習させたGPTの開発を
進めているとも聞きますので、
日本語学習強化型の国産GPTが、
広く使われ始めるのが楽しみですね。