OpenAIのCEOが「巨大な言語モデルを用いる時代は終りつつある」と発言したことの意味
コメント
選択しているユーザー
注目のコメント
ChatGPTで使われているAI(大規模言語モデル:LLM)は、モデルのパラメータ数が大きければ大きいほど性能が上がる(スケール則:scaling law)といわれていますが、この法則に限界が見えてきたということでしょうか。
仮に事実だとした場合、以下2点が気になります。
・ここ数年の急激なLLMの性能向上が踊り場を迎えるのか?
・パラメータ数勝負(≒学習のための計算リソース勝負)になりつつある状況が変わるのか?
スケール則の説明は以下のサイトの「木をイメージした図」がわかりやすいと感じています。
〇Google Reserch ブログ
https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.htmlアイシンさんの研究が次世代の中心になって欲しいです。
https://www.aisin.com/jp/technology/rd/trc/ai/technology1/発展は、この延長線上にはない、と。
『今後の進歩はモデルをさらに大きくすることでは達成できないと、アルトマンは語る。「こうした巨大なモデルを用いる時代は終わりつつあると思います」』