AIの進歩は頭打ちに？ このままでは「膨大な計算量」が壁になるという研究結果が意味すること
コメント
選択しているユーザー
計算量が増えるのは確か。ただその分予想もできなかった能力をAIモデルが獲得する可能性もある。自然言語処理で話題のGPT3も1700億個以上のパラメーターと常識外れのおばけモデルだが、その能力も人間に近づいているようにも思える。単に精度向上ではなく、インテリジェンスっぽい動きもできる。もし1兆個のモデルができたら、一体何が可能になるのだろうか？
注目のコメント
論文も少し読んでみました。シミュレーションと外挿に基づく考察ですが、前提として近年コンピューターの性能の変化がゆっくりになっていて、非連続的に大きな変化が起こらないことになっています。予期できない未来を前提とすることはできないですが、ディープラーニング特化型チップや量子計算など今後コンピューターの計算能力が劇的に上がる可能性はまだまだあるのでは？
本論文では闇雲に選んできた1000のデータ項目と、正しく選んだ10の項目の場合で学習効率が非常に大きく違うという結果も報告されています。つまり人間がうまく手助けしてあげれば劇的に計算量を減らすことができるという点が興味深いです。
また、この論文は物体検出や翻訳などの特定の研究領域での深層学習利用を対象にしていますが、実際にはその領域に入らず、またそもそもデータ項目数や行数がそこまで多くないデータでのモデリングが行われ、かつしっかりした価値を生み出すケースもよく見られるので、仮に限界があったとしても底に行くまでに創造される価値は非常に大きいと思っています。大型のサーバやクラウドをもつ有名大企業がGPUの数に物を言わせて行う研究を業界用語で「GPUで殴り合う」と言います。まあ、GPUカードは硬いですからねぇ。
もちろん、そのような研究もありますが、もちろん知恵の出しどころで勝負する研究も多く残っています。
ただ、AIブームは収まるところを知らず、学術の分野では投稿数がものすごいことになっています。この調子でいくと数年後には投稿数が億を超える、なんていうジョークが飛び交うくらいです。喜ばしいことと思える側面もあるものの、査読者不足、査読者の質の低下が目に見えて起こっています。自分自身、出している論文の10倍以上他人の論文に点数つけていますね。それが全部ボランティアベースで行われているというのも結構信じられません。とても面白い記事。近年のAI研究の進歩は、ディープラーニングの出現によって実現しているが、このディープラーニングは、「よくわからないものはコンピュータの計算力を使って無理やり学習する」といった手法であり、この方法でAIをさらに進歩させるには計算リソースの拡充が必須。だが、計算能力の進歩もそろそろ止まり始めるだろう、という話。
これはある程度正しく、昨今のディープラーニングブームにより、「なんでもかんでもディープラーニングで解決出来る」の幅が広がることは、今後多くはないと思う。中国・アメリカがAI研究でリードしていたのも、こういった部分で、計算資源の確保にかなり力を注いでいたから。
だが、機械学習アルゴリズムだって常に進化している。
将棋AIがプロに初めて勝ったのは7年前の2013年。この頃の将棋AIは、プロ棋士の棋譜などを使い、物凄い計算時間を使って機械学習を行っていたが、実は今のAIでは、人間の棋譜なしに、家庭用のパソコンで数時間学習するだけでもプロより強いAIが簡単に作れてしまう。これは開発者の努力そのものであり、こうした部分はまだまだ進化し続けると思う。
