なぜ日本はGPUのない「富岳」でLLMを研究するのか 外国に後れを取らないための“現実的な理由”
コメント
注目のコメント
GPUで勝負しようとするとどうしても後追いになって成果を出しにくいので、別のアプローチをとる方針は悪くないのかなと思いました。ただ、他の方も仰っているように、富嶽等にこだわりすぎている印象は否めないし、やり方に他の選択肢があるのではないかな？と正直感じています。なかなか難しいですね、、、。
創発を起こすための条件が揃っているのが「富岳」、このポイントが重要です。
ChatGPTでもこの創発という現象が起きていると言われています。
単なる知識からの回答ではなく、複雑化したモデルの中から突然生まれる新しい発想、人間の閃きのような状態を作り出す研究ができる唯一の環境。となると期待も高まります。現時点の判断はまずまずこれでよろしいのでは。ただし、富岳のみに投資して、その他のものに投資して来なかったことは悔やまれます。
また、風の噂では、富士通にもGPUコンピューティングを研究し推し進めている人がいたが会社をやめてしまったとか。真偽は定かではないですが。
そこら辺の判断は悔やまれますが、政府や富士通がしくじったとしても、民間の金融が発達していれば、政府にボツにされたアイディアやそれを担っていた人材に投資が入れば、日本全体としては、それでよいのです。プリファードネットワークスはAI専用チップを開発していますが、もっと参入するプレーヤーが増えて厚みがあってもよろしいと思います。その際、あれもこれも速いですといったチップを開発するより、特定の用途に絞ったチップ（AIにも細かく複数の種類の計算があります）を開発する企業やプロジェクトが複数あった方がいいでしょう。NVIDIAに複数項目で勝つには、NVIDIAと同じだけの規模の投資が必要でしょう。そういうものは筋が悪いのでやめておいた方がいいです。半導体の微細化プロセスの進展は鈍化しています、というかどんどんコスト高になっていますので専用チップの優位性は現れやすくなっています。次の2nm世代が順調に行くかもわかりませんし、仮にそこが上手くいったとしても、それよりも微細なプロセスの開発が足踏みするということは十分に有り得るシナリオです。
また、専用チップよりも新たな学習アルゴリズムの開発の方が更に効率がよくなります。こういったところにこそ政府の研究資金が投入されることが望まれます。
