経産省が支援 プリファードが「生成AI」新会社
コメント
注目のコメント
日本独自のLLM開発に何の意味があるのか?勝てるのか?という意見が散見されます。大きな理由は2つあります(他にもありますが)。
一つ目は日英の差が埋まらないこと。LLMの英語での性能と、日本語での性能では、大きな差があります。事前学習のデータ量が桁違いが最大の理由です。加えて、人手がかかる対話やアラインメント等の追加学習で日本語が少ないのだろうと見ています。米国大手ITがいずれ日本語にもしっかり対応すると期待しても良いのですが、しばらくは差が縮まらないだろうと思います。まずは英語性能を上げることが第一でしょうから。だから、早期に実用レベルのLLMを得ようとするなら、日本語で独自に学習するしかありません。
もう一つの理由は、軽量化技術です。LLMの大規模化で性能向上するのは確かです。一方でパラメータ数を1桁落としても同等性能が得られる学習技術が開発されつつあります。これは膨大な資金力が無くとも実用的なLLMが開発できることを意味します。正直、昨年までは多くのAI開発者が諦めかけていたでしょう。しかし、日本語に限れば追いつける可能性が出てきました。だから、各社がこぞって独自LLM開発に乗り出したとみています。
もっとも、GPT-4は別格です。このサイズはまだ手が出ません。日本語性能もかなりのものです。しかしそれでも、実業務での活用のために、社内DBと連携して、ほぼ間違いが無い答えや文書を生成するには、かなりのチューニングが不可欠です。GPT-4ではそれが難しい。だから、業務用途ではチューニング自由な独自日本語LLMに一定の需要はあるでしょう(というより切に欲しいです)。
もちろんGPT-4やPaLM 2が日本語に力を入れて、日本市場を席捲するリスクはありますが。今週、Amazonが新興生成AI企業に40億ドル、約6000億円程度の出資することが記事になっていました。生成AIをリードしているオープンAIは時価総額が13兆円程度で累積出資額は1兆円を超えてきています。
日本国内でも挑戦をしているプレイヤーがいることは重要だとは思いつつ、投資額の規模は相当見劣りしてくるため、特徴のある取り組みを行わないと国産クラウドのように結局ほとんど使われていないといった状態になってしまうことを危惧しています。Preferred Networksが独自の大規模言語モデルを開発・提供するため、新会社を設立するようです。ちょうど今日、日英2言語対応の大規模言語モデルを発表しており、11/1にPreferred Elementsを設立すると発表していました。
https://www.preferred.jp/ja/news/pr20230928/
Preferred Elements単体で資金調達していくというのも選択肢にありますが、そのあたりはどうしていくのか、興味深いです。