NICT、日本語に特化した400億パラメーターの生成AIを開発
INTERNET Watch
118Picks
コメント
注目のコメント
時間とお金をかければ、GPTに追いつけそう
・日本の文化的な要素も学習できそう
・日本語特化で、少ないパラメータ数でも良いかも
・ただ、日本語に特化すると、LLMが得意なプログラミング等の能力が下がりそうで、影響は未知数
・GPTに1年遅れくらいで追随すれば、LLMの精度向上合戦が頭打ちになった時に追いつける
そして、高精度の日本語LLMが完成したとき、どう提供するかが普及のカギ
・APIだと、膨大なサーバー運営費が大変
・ライセンスだと、誰に提供するか問題
・オープンソースだと、海外企業も使えてしまう正直NICTには期待しています。40BはLLM競争に参戦資格は充分です。高品質な日本語テキストで事前学習は魅力的です。問題はファインチューニングと人間フィードバック強化学習です。これらをしっかり手を掛けて使えるLLMに仕上げて欲しいと切に願っています。
総務省系のNICTが生成AI(LLM)を開発。期待します。同様にAI研究を進めている文科省系の理研、経産省系の産総研が連携・協力を進めることも期待します。さらに特殊法人であるNTTとNHKの研究所の力が加わることも期待します。日本には研究開発のリソースがあります。