Stability AI Japan、日本語言語モデル「Japanese StableLM Alpha」公開 他社上回る性能、商用利用も可能
コメント
注目のコメント
まだ触っていないので体感としての性能は分かりませんが、サイバーエージェントやソフトバンク、楽天なども開発を進める(あるいは開発を宣言している)和製LLMと競合することは間違いなく、日本語言語モデルの開発競争がより激しさを増していくことになりそうです。
個人的な肌感ではありますが、現状は、やはりいち早くサービス化を進めたOpenAIのChatGPTとMicrosoft BingなどのGPT4.0、あるいはオープンソース化を行ったMetaのLlamaが先行者利益を享受する形で強さを誇っているように感じられ、国内企業発の日本語モデルが独自性や強みを発揮している様子はあまり窺えません。
「日本製だから」「海外製だから」というものでもないような気はしていますし、特定のドメインに特化して開発することもやり方ではありますが、ChatGPTなどに代わって日本語を知り尽くした企業が開発した汎用的なモデルが登場するのかどうか、引き続き動向から目が離せない状況です。日本語で学習したオープンなLLMが次々と発表されて嬉しい限りです。昨年はGPT一強でもう諦めかけていたこを考えると隔世の感があります。
正直rinnaレベルですと実用はやや厳しいのです。でも工夫すれば、独自データを追加学習させて、特定用途なら十分使えると思います。他社の日本語言語モデルとの違いは、ソースコードも学習している点。
これが、ユーザーの指示を理解できる要因かもしれません。
> 学習データは主に日本語と英語で、それに加えソースコードが約2%含まれています。
> StableLM Base Alpha 7B に関しても、 SFT や RLHF がまだ適用されていない汎用モデルの段階であるにも関わらず、すでにかなり良いスコアを達成していることが分かります。