東大発AIベンチャー、最大級の日本語LLM公開 metaの「Llama 2」を日本語化
コメント
選択しているユーザー
早速試してみました!
一般的なQ&Aに関しては、GPT3.5よりは少し落ちるかなという感じですが、十分実用的な範囲です。でもまだ、英語で応答した方が精度はいい感じです。数学系の問題は日本語でやると少し問題がありそうです。英語だとまあまあOK。70億のモデルとしてはとても優秀です。
これで3桁億のモデルを出してくれたらめちゃくちゃ期待できます!
注目のコメント
オープンな日本語LLMでトップレベルなのに加え、少量パラメータでGPT-3.5に匹敵しており、ほぼ実用レベルと言えそうです。
> Llama 2の中では最も小さい70億パラメータのモデルを使用したが、性能評価では1750億パラメータを持つ「GPT-3.5 (text-davinci-003)」に匹敵するスコア試用した感じでは、Llama 7Bは10B以下では日本語で国内トップクラスだが、やはり英語と比べると日本語は今ひとつ、と最近聞きました。
ELYZAのファインチューニング能力は素晴らしいので、どこまで良くなったか試したいです。
7Bで性能を示して、13Bと70Bでビジネスするのは良い戦略と思います。