NTT版LLM「tsuzumi」サービス開始 軽量でも日本語処理はGPT-3.5超え
コメント
選択しているユーザー
日々使っている感想だと、性能的には、GPT3.5<GPT4<Claude3という図式だと感じているので、GPT3.5よりも日本語だと高性能というのはあまりアピールポイントにならないと思います。
最近ではClaude3の性能がかなり良いので、GPT4ですら、少し見劣りがしてきています。
日本語でも海外製のLLMで十分すぎる性能が出るので、国産LLMや日本語に特化したLLMではなく、海外のLLMを使ったビジネスへの展開にリソースを割くべきだと思います。
注目のコメント
リサーチブログを見ると評価が甘そうです
・1つのベンチマーク結果だけ (Rakuda)
・GPT-4との比較がない
・GTP-3.5の細かなバージョンが不明
他のLLMのリサーチブログと比べると、とても営業的な資料であり、技術的な真摯さに欠ける。NTTの技術力は高いですが、社内政治で情報公開が統制され、結果的に信頼を損ねていそう。詳細の公開を期待。
リサーチブログ
https://www.rd.ntt/research/LLM_tsuzumi.html日本語の軽量特化型LLMは直近のニーズには広く応えるものです。記事にある通り、まずはコールセンターの業務効率化と、業務マニュアル等の社内ナレッジの活用が大きいでしょう。
しかし、RAGにせよファインチューニングにせよ、軽量LLMで実装するのは案外大変です。GPT-4等の汎用対話型を使う方が確実だし楽です。だからセキュリティ要件が厳しい大企業からとなります。日本でのこういった取り組みも大変意義があることだと思っています◎
とはいえ、既存の軽量版(7B)の水準は基本的にGPT-3.5に満たないので、”日本語処理はGPT-3.5超え” というのは少し盛りすぎかなと感じました。