NTT版LLM「tsuzumi」サービス開始 軽量でも日本語処理はGPT-3.5超え
コメント
注目のコメント
リサーチブログを見ると評価が甘そうです
・1つのベンチマーク結果だけ (Rakuda)
・GPT-4との比較がない
・GTP-3.5の細かなバージョンが不明
他のLLMのリサーチブログと比べると、とても営業的な資料であり、技術的な真摯さに欠ける。NTTの技術力は高いですが、社内政治で情報公開が統制され、結果的に信頼を損ねていそう。詳細の公開を期待。
リサーチブログ
https://www.rd.ntt/research/LLM_tsuzumi.html日本語の軽量特化型LLMは直近のニーズには広く応えるものです。記事にある通り、まずはコールセンターの業務効率化と、業務マニュアル等の社内ナレッジの活用が大きいでしょう。
しかし、RAGにせよファインチューニングにせよ、軽量LLMで実装するのは案外大変です。GPT-4等の汎用対話型を使う方が確実だし楽です。だからセキュリティ要件が厳しい大企業からとなります。日本でのこういった取り組みも大変意義があることだと思っています◎
とはいえ、既存の軽量版(7B)の水準は基本的にGPT-3.5に満たないので、”日本語処理はGPT-3.5超え” というのは少し盛りすぎかなと感じました。