オルツ、新たな大規模言語モデル「LHTM-OPT」を開発
Digital Shift Times(デジタル シフト タイムズ) その変革に勇気と希望を
48Picks
コメント
注目のコメント
プレス文によると、パラメータ数10B未満で、2つのベンチマークで国内最高スコアとのこと。
・Rakudaベンチマーク
・日本語言語理解ベンチマークJGLUE
ただ、他のLLMの発表よりも情報が少ないので、良し悪しを判断しづらいです。
オルツ、軽量かつ高精度を実現した軽量型大規模言語モデル「LHTM-OPT」を発表
https://alt.ai/news/news-2300/やはり最初から小さいモデルで学習するよりも、大規模モデルを「知識蒸留」して小型化する方が優秀なのでしょうね。おそらくハルシネーションも減るのではないかと期待しています。
オルツが日本語特化の商用LLMとして、最高性能のモデルを開発したそうです。
プレスリリース:https://prtimes.jp/main/html/rd/p/000000053.000111359.html