東大松尾研、日英対応の大規模言語モデル公開 100億パラメータ、精度は「国内オープンソース最高水準」

コメント

注目のコメント

• 比屋根 一雄

  三菱総合研究所 執行役員兼研究理事 生成AIラボセンター長

  ・2023年08月18日

  松尾研の10Bは是非試したいです！対話モデルもありますね。データセットを明記されたこと、ベンチマークを公表したことが素晴らしいです。ただ、非商用なのが残念。
  
  英語データセットも併せて学習すると、精度が向上することは知られていましたが、これほどとは驚きです。
• 佐々木 励

  AI企業 旅する魔法使い

  ・2023年08月18日

  学術界が公開できるのは、商用不可で100億パラメータというのが基準になりますね。
  
  既存の国内オープンソースは、パラメータ数が少ないので、単純比較は難しい。そして、産業界は、自社の競争力を維持しつつ、市場を盛り上げたいので、商用可だけど少ないパラメータ数で公開しがち。
  
  誰がどの精度で商用可／不可で公開するかは、ゲーム理論的な展開になりそうです。
• 大場 紀章

  エネルギーアナリスト/ポスト石油戦略研究所代表

  ・2023年08月18日

  パラメータ数競争
  
  世界
  1兆2000億 GLaM/Google
  1兆850億 PanGu-Σ/Huawai
  5400億 PaLM/Google
  2800億 Gopher/DeepMind
  2600億 Ernie 3.0 Titan/Baidu
  1750億 ChatGPT 3/OpenAI
  650億 LLaMA/Meta
  
  日本語系
  400億 NICT（国立研究開発法人情報通信研究機構）
  130億 NEC LLM/NEC
  100億 Weblab-10B/松尾研
  68億 OpenCALM/サイバーエージェント
  36億 Rinna-3.6B/Rinna
  36億 japanese-large-lm/LINE
  
  パラメータ数だけで評価はできないですね。アーキテクチャわコーパス数も大事。