カラクリ、700億パラメーターの国産LLMモデルが最高性能を獲得

コメント

選択しているユーザー

• 中山 智文

  カラクリ株式会社 CTO

  ・2024年01月25日

  中間報告ですが国内最高精度になった件、リリースしました！
  モデルはオープンにする予定です。
  また今回の技術的な工夫についてもブログ等である程度説明予定です。
  
  
  今回1番大きかった成果は「意外とやればできる」という実感でした。もちろん、ほぼ世の中に知見がない70BパラメータモデルのAWS Trainiumでの学習とかで大変なことはありましたが、計算リソースさえあれば日々の試行錯誤で世界トップのモデルたちにも食い込んでいけそうという感覚にはなりました。
  
  さらなる性能向上もやっていけそうなので、引き続きご期待いただければと思います。