1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も

コメント

選択しているユーザー

• 大場 紀章

  エネルギーアナリスト/ポスト石油戦略研究所代表

  ・2024年03月05日

  今最もホットな話題の1ビットLLM（正確には1, 0, -1の3つの値のみを使うのでlog[2](3)=1.58 bit）生成系のAIでは学習コストよりも推論コストの方がビジネス上重要なので、メモリや消費電力の節約が重要になる。
  
  LLMの推論計算の大半を占めていた16ビット浮動小数点の行列演算（無数の加算と乗算）を、整数の加算のみに変換することで、モデルサイズが大きくなると（30億以上）メモリ使用量を減らして高速化できるなどメリットが出てくる。
  
  エネルギー消費量はモデルサイズがある程度小さくてもメリットがでるようで、7nm チップ上の演算エネルギー従来モデル（LLaMA LLM）と比べ71.4分の1。End-to-Endでも、モデルサイズ1.3Bで18.6倍効率的、70Bで41.2倍効率的という結果。

注目のコメント

• 松宮 健太

  shi3zさんも興奮してなと思ったらshi3zさんの記事か。さっきのピック合わせて0が意識でありダークマターなのかどうか。加算だけで良くなるならタイトル通りGPUの存在感が下がるのかな。
  
  https://twitter.com/shi3z/status/1762901813047779477
  
  追記
  GPUがあった方が速いのかも。
  https://twitter.com/hokazuya/status/1762822666069905551
• 仲田 将之

  チームラボ Digitalart R&D

  ・2024年02月29日

  「1bit」 LLM が完成したらNVIDIA急落は不可避だ。GPUは元々浮動小数点演算の高速化に特化していて、整数演算は不得意。MSが開発中のAIプロセッサも1bitかもしれない。