Sakana AI、世界初の基盤モデル開発自動化 訓練不要で低コスト

コメント

選択しているユーザー

• Sasano Masato

  「人類の知恵が集合知であるのと同じようにAIもまた集団でより高度な知性を発揮する」という元の発表のイントロが格好いい。

注目のコメント

• 比屋根 一雄

  三菱総合研究所 執行役員兼研究理事 生成AIラボセンター長

  ・2024年03月21日

  モデルマージを組み合わせ最適化問題だと考えれば、遺伝的アルゴリズムで進化させるというのは確かにアリかもしれません。
  
  しかし、とんでもない計算量が予想されるます。果たして実現できるのでしょうか？
• Kato Jun

  ユーザベース SPEEDAアナリスト

  ・2024年03月21日

  複数のLLMを融合するモデルマージという手法で、新しいLLM（やVLM：Visual and Language Modelなど）を作る手法。
  注目したいのは、
  ①比較的少ない計算資源で作れる
  ②できたLLMのパラメータ数は小さいのに、性能は高い
  という2点。
  
  融合したという点で、親ではなく「子供・孫」的なLLMで、元のLLMを作るための計算資源が必要。それでも少ない計算資源で、また言語とビジュアルといった形に異なる領域のLMを自動的に融合できるというのは、計算資源的に未来を感じる。
  そして、パラメータと性能が連動しなくなっているのも興味深い。これはテクノロジーの世界でほぼ必ず発生する。デジカメが代表例だが、最初は画素数が増えるほど画質が良くなったが、それによる進化はかなり前に止まった。PCのクロック数とかも同じ。
  とはいえ、そのフェーズに到達し始めているペースが、これまでの様々なテクノロジーに比べて圧倒的に早いという印象。
• Saitou Kazuhiro

  U of Michigan 教授 (機械工学), 副学科長

  ・2024年03月22日

  あらー むかーしALifeで流行ってたやつみたいですねぇ またGAやるかな、ワタシも
  
  あ、ちなみにこういうのがAIによるDEI問題を技術的に解決する一つの方向だと思いますねぇ LLMにも多様性、みたいな