【独占取材】AI業界を騒がせる、話題の半導体ベンチャー
コメント
選択しているユーザー
Groq、気になるし驚き。そして他社も続くと思っている。
気になる点は、LPUの仕組み。
記事にあるように、メモリ周りがLLMでは大事。だからHBMという早いメモリ（High Bandwidth Memory）が使われ、ここで先行したSKがSamsungよりもLLMの成長を享受している。それでもこのレイテンシ（遅延）が発生している。
GroqのLPUについて、キャッシュみたいな感じでGPUに直結すれば搭載量に限度が出てくるし、外部にすればレイテンシが発生する。どうやって量とスピードを両立しているのだろう？
驚きは、14nmでの製造という点。最先端ではなく、逆に最先端でやれば各種性能がもっと上がる可能性もあるように思う。
なお、メモリについてはLLM周りで最近Googleの研究者が出した下記の研究も気になっている。上記のようにメモリ需要につながっている、つまりLLMのボトルネックになっている一要因。下記はメモリの使用量を減らしても適切な回答ができるようにするためのアルゴリズムの提案。
Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention
https://newspicks.com/news/9846040
そして、Amazonは推論専用のInferentia（と学習専用のTrainium）というチップと、それを用いたインスタンスを約1年前に発表している。
こういった形で、GPUよりも高速・高効率なものが出来ていくのだと思う。一方で、技術的な差異・優位性だけがユーザーの選択を決めるものではないので、今は圧倒的な差を築いたOpenAIがこれからどう対応していくか。
Amazon、生成AI参入 自社クラウド経由で提供（2023年4月、日経新聞）
https://newspicks.com/news/8338354
注目のコメント
Groqのジョナサンにインタビューしたの,
NP凄すぎるな..
シリコンバレーはNvidiaとAIのお陰で半導体スタートアップに投資関心が寄せられており、まさにシリコンにVCが戻ってきたというジョークが語られてる。Groqの他にエッジ推論のHailoなども今生成AI界隈で話題のスタートアップ、Groqをご存じですか。AI半導体を手掛ける会社で、最大の特徴はスピード。「Groqを体験すると、ChatGPTが爺ちゃんに思えてくる」と言われるほど、AIのレスのスピードが速くなります。
とはいえ、「性能が良い」というだけで売れるほど甘くはないんじゃないか…AI半導体市場は、エヌビディアがほぼ独占しています。そこにスタートアップが入り込む余地はあるのか。
そんな疑問をぶつけるべく、Groq創業者にインタビューしました。顧客が簡単に試せるようにした売り方の工夫や、エヌビディアが押さえているサプライチェーンと競合しないための作戦、そして世界中にデータセンターを建設するための戦略。ひとつひとつに納得感があり、イメージが変わりました。
しかも、データセンターの候補地として日本を有力視しており、すでにいくつかの企業と話をしているとのこと。
少し長めのインタビューですが、色々なヒントが詰まったインタビューなので、ぜひともお読み頂けたら嬉しいです。AIモデルのカーネルソフトウェアをGroqのGPU(彼らはLPUと呼ぶ)に合わせてコンパイル(最適化)する。この発想が新しいです。
GPT-4の最大の弱点は遅くて高いこと。各社がAIモデルの代替品を求めています。GeminiやClaudeはかなり速く安く魅力的になってきました。
一方、エヌビディア はAIチップは高いけど速いと思われていました。これを高くて遅いと位置付けるようなGroqは破壊的です。
