【独占取材】AI業界を騒がせる、話題の半導体ベンチャー
コメント
選択しているユーザー
CPUとメモリ間のデータ転送のレイテンシーの大きさがボトルネックとなっており、その解消を狙う企業、スタートアップは多いです。
groqのLPU(Language Processing Unit)も、そのひとつ。
レイテンシーは「高い」と表現するより「大きい」と表現した方がわかりやすいと思います。
(以下、記事中から引用)
エヌビディアのGPUは、推論におけるレイテンシが高い。
GPUは構造上、ひとつの処理をするたびに、プロセッサとHBMと呼ばれるメモリの間で何度も情報を行き来させないといけないので、そこにロスが生じるのです。
Groqは、GPUとは全く異なるアーキテクチャを採用し、推論のスピードを高めることに特化しています。私たちはこれをLPU(Language Processing Unit)と名付けました。
GPUのボトルネックとなっていたプロセッサとメモリ間の情報のやりとりを最小限に抑え、大規模言語モデルなどのAI推論の処理を最速で行える設計にしています。
※個人的な見解であり、所属する会社、組織とは全く関係ありません
注目のコメント
Groqのジョナサンにインタビューしたの,
NP凄すぎるな..
シリコンバレーはNvidiaとAIのお陰で半導体スタートアップに投資関心が寄せられており、まさにシリコンにVCが戻ってきたというジョークが語られてる。Groqの他にエッジ推論のHailoなども今生成AI界隈で話題のスタートアップ、Groqをご存じですか。AI半導体を手掛ける会社で、最大の特徴はスピード。「Groqを体験すると、ChatGPTが爺ちゃんに思えてくる」と言われるほど、AIのレスのスピードが速くなります。
とはいえ、「性能が良い」というだけで売れるほど甘くはないんじゃないか…AI半導体市場は、エヌビディアがほぼ独占しています。そこにスタートアップが入り込む余地はあるのか。
そんな疑問をぶつけるべく、Groq創業者にインタビューしました。顧客が簡単に試せるようにした売り方の工夫や、エヌビディアが押さえているサプライチェーンと競合しないための作戦、そして世界中にデータセンターを建設するための戦略。ひとつひとつに納得感があり、イメージが変わりました。
しかも、データセンターの候補地として日本を有力視しており、すでにいくつかの企業と話をしているとのこと。
少し長めのインタビューですが、色々なヒントが詰まったインタビューなので、ぜひともお読み頂けたら嬉しいです。AIモデルのカーネルソフトウェアをGroqのGPU(彼らはLPUと呼ぶ)に合わせてコンパイル(最適化)する。この発想が新しいです。
GPT-4の最大の弱点は遅くて高いこと。各社がAIモデルの代替品を求めています。GeminiやClaudeはかなり速く安く魅力的になってきました。
一方、エヌビディア はAIチップは高いけど速いと思われていました。これを高くて遅いと位置付けるようなGroqは破壊的です。