ホーム
1344フォロー
739フォロワー
【独占取材】AI業界を騒がせる、話題の半導体ベンチャー
高山 温NewsPicks Fellow
Groqのハードウェアについて解説している人が居たので読んでみました。
https://codeconfessions.substack.com/p/groq-lpu-design
肝としては、チップの機能はシンプルにして、チップ間の接続、マシン間の接続、ラック間の接続を前提にした設計にして、何万ものLPUを並列化できるようにしたことのようです。その大量のLPUに行列演算の一部ずつをばらまくために、機械学習モデルの計算を分割するコンパイラーも開発しています。その並列化によってレイテンシー(計算結果を得るまでにかかる時間)を下げるということのようです。
GoogleのTPUもノード間を高速ネットワークで接続していますが、(詳しくないですが)TPUを制御するCPUが隣にあって計算の順番待ちをしたり複雑なことをしてるっぽいので、そこからの教訓で、大規模なクラスターを中央で制御しやすいようなシンプルな設計にしたのではないかと思います。
LLMなどの登場でデータセンターの電力需要が何倍にもなると言われていますが、個人的には懐疑的です。これまでも何十年もハードウェアとソフトウェアの高速化によって、料金あたりの計算量が飛躍的に伸びてきたため、今後も現実的なコストに落ち着くような技術革新が起きていくと思います。
【治療と仕事】肺がんステージ4でも働き続けた僕が伝えたいこと
高山 温NewsPicks Fellow
もし自分ががんになったら仕事をすっぱり辞めてがん保険で世界一周でもするかと若い頃は思っていましたが、後になって考えを改めました。退職したら会社の健康保険も無くなるし、その後の治療費の目処も付かない中で収入が無くなることは恐怖でしか無いですからね。
「勤務先の福利厚生と、上司や周囲の理解でこのような勤務が可能でしたが、勤務先からすれば使えない社員だったと思います(笑)。」と本インタビューでも語られていますが、もし自分が同じ状況になったとしても同様の選択をすると思います。
もちろん明日も知らぬ創業期のスタートアップや中小企業ではそんなことは言えないのでしょうけど…
NORMAL
投稿したコメント