A fast heuristic to optimize time-space tradeoff for large models

コメント

選択しているユーザー

• 高橋 直大

  AtCoder株式会社 代表取締役社長

  ・2023年11月24日

  多分ニッチ過ぎてニュースにならんので論文のページそのまま引用ですｗ
  
  PFNによる、深層学習モデルの学習時の省メモリ化に関する論文。機械学習が注目されているのだけれども、この論文では「セグメント木」「焼きなまし法」などの、古典的アルゴリズムやヒューリスティックアルゴリズムが使用されてる。こういう企業はやっぱり「機械学習の使い方が分かる人」ではなく「機械学習の仕組み自体を作っていく人」が必要で、そういうところに活かされるのは結局古典的なアルゴリズムだよね、というのをとても感じる。