「ニューラルネットワークがもつ「知識」とは？」AIクイズ100【第52問】

コメント

注目のコメント

• 山崎 俊彦

  東京大学 大学院情報理工学系研究科電子情報学専攻　教授

  ・2020年06月08日

  もうすこし高校レベルの数学まで使って考えてみると、
  out = Σ w_i * x_i + b
  となります。
  
  この式、どこかで見たことありますよね？ありませんか？
  それでは、3次元で考えてみましょう。b→dに変換し、(x_1, x_2, x_3) = (x, y, z), (w_1, w_2, w_3) = (a, b, c)とします。すると
  out = ax + by + cz+ d
  これは
  ax + by + cz+ d = 0
  のという3次元の平面のどちら側にあるか（プラス側か、マイナス側か）という式ですよね。(a, b, c)は法線ベクトルと呼ばれます。
  
  すなわち、wの次元が大きくなったとしてもその次元で作ることのできる超平面で空間を区切り、入力された点は区切られた超平面のどちらに属するかを考えているだけです。
  
  ちなみに、この問題を解くときの最適解はSVMにより得られることが数学的に証明されています。DNN以前によく使われていたものです。
  
  では、DNNは？
• 水谷 健

  Parks, Inc. CEO

  ・2020年06月08日

  “NNの基本は簡単です。あるニューロンに入った値は、そのニューロン固有の変換を受けて出力されます。固有の変換とは、y = ax + b です（xが入力、yが出力）。グラフの傾きを示すaが重みで、切片のbがバイアスです。出力yは、活性化関数の入力となるためニューロンの出力ではありません（活性化関数の出力がニューロンの出力です）。”