概要

ニューラルネットワークに関連する用語の意味をまとめる。

勾配降下法

全ての訓練データを使用して重みを更新する。

1つの訓練データを使用して重みを更新する。

複数の訓練データ（ミニバッチ）を使用して重みを更新する。バッチ勾配降下法と確率的勾配降下法のいいとこどり。

f:id:oosakik:20191128145833p:plain

$f(x) = x + b$

$\begin{align} f(x) = \frac{1}{1+e ^ {-x}} \end{align}$

f:id:oosakik:20191128145747p:plain

$\begin{align} f(x) = \frac{e ^ x-e ^ {-x}}{e ^ x + e ^ {x}} \end{align}$

f:id:oosakik:20191128145648p:plain

$f(x) = \rm{max}(0, x)$

f:id:oosakik:20191128145902p:plain