ディープラーニング 
(4層以上である)多層構造のニューラルネットワーク（ディープニューラルネットワーク）を用いた機械学習
parameters
- ノード数(入力データサイズによって決める)
- バイアス
- 重み行列
out
処理
- Forward propagation
- Back propagation(誤差逆伝播法)
- Parameter update
技術
- Autoencoder：必要のない次元を減らす、つまり特徴を抽出する機能を持つもの。
代表例：主成分分析(PCA)
- Dropout：過学習を防ぐ、活性化函数の勾配消失をノイズによって抑制し伝播を容易にする Gradient Acceleration in Activation Functions
推定時、学習したパラメータを1/2にして全ノードを使って推定。
※Dropout以外の方法としてDropConnectがある。DropConnectはDropoutの一般化である。
※枝刈りをする際はDropoutよりはTargeted Dropoutを使用した方がよい結果となる
- Weight Standardization
- バッチ正規化 (Batch Normalization)
- バッチ再正規化(Batch Renormalization)
- Group Normalization バッチサイズを小さくしても学習結果に影響が少ない
- Layer Normalization GNのグループサイズが1と同等
- Global Average Pooling（GAP）
- 活性化関数
- FReLU
- EvoNorm
- Gaussian Error Linear Units (GELUs)
- Flatten-T Swish
- Swish
- E-swish Swishの一般化
- Mish
- ABU
- Maxout 活性化関数自体を学習する手法
- ランプ関数(Rectified linear unit, ReLU): max(0, x) ※maxは全順序集合を始域とし、その集合の最大元への写像である
- Visualising Activation Functions in Neural Networks
- 目的関数:
- 誤差関数（損失関数）:
ハイパーパラメータの決め方
文献
- スタンフォード大学 機械学習
- ニューラルネットワークと深層学習
- Deep Learning技術の今
- Deep Learning〜使いこなすために知っておきたいこと〜
- deeplearning.net
- Deep Learning Methods for Vision
- ニューラルネットの逆襲
- 情報意味論(第15回)Deep Learning
- IPAM Summer School 2012 Tutorial on:Deep Learning
- Deep Learning for NLP
- Deep learning Libs @twm
- Deep learning 用語集
- TensorFlow を使った 機械学習ことはじめ (GDG京都 機械学習勉強会)
- Mastering the Game of Go with Deep Neural Networks and Tree Search
- Deep LearningとConvolutional Neural Network
コメントをかく