社会人からはじめる機械学習勉強 Week 12 – Theano tutorial Restricted Boltzmann Machine

2016/3/21～3/27

ディープラーニング実践勉強　Theano

先週から引き続き、ディープラーニングの実践勉強。

• http://deeplearning.net/tutorial/
• ソースコード　github　lisa-lab/DeepLearningTutorials

先週から引き続き教師なし学習編。先週Auto Encoderを一気にマスターしたので、今週はRestricted Boltzmann Machine (RBM)を一気にマスターしていく。

構成

６章でRBMについて学ぶ。この時点では単層の教師なし学習。

７章でRBMを積み重ねてPretrainingを行っていくDeep Belief Networkについて学ぶ。

６章　Restricted Boltzmann Machines

教材

• Restricted Boltzmann Machines (RBM)
• Theano で Deep Learning <6>: 制約付きボルツマンマシン <前編>

細かい説明は上のリンク参照。また、「深層学習」でもRBMに説明されているので、読むとよい。

正直いままで学んできたものとは段違いに理解難易度が上がる。

７章　Deep Belief Networks 

教材

• Deep Belief Networks

同上で詳細は略。Stacked Denoising AutoEncoderでやった時と同様に、1層目から順にPretrainingしていくことで学習の安定化を図り効果を高めるというもの。

設定している目標

2章/週のペースの勢いでやっていって4月末までに全部終わらせたい。

→結果論として次週WK13からは実践編ということで、SRCNNの実装に入ったこともあり勉強に時間とれなくなった。また、残りの章はこれまでの章と比べると説明が断片的で、補足的な感じがあるので、一旦優先度を下げて今回はここでdeeplearning.netの学習終了とする。

残りの部分についてはまた暇な時間ができたとき・使う必要に迫られたときに学習することにしようと思う。