2016/5/23～5/29
7月には転職面接を受けると締め切り設定を課した。
この締め切りまでに成果としてChainerでのSRCNN実装を終えたい。
Chainer RBM
RBMの実装試す。やっぱり理解するのに時間がかかる。。。
今週はPersistent CDの実装見直しなどしてた。
SRCNNのパフォーマンスを上げるために、教師なし学習を用いて精度があげられないかと考えた。教師なし学習としてRBM、それをimage processing に応用するためにConvolutional RBMに興味を持った。
論文読む、Convolutional RBM(CRBM)のFormulate & 実装へ。
いろいろと論文を読んだりしてRBMの理解を深めていた。
連続変数のRBM・PCDの実装・reconstruct・Sparsityについて
特に連続変数のRBMはまだ理解できてないし、ここはしっかりと抑える必要がありそう。
参考リンク：Theano 入門
予定通りCRBMのFormulation・実装に入った。
理論は特に問題なさそう、あとは実践でちゃんと動くかどうか。
論文
Continuous RBMの実装として以下の論文読みたい。
- “Greedy Layer-Wise Training of Deep Networks”
- “A Practical Guide to Training Restricted Boltzmann Machines”
- “Continuous restricted Boltzmann machine with an implementable training algorithm”
- Sparse deep belief net model for visual area V2
http://papers.nips.cc/paper/3313-sparse-deep-belief-net-model-for-visual-area-v2.pdf
Sparsityについては以下の論文たちを参考にしたい。いくつか異なる手法がある模様。
- “A Practical Guide to Training Restricted Boltzmann Machines“
- 3D Object Recognition with Deep Belief Nets
その他メモ
面白そうな論文見つけた。Deepmindの社員の論文で、2016Award取ったみたい。