MPRG Deep Learning Lecture Notebook

Python チュートリアル

Google Colaboratory・Pythonの使い方

1. Google Colaboratoryの動作確認
2. PythonプログミングとNumPy

初級編

初級1：ゼロから理解するDeep Learning

1. 最適化（GD, Momentum, AdaGrad, Adam)
2. 単純パーセプトロンによるAND回路の作成
3. MLPによるXOR回路の作成
4. MLPによる2クラス分類
5. ミニバッチを用いたMLPの学習
6. MLPによる多クラス分類（MNIST）
7. 正則化（Dropout）
8. Batch Normalizationの導入
9. im2colを用いた効率的な畳み込み処理
10. CNNによる画像認識（MNIST, Numpy実装）

初級2：PyTorchで作るシンプルネットワーク

1. MLPによる画像認識（MNIST, PyTorch実装）
2. CNNによる画像認識（MNIST, PyTorch実装）
3. 誤差関数の変更による学習効果
4. CNNによる画像認識（CIFAR10, PyTorch実装）
5. 既存のデータセットの活用
6. データセットクラスの作成
7. データ拡張（Data Augmentation）
8. ハイパーパラメータの探索と検証データ

中級編

中級1：PyTorchで作るモダンネットワーク

1. Residual Network（ResNet, スキップ構造）
2. SENet
3. CNNの可視化（CAM）
4. CNNの可視化（Grad-CAM）
5. ファインチューニングと転移学習
6. Attention Branch Network（ABN）
7. EfficientNet
8. Single Shot Object Detector (SSD)
9. SegNet
10. マルチタスク基礎（分類＋回帰）
11. マルチタスク応用（検出＋セグメンテーション）
12. Knowledge Distillation
13. Deep Mutual Learning [](https://colab.research.google.com/github/machine-perception-robotics-group/MPRGDeepLearni