Speedbook
書籍『深層ニューラルネットワークの高速化』のサポートサイトです。
Install / Use
/learn @joisino/SpeedbookREADME
書籍『深層ニューラルネットワークの高速化』のサポートページです。
ノートブック
以下のノートブックは MIT ライセンスのもと配布されております。商用・非商用問わず自由に利用することができます。
環境構築
Poetry をインストールした後、このディレクトリ上で
$ poetry install
$ poetry run jupyter lab
を実行して Jupyter Lab を起動してください。
一覧
|箇所|説明|ファイル|Colab|
|:----|:----|:----|:----:|
|コード 2.1|GPU でのコンパイル|compile.ipynb|
|
|コード 2.2|CPU でのコンパイル|compile_cpu.ipynb||
|コード 2.3|メモリ配列の最適化 (channel last)|channel_last.ipynb||
|コード 3.2|FP16 の利用|fp16.ipynb||
|コード 3.4|CPU での BF16 の利用|bf16_cpu.ipynb||
||GPU での BF16 の利用|bf16.ipynb||
|コード 3.8|自動混合精度計算|amp.ipynb||
|コード 3.9|行列の量子化|quantize_matrix.ipynb||
|コード 3.10|INT8 量子化|quantization.ipynb||
|コード 3.15, 3.16|ビットカウント|bitcount.ipynb||
|コード 4.2|枝刈り|pruning.ipynb||
|コード 4.3|枝刈りの速度計測|pruning_benchmark.ipynb||
|コード 5.1|ResNext101 から ResNet18 への蒸留|distillation.ipynb||
|図 6.3|顔写真データの低ランク性|lowrankface.ipynb||
|コード 6.1|畳み込み層の低ランク近似|lowrank.ipynb||
|コード 6.2|ランダム特徴量|random_features.ipynb||
|コード 6.3|正値直交ランダム特徴量による高速注意 (FAVOR+)|favor.ipynb||
|コード 8.1|プロファイリング|profile.ipynb||
※ノートブック作成にあたり再実行したので書籍の結果とわずかに異なる場合があります。ご了承ください。
正誤表
本書の正誤情報は正誤表にて公開しています。
