論文
要旨
- 最新(2016年まで)のCNNモデル(VGGやResNet、Inceptionなど)において、精度以外の項目も含め調査および比較した
提案手法
- 調査した項目は以下の6項目
- 精度(accuracy)
- メモリ消費量(memory footprint)
- パラメータ数(parameters)
- 計算量(operations count)
- 推論時間( inference time)
- 消費電力(power consumption)
- ImageNetのデータでの評価を行った
- Torch7で実装し、NVIDIA Jetson TX1で実験を行った
- 精度は、Top5 accuracyとTop10 accuracyでは、VGG-16とGoogLeNetで精度が逆転することもあり、Top5 accuracyを用いる
結果
- 図2において、横軸が計算量で円の大きさがパラメータ数である
- VGGはともに大きく、ResNetやInceptionの方が軽量な上、精度も高い
図1(左): Top1 Accuracy, 図2(右): Top1 Accuracy vs. 計算量, パラメータ数
- メモリ消費量とバッチサイズの関係は、ReLU関数のようにはじめは一定で後に比例する
- 一定のメモリはネットワークのモデルが確保するメモリである
- メモリ消費量はパラメータ数のおよそ1.3倍に比例する
図5: メモリ消費量 vs. バッチサイズ, 図6: メモリ消費量 vs. パラメータ数
図7: 計算量 vs. 推論時間
図9: 精度 vs. 推論時間
所感
- 1カラム7ページと短く図も多い論文であるため、比較的に簡単に読めるので、(ちょっと古いですが)ざっと目を通しておくと良いかもしれません。