An Analysis of Deep Neural Network Models for Practical Applications

論文

• An Analysis of Deep Neural Network Models for Practical Applications
• Paper: https://arxiv.org/abs/1605.07678
• Submission Date: 2016.5

要旨

• 最新（2016年まで）のCNNモデル（VGGやResNet、Inceptionなど）において、精度以外の項目も含め調査および比較した

提案手法

• 調査した項目は以下の6項目
  • 精度（accuracy）
  • メモリ消費量（memory footprint）
  • パラメータ数（parameters）
  • 計算量（operations count）
  • 推論時間（ inference time）
  • 消費電力（power consumption）
• ImageNetのデータでの評価を行った
• Torch7で実装し、NVIDIA Jetson TX1で実験を行った
• 精度は、Top5 accuracyとTop10 accuracyでは、VGG-16とGoogLeNetで精度が逆転することもあり、Top5 accuracyを用いる

結果

• 図2において、横軸が計算量で円の大きさがパラメータ数である
  • VGGはともに大きく、ResNetやInceptionの方が軽量な上、精度も高い

図1(左): Top1 Accuracy, 図2(右): Top1 Accuracy vs. 計算量, パラメータ数

• メモリ消費量とバッチサイズの関係は、ReLU関数のようにはじめは一定で後に比例する
  • 一定のメモリはネットワークのモデルが確保するメモリである
• メモリ消費量はパラメータ数のおよそ1.3倍に比例する

図5: メモリ消費量 vs. バッチサイズ, 図6: メモリ消費量 vs. パラメータ数

• 計算量と推論時間は比例関係にある

図7: 計算量 vs. 推論時間

• 精度と推論時間はトレードオフの関係にある

図9: 精度 vs. 推論時間

所感

• 1カラム7ページと短く図も多い論文であるため、比較的に簡単に読めるので、（ちょっと古いですが）ざっと目を通しておくと良いかもしれません。