ML論文まとめ

機械学習関連で読んだ論文をまとめています。

An Analysis of Deep Neural Network Models for Practical Applications

論文

要旨

  • 最新(2016年まで)のCNNモデル(VGGやResNet、Inceptionなど)において、精度以外の項目も含め調査および比較した

提案手法

  • 調査した項目は以下の6項目
    • 精度(accuracy)
    • メモリ消費量(memory footprint)
    • パラメータ数(parameters)
    • 計算量(operations count)
    • 推論時間( inference time)
    • 消費電力(power consumption)
  • ImageNetのデータでの評価を行った
  • Torch7で実装し、NVIDIA Jetson TX1で実験を行った
  • 精度は、Top5 accuracyとTop10 accuracyでは、VGG-16とGoogLeNetで精度が逆転することもあり、Top5 accuracyを用いる

結果

  • 図2において、横軸が計算量で円の大きさがパラメータ数である
    • VGGはともに大きく、ResNetやInceptionの方が軽量な上、精度も高い

f:id:xkumiyu:20190602173245p:plain
図1(左): Top1 Accuracy, 図2(右): Top1 Accuracy vs. 計算量, パラメータ数

  • メモリ消費量とバッチサイズの関係は、ReLU関数のようにはじめは一定で後に比例する
    • 一定のメモリはネットワークのモデルが確保するメモリである
  • メモリ消費量はパラメータ数のおよそ1.3倍に比例する

f:id:xkumiyu:20190602212410p:plain
図5: メモリ消費量 vs. バッチサイズ, 図6: メモリ消費量 vs. パラメータ数

  • 計算量と推論時間は比例関係にある

f:id:xkumiyu:20190602213358p:plain
図7: 計算量 vs. 推論時間

  • 精度と推論時間はトレードオフの関係にある

f:id:xkumiyu:20190602212549p:plain
図9: 精度 vs. 推論時間

所感

  • 1カラム7ページと短く図も多い論文であるため、比較的に簡単に読めるので、(ちょっと古いですが)ざっと目を通しておくと良いかもしれません。