日々精進

新しく学んだことを書き留めていきます

TF-TRTとTRTではTRTの方が速い(恐らく)

TensorRT周りは色々ややこしい。。 TensorFlowに組み込まれたTensorRTがあり、これをTF-TRTという。 TensorRT(TRT)はNVIDIAが開発している深層学習を高速に推論するためのライブラリ。

TF-TRTはTensorRTが対応している部分のみTensorRT化して推論する。 ここで気になるのはモデルのすべての層がTensorRTに変換できる時に、 TF-TRTを使った場合とTRTを使った場合で速度差があるか。

以下ではNVIDIA公式アカウントがTRT vs TF-TRTのベンチマークを取っている途中だと書いてあるが続報はなし。

forums.developer.nvidia.com

見つけた中では以下で速度比較がされていた。これによるとTRT>TF-TRT>TFになり、それぞれの速度差も無視できる範囲ではなさそう。 ただし、すべての層がTensorRTに変換できているかは不明。

https://on-demand.gputechconf.com/gtc-cn/2019/pdf/CN9456/presentation.pdf