TensorRTを使って推論を高速化しようとしたところ、CPUでは使えないという情報が。。
NVIDIAが作ってるからそりゃそうか。。
類似ソリューションを探したところ、OpenVINOというものをINTELが作っているらしい。
以下によると、CaffeのFP32のモデルと比較してINT8に量子化＋OpenVINOで動かしたモデルは10~20倍速いらしい。ほんとかな。。
TensorRTを使って推論を高速化しようとしたところ、CPUでは使えないという情報が。。
NVIDIAが作ってるからそりゃそうか。。
類似ソリューションを探したところ、OpenVINOというものをINTELが作っているらしい。
以下によると、CaffeのFP32のモデルと比較してINT8に量子化＋OpenVINOで動かしたモデルは10~20倍速いらしい。ほんとかな。。