日々精進

新しく学んだことを書き留めていきます

tensorflowのモデルをtensorflow liteに変換してx86 cpuで動かすと変換前より速度が低下する問題

tensorflow liteで動かせば速くなると思っていたのになぜ・・ 調べてみたら、tfliteはARMプロセッサに最適化されているのでx86 cpuでは遅いという情報がありました。 自分が動かしたい環境はx86 cpu。。

stackoverflow.com

x86 cpuサポートは計画されているようだけどいつリリースかは見付からなかった。

www.tensorflow.org

以下によるとx86 supportはTF2.3でリリースされると言っている人がいる。もう対応済??

github.com

x86 cpuで動かす場合、高速化の選択肢は二つあるっぽい。

一つはOpenVINOを使って高速化する方法。これはIntel製なのでx86 cpuに最適化されている。

www.intel.co.jp

もう一つはtensorflow liteにXNNPACKという拡張機能を加えてビルドし、使う方法。

towardsdatascience.com

上記の記事でOpenVINOとXNNPACKのパフォーマンスが比較されているがそんなに変わらなさそう。