日々精進

新しく学んだことを書き留めていきます

2017-11-04から1日間の記事一覧

DataFrameのgroupbyして集計する処理を並列化すると10倍速くなった

AI

コア数が20あるCPUでシングルプロセスで処理していたのをマルチプロセスにしたところ10倍速くなってビックリした。 やり方も簡単で、以下のようにgroup毎に集計する処理を並列化するだけでいい。これは便利。 def aggregate(sales: DataFrame, window: int):…