日々精進

新しく学んだことを書き留めていきます

aws cliでS3からファイルをダウンロードする時、沢山あるファイルをzipにまとめるとダウンロードが30倍速くなった

約15000ファイルの画像データセットを、普通にダウンロードした場合とzipに固めたものをダウンロードした場合でどの程度速度差があるのか計測してみた。

EC2インスタンスはg4dn.2xlarge。

普通にダウンロードした場合:300秒
zipに固めてからダウンロードした場合:10秒

zipを解凍するのにかかった時間は10秒ぐらい。

速さを気にする場合はzipに固めておいてもいいかも。