約15000ファイルの画像データセットを、普通にダウンロードした場合とzipに固めたものをダウンロードした場合でどの程度速度差があるのか計測してみた。
EC2インスタンスはg4dn.2xlarge。
普通にダウンロードした場合:300秒
zipに固めてからダウンロードした場合:10秒
zipを解凍するのにかかった時間は10秒ぐらい。
速さを気にする場合はzipに固めておいてもいいかも。
約15000ファイルの画像データセットを、普通にダウンロードした場合とzipに固めたものをダウンロードした場合でどの程度速度差があるのか計測してみた。
EC2インスタンスはg4dn.2xlarge。
普通にダウンロードした場合:300秒
zipに固めてからダウンロードした場合:10秒
zipを解凍するのにかかった時間は10秒ぐらい。
速さを気にする場合はzipに固めておいてもいいかも。