日々精進

新しく学んだことを書き留めていきます

AWS CLIを使ってS3からファイルをダウンロードすると途中から速度が落ちる

現象は以下。

  • インスタンスタイプはg4dn.xlarge
  • 同じリージョンのS3バケットからEBS gp2にダウンロードする
  • aws s3 cpコマンドで実行

このとき、 最初:210MB/s⇒5GBぐらいから速度が下がり始める⇒10GBを越える頃には150MB/sぐらい のように速度が変化する。

インスタンスタイプをg4dn.2xlargeにすると、 最初:240MB/s⇒9GBぐらいから速度が下がり始める⇒14GBを越える頃には220MB/sぐらい のようになる。

原因ははっきりしないが、EC2⇒EBS間の転送速度がS3⇒EC2よりも低いためそこで詰まっているのでは無いか?という気がする(最初早いのはバッファを使っているためでは。)

大きいファイルをダウンロードしてくるときは注意。