日々精進

新しく学んだことを書き留めていきます

EFS,EBS,S3のパフォーマンスとData Locality

AIの学習に時間がかなりかかるので高速化したい。 データセットが大きいので、通信速度を上げる方法を調べた。速度を上げるためには Data Localityを意識することが大事。以下の記事は参考になりました。

missinglink.ai

調査結果

【S3】 リージョンをまたいだ場合と同じリージョンのバケットからダウンロードした場合の比較

東京リージョン-バージニア北部リージョン:80MB/s
バージニア北部リージョン-バージニア北部リージョン:210MB/s

結論:バケットとEC2インスタンスは同じリージョンに起きましょう

【EFS,EBS】 EFS:約150MB/s EBS io1:約350MB/s

結論:EBSの方が早いけど、EFSは複数インスタンスにマウントできて便利・・これはお好みで選択すればいいかな。

参考:

rikei-danshi.work

qiita.com