AIの学習に時間がかなりかかるので高速化したい。 データセットが大きいので、通信速度を上げる方法を調べた。速度を上げるためには Data Localityを意識することが大事。以下の記事は参考になりました。
調査結果
【S3】 リージョンをまたいだ場合と同じリージョンのバケットからダウンロードした場合の比較
東京リージョン-バージニア北部リージョン:80MB/s バージニア北部リージョン-バージニア北部リージョン:210MB/s
結論:バケットとEC2インスタンスは同じリージョンに起きましょう
【EFS,EBS】 EFS:約150MB/s EBS io1:約350MB/s
結論:EBSの方が早いけど、EFSは複数インスタンスにマウントできて便利・・これはお好みで選択すればいいかな。
参考: