日々精進

新しく学んだことを書き留めていきます

AWSでDeep Learningの学習データをどこに保存するか

最初はEBSに全部置いていたが、すぐに容量がいっぱいになってしまった。。 今のところ以下が良さそう。

  • データの原本・前処理結果・モデルはすべてS3に保存する
  • 学習時にS3から学習データを取得する。その際インスタンスストアにキャッシュする。二回目以降はインスタンスストアから取得する

参考:

missinglink.ai