日々精進

新しく学んだことを書き留めていきます

TFRecordDatasetにS3のパスを渡すと「Encountered Unknown AWSError」が出る

S3からデータを読み込む時に以下のログが出る。

2019-11-18 11:36:44.626135: W tensorflow/core/platform/s3/aws_logging.cc:57] Encountered Unknown AWSError
InvalidRange
The requested range is not satisfiable:
2019-11-18 11:36:44.626177: W tensorflow/core/platform/s3/aws_logging.cc:57] If the signature check failed. This could be because of a time skew. Attempting to adjust the signer.

ファイルが壊れているのかと不安になったが、S3からダウンロードしたデータとEBSから読んだデータを比較したところ一致したので データは問題無くダウンロードできてそう。 ログからは時刻がずれていることが原因のように見えるが、サーバの時刻はずれてなかった。 このログは何なのかググってもよく分からなかった。謎だ。。

参考:

docs.aws.amazon.com