通常、SageMaker PipelinesからTrainingJobを実行した場合、以下の方法でログを見る。
SageMakerStudio＞SageMaker resourcesでProjectを選択＞Pipelineを選択＞Pipeline Executionを選択＞Stepを選択＞Logsタブを選択＞「View logs in CloudWatch console」をクリック＞表示されているLog Streamをクリック
ただし、SageMaker PipelinesからManaged Spot Training Jobを実行した場合、途中でJobが中断・再開されることがある。その場合、上記の手順でログを見ても中断までのログしか見えないので「本当に再開後処理できているのか？」と不安になるが再開後は単に別のLog Streamにログが出力されているだけだった。
上記の「表示されているLog Streamをクリック」のStepで、検索ボックスに入力されている文字列の/以降の部分を削除すると再開後のStreamも表示されるようになる。
いやこれ、「View logs in CloudWatch console」をクリックしたら再開後のStreamが表示されるようにすべきでは。
