Pipeline実行がエラーになり、エラーになったStepのOutputを見行くと、以下のメッセージが表示されていた。 This step failed. For more information, view the logs. ClientError: Cannot access S3 key. が、結論としてはS3がエラーの原因ではなかった。上…

Pipelineのタグを以下のように設定すれば表示される。タグはsagemaker sdkのPipelineクラスのcreate, upsertメソッドの引数で渡せる。 sagemaker:project-name: , sagemaker:project-id: projectとpipelineの紐付け方がわからなかったが、tagで紐付けている…

SageMakerStudioから削除する方法が見付からなかったのでCLIから削除した。 以下のコマンドで削除できる。 aws sagemaker delete-pipeline --pipeline-name pjname 参考： docs.aws.amazon.com

原因はnumpyのバージョンが古いことで、1.20.1以上にすれば直るっぽいが TensorFlowが1.19.5に依存しているのでnumpyのバージョンを上げられない・・ stackoverflow.com しょうがないのでpycocotoolsを使わずアノテーションファイルのparseを独自実装するこ…

Estimatorのinitにtensorboard_output_configという引数があるので、これを設定するとtensorboardのログをS3にアップロードしてくれそうだけど、してくれなかった。。 以下で同じ問題で困っている人がいるけど解決してないっぽい。 stackoverflow.com しょう…

以下のサイトで紹介されている方法で直りました。 参考： omohikane.com

export LD_LIBRARY_PATH=/path/to/conda/envs/your_env/lib で直る 参考： github.com

ssh hostname -vvvTを実行すると以下のログが出る。 debug1: Trying private key: /c/Users/username/.ssh/mykey.pem debug3: sign_and_send_pubkey: RSA SHA256:nQr29X+3juJvSWOedeEVmgKCZgaO169LKCvAZCKkFKM debug3: sign_and_send_pubkey: signing using …

学習時にcustom loss functionを使った場合、load時も同じ関数をcustom_objectとして渡してやらないといけないらしい。 ただ、再学習するのではなく推論するためにmodelをloadするのであれば以下のようにcompile=Falseを指定してやればOK。 model = load_mod…

普段はアドレスバーに「chrome://restart」と打って再起動すると軽くなるが、これやってもだめな時があった。 そんなときはタスクトレイの中のChromeアイコンを右クリック→終了を選択してからChromeを起動すると軽くなった。 Chrome重いとかなりストレスフル…

縦向きと横向きのページが混在しているPDFをChromeで表示して印刷すると、 すべて縦向き、またはすべて横向きで印刷するので一部のページが見きれる・・ なのでまず縦向きのページを印刷して、その後横向きのページを印刷するとか面倒なことをしていた。 Acr…

手元の環境で実行してもエラーが出ないが、Kaggle Notebookで実行するとエラーになる、ということがあった。 手元とNotebookではライブラリのバージョンが違うのでそのせいだと思うが・・ Notebookではデバッグ実行できないし、原因分析しづらかったのでNote…

今まで曖昧だったので調べた。以下がが分かりやすかったです。 pocketstudio.net

以下のようなやつ。 #!/bin/bash set -euxo pipefail これの意味を以下で知りました。なるほど。。というか設定された状態をデフォルトにして欲しいレベルだなぁ。 please-sleep.cou929.nu moneyforward.com

ncduを使うとサブフォルダも含めた容量を計算して見せてくれるので非常に便利だった。 Dockerの容量を削減したい時などに重宝しそう。 askubuntu.com WindowsではFolderSizesを愛用してます。前はDriveAnalyzerを使っていたけど、重かったので乗り換え。有料…

Dockerコンテナではsystemctlが使えないらしく、困った。 docker-compose.yamlに以下を記載して対応した。 command: bash -c "/etc/init.d/ssh start && /bin/bash" 今回の使い方ではcommandを上書きし、かつsshでもログインしたい場合が無かったので大丈夫…

例えば、以下のサンプルコードのようにScriptProcessorを使って.pyファイルを実行する場合。 github.com .pyファイルをconda仮想環境myenvで実行するにはどうすればいいか。 ScriptProcessorのcommandでconda activateしてもだめで、理由はdokcerに渡された…

Dockerfileの中でconda環境をactivateした上でコマンドを実行したい場合、 RUN . /opt/conda/etc/profile.d/conda.sh && conda activate myenv RUN python test.py のようにしてもだめで、RUN実行毎に. /opt/conda/etc/profile.d/conda.sh && conda activate…

docker-compose.ymlでcommandのところを以下のようにしていたらだめだった。 command: /etc/init.d/sshd restart && bash 以下のように複数コマンド実行する場合はbashスクリプトとして実行すれば大丈夫。 command: bash -c "/etc/init.d/sshd restart && ba…

原因はハイパーパラメータとしてcategorical_column=[0]が設定されていたため。 KaggleのNotebookからコピーしてきたのだが、これはまずかったようだ。 categorical_columnはcategorical_featureの別名。categorical_featureの仕様的にはintでfeatureを指定…

Scaled YOLOv4 tinyのsaved_model.pbをIR形式に変換したら表題のエラーが発生。 原因はよく分からないが、学習時と変換時のTensorFlowのバージョンを合わせたら直った。 TensorFlowのバージョンによってsaved_model.pbの仕様が違うんだろうな。。 IR形式への…

現象は以下。SageMaker StudioにSSOログインしている場合しか起きないかも？ * SageMaker Studioを開いた状態から、しばらく操作せずログアウト状態になる * Reloadボタンをクリックし、AWSコンソールに再ログインする * 別ウィンドウが開き、SSOログインし…

超長いコマンドを書いていたのでこのTipsのお陰でかなり見やすくなって助かりました。 こんな感じで改行できる。 python -m mo^ --framework=tf^ --data_type=FP16^ --model_name=ssdlite_mobilenet_v3^ --input_shape=[1,320,320,3]^ --input=image_tensor^…

「ERROR: Could not install packages due to an OSError: [WinError 5] アクセスが拒否されました。」 というエラーメッセージでググるとpip install --userという風に--userオプションを付けると直るよという情報が見付かる。 私見では--userを付けるのは…

pip installl tensorflowを実行したら以下のエラーが出た。 ERROR: Could not install packages due to an OSError: [Errno 2] No such file or directory: 'c:\\users\\< username>\\appdata\\local\\continuum\\miniconda3\\envs\\envname\\lib\\site-pack…

SageMaker Immersion Dayの資料を見ながらデモを実行していたら、以下で躓いた。 sagemaker-immersionday.workshop.aws 上記サイトでは プロジェクトページでは、事前に設定された SageMaker MLOps テンプレートを起動できます。 このラボでは、モデル構築、…

イベントビューアで例外コード:0xc000001dのエラーログが出ていた場合。 この例外コードは不正な命令をCPUで実行しようとした場合に出る。例えば、 AVX非対応CPUでAVX命令を実行した場合 32bitOSで64bit用アプリを実行した場合 に発生する。 今回は_pywrap_t…

キーバインディングソフトの「のどか」をインストールしてPCを再起動すると、キーボードを打っても何も入力出来ない状態になった。 appletllc.com ログイン画面でPINを入力できず、ログイン出来ないので結構焦る。 原因は、のどかのインストール前にデバイス…

ECS ClusterでJavaサーバを動かしているが、-Xmx -Xmsに3GBを指定し、コンテナのメモリが4GBなのにCloudWatchのMemoryUtilizationは10%程度だった。 75%ぐらいになるはずなのに・・と思っていたが、原因はCloudWatchのMemoryUtilizationの分子は使用中のメモ…

Wifiルータの機能で見えて安心ネットというものがあり、MACアドレスで端末を識別し、通信できる時間帯を制限出来る。 Wifiルータが認識しているMACアドレスの中にiPhoneのMACアドレスが見付からないという現象が起きた。 原因はiPhoneがプライバシー保護のた…