今まで曖昧だったので調べた。以下がが分かりやすかったです。 pocketstudio.net

以下のようなやつ。 #!/bin/bash set -euxo pipefail これの意味を以下で知りました。なるほど。。というか設定された状態をデフォルトにして欲しいレベルだなぁ。 please-sleep.cou929.nu moneyforward.com

ncduを使うとサブフォルダも含めた容量を計算して見せてくれるので非常に便利だった。 Dockerの容量を削減したい時などに重宝しそう。 askubuntu.com WindowsではFolderSizesを愛用してます。前はDriveAnalyzerを使っていたけど、重かったので乗り換え。有料…

Dockerコンテナではsystemctlが使えないらしく、困った。 docker-compose.yamlに以下を記載して対応した。 command: bash -c "/etc/init.d/ssh start && /bin/bash" 今回の使い方ではcommandを上書きし、かつsshでもログインしたい場合が無かったので大丈夫…

例えば、以下のサンプルコードのようにScriptProcessorを使って.pyファイルを実行する場合。 github.com .pyファイルをconda仮想環境myenvで実行するにはどうすればいいか。 ScriptProcessorのcommandでconda activateしてもだめで、理由はdokcerに渡された…

Dockerfileの中でconda環境をactivateした上でコマンドを実行したい場合、 RUN . /opt/conda/etc/profile.d/conda.sh && conda activate myenv RUN python test.py のようにしてもだめで、RUN実行毎に. /opt/conda/etc/profile.d/conda.sh && conda activate…

docker-compose.ymlでcommandのところを以下のようにしていたらだめだった。 command: /etc/init.d/sshd restart && bash 以下のように複数コマンド実行する場合はbashスクリプトとして実行すれば大丈夫。 command: bash -c "/etc/init.d/sshd restart && ba…

原因はハイパーパラメータとしてcategorical_column=[0]が設定されていたため。 KaggleのNotebookからコピーしてきたのだが、これはまずかったようだ。 categorical_columnはcategorical_featureの別名。categorical_featureの仕様的にはintでfeatureを指定…

Scaled YOLOv4 tinyのsaved_model.pbをIR形式に変換したら表題のエラーが発生。 原因はよく分からないが、学習時と変換時のTensorFlowのバージョンを合わせたら直った。 TensorFlowのバージョンによってsaved_model.pbの仕様が違うんだろうな。。 IR形式への…

現象は以下。SageMaker StudioにSSOログインしている場合しか起きないかも？ * SageMaker Studioを開いた状態から、しばらく操作せずログアウト状態になる * Reloadボタンをクリックし、AWSコンソールに再ログインする * 別ウィンドウが開き、SSOログインし…

超長いコマンドを書いていたのでこのTipsのお陰でかなり見やすくなって助かりました。 こんな感じで改行できる。 python -m mo^ --framework=tf^ --data_type=FP16^ --model_name=ssdlite_mobilenet_v3^ --input_shape=[1,320,320,3]^ --input=image_tensor^…

「ERROR: Could not install packages due to an OSError: [WinError 5] アクセスが拒否されました。」 というエラーメッセージでググるとpip install --userという風に--userオプションを付けると直るよという情報が見付かる。 私見では--userを付けるのは…

pip installl tensorflowを実行したら以下のエラーが出た。 ERROR: Could not install packages due to an OSError: [Errno 2] No such file or directory: 'c:\\users\\< username>\\appdata\\local\\continuum\\miniconda3\\envs\\envname\\lib\\site-pack…

SageMaker Immersion Dayの資料を見ながらデモを実行していたら、以下で躓いた。 sagemaker-immersionday.workshop.aws 上記サイトでは プロジェクトページでは、事前に設定された SageMaker MLOps テンプレートを起動できます。 このラボでは、モデル構築、…

イベントビューアで例外コード:0xc000001dのエラーログが出ていた場合。 この例外コードは不正な命令をCPUで実行しようとした場合に出る。例えば、 AVX非対応CPUでAVX命令を実行した場合 32bitOSで64bit用アプリを実行した場合 に発生する。 今回は_pywrap_t…

キーバインディングソフトの「のどか」をインストールしてPCを再起動すると、キーボードを打っても何も入力出来ない状態になった。 appletllc.com ログイン画面でPINを入力できず、ログイン出来ないので結構焦る。 原因は、のどかのインストール前にデバイス…

ECS ClusterでJavaサーバを動かしているが、-Xmx -Xmsに3GBを指定し、コンテナのメモリが4GBなのにCloudWatchのMemoryUtilizationは10%程度だった。 75%ぐらいになるはずなのに・・と思っていたが、原因はCloudWatchのMemoryUtilizationの分子は使用中のメモ…

Wifiルータの機能で見えて安心ネットというものがあり、MACアドレスで端末を識別し、通信できる時間帯を制限出来る。 Wifiルータが認識しているMACアドレスの中にiPhoneのMACアドレスが見付からないという現象が起きた。 原因はiPhoneがプライバシー保護のた…

ECSタスクが起動しなくなった、という場合。普通のサーバだったらまずログを見に行くがECSタスクだとサーバが起動しないとすぐ タスクが停止されるということもありログが取りにくい。 そんな場合は停止したタスクの詳細の停止理由のところを見るといい。詳…

sqlでDBのデータをupdateする場合、updateした行はcommitされるまでロックされるため、 複数行を複数回SQLを実行してUpdateすると、デッドロックが発生する可能性がある。詳細は以下サイト参照。 blog.livedoor.jp ただし、複数行のUpdateがAtomicな操作で一…

以下の記事では解決できなかったが、解決方法が見付かった。 anton0825.hatenablog.com 原因はSageMaker SDKの不具合で、2.46以上であれば修正されているらしい。 SageMaker StudioでPython 3(Data Science)を起動するとsagemakerのバージョンが2.40.0だった…

普通にやると、prod.yamlとdev.yamlを作ってそれぞれを使って本番のconda環境と開発のconda環境を 作ると思うが、そうすると例えばprodのtensorflowのバージョンは上げたけどdevの方は上げ忘れた・・ということが起き得るので 二重管理にならないようにした…

勘違いしてたけど、AESのブロック長は128bit固定。なのでIVも常に128bit。 鍵長は128,192,256から選べる。 stackoverflow.com 鍵はデータとXORを取るために使うのに、なぜブロック長と鍵長が一致しなくてもいいのかが不思議だ。以下の記事から想像するに、↓…

IntelliJの起動オプションで文字コードUTF8を指定すればいい。やり方は以下参照。 www.purin-it.com UTF8デフォルトにしてほしいなぁ。。

box driveのcacheフォルダの容量が20GBぐらいになっていた。直接削除してもいいのかも知れないが、Boxのサイトにログアウトするとcacheが削除されると記載されていたので一度ログアウトした。無事cacheが削除されました。 参考： support.box.com

miniconda3/pkgsフォルダが19GBも使っていた。このフォルダはキャッシュなので消しても大丈夫らしい。 conda clean --allを実行するとかなり容量削減できた。 参考： stackoverflow.com

原因はNotebookインスタンスのIAM roleにS3への書き込み権限が付いてないため。 role = get_execution_role() print(role) でroleのARNを表示。 IAM role画面でそのARNで検索。 当該IAM roleにAmazonS3FullAccessポリシーをアタッチ。 で直った。 参考： sta…

dlibのsetup.pyの中にsubprocess.check_output(['cmake', '--version'])を実行しているところがあり、cmakeへのパスが通ってないためcmakeというファイルが見付からないことが原因。 github.com subprocess.check_outputの引数にcmakeのパスを設定すれば直せ…

%~dp0 で取得出来る。いやこれ、もっと直感的なコマンドにできなかったのかね。。覚えられる気がしない。 参考： qiita.com

自宅から会社のPCにログインして仕事をする場合、VMWare Horizon Clientを使ってログインしているが、この場合ログイン先のPCにLogicool Optuionsをインストールしてもマウスを認識してくれないのでマウスの設定をすることができない。 多分Windows標準のリ…