原因は、ssh configurationsで設定したsshの接続設定があるプロジェクトでしか利用できない設定になっていて、PyCharmで開いているプロジェクトでは利用できないため。 以下を参考にVisible only for this projectのチェックを外すと直る。 stackoverflow.com
.soファイル：soはshared objectの略。動的にリンクされる共有ライブラリ・バイナリファイル undefined symbolの原因：soファイルから参照している関数が見つからない（＝関数が実装されているsoファイルが見つからない）こと undefined symbol: の後の_ZN15…
PyCharmでSSH Interpreterを使っている場合。 .bashrcで定義している環境変数がないと動かないプログラムをPyCharmからデバッグ実行すると、.bashrcが実行されないのでエラーになる。 JetBrainsのサポートサイトには、以下の.shファイルを作ってSSH Interpre…
現象は以下。 Dockerfileでmim install mmdetを実行して作ったコンテナで推論を実行すると発生する docker buildのログを見ていると、mmcvのcpu版がインストールされている。でも実行環境ではgpu版を使おうとしてエラーになっているっぽい 手動でmim install…
設定で自動的にAcceptするようにできる。セキュリティ的にはよろしくないと思うけど・・やり方は以下参照。 android - Untrusted Server Certificate in Intellij - Stack Overflow
cmderフォルダ\config\clink_settings の history.shared = True をFalseにすると分けられる。 参考： github.com
違うシートを参照しながら作業したい場合などに使える。 以下のサイトの方法で同じBookを複数ウィンドウで開ける。今までファイルをコピーして開いたりしてたけど、こっちの方が楽だしどちらのウィンドウで編集したも同じファイルが更新されるのでいいな。。…
害は無いんだけど、赤字で表示されるし何か気になるので抑止したい。。 以下の行をDockerfileに追加すると出なくなった。 RUN sed -i -e 's/mesg n || true/tty -s \&\& mesg n/' /root/.profile 参考： www.educative.io
以下のように- pip:の次の行にオプションを書けばいい。 - pip: - --find-links https://download.pytorch.org/whl/cu113/torch_stable.html 参考： stackoverflow.com
原因は最近のopensshが古い形式の秘密鍵をサポートしなくなったこと。openssh 8.3ではエラーが出なかったが8.8だとエラーになった。 以下の設定を接続設定に追加すると直った。 HostKeyAlgorithms ssh-dss,ssh-rsa PubkeyAcceptedKeyTypes ssh-dss,ssh-rsa …
原因はgcc,g++がインストールされていないため。Visual Studio 2022 Community版をインストールすると直った。
画像分類・物体検出のアノテーションは矩形の枠とラベル（人・犬など）で付ける。 なので、人のアノテーションにはどうしても人の後ろの壁など人以外の部分も含まれてしまう。 そうすると、その壁などもモデルは人の一部であると見なして学習してしまう。 そ…
乱数のseedを固定すれば同じInputに対して、同じ推論結果を返す重みファイルが生成できるはず・・と思っていたが、そうではないらしい。 乱数の固定の仕方は以下参照。 qiita.com これを設定しても、cuDNNの中の乱数は固定できないらしい。TensorFlowではこ…
現象は以下。 conda create, conda removeでconda環境の作成・削除を繰り返すとpip3.exe.conda_trash, pip3.exe.conda_trash.conda_trash, ...のように.conda_trashがconda createを実行した回数だけ繰り返すファイルができる これによって超長いファイル名…
今日知ったLog4jの脆弱性について調べたことを書きます。 脆弱性を修正したPR github.com 影響範囲 log4j2の影響を受けるバージョンは以下の記事によると、2.0 <= Apache log4j2 <= 2.14.1 www.cyberkendra.com log4jバージョン1も影響を受けるというコメン…
ググるとiTunesを使う方法などが出てくるが、それは古いっぽい。 以下で紹介されている、Finderで調べる方法をやってみると確認できました。 apptopi.jp
sshでリモートホストにログインし、pip installでpackageをinstallした後、ライブラリの更新操作をPyCharm上でやるとダウンロードしてくれる。今までInvalidate Cache&Restartを実行して全部のライブラリをダウンロードし直してた。。 やり方は以下参照。 tk…
「複数の環境」と言っているのは、例えば機械学習で言うと前処理、学習、精度検証のようなイメージ。 そういう環境で、ある程度実装も実行環境も分かれているけど一部の実装を共有したい場合どうするか。 pip packageにすると修正したらアップロードとインス…
原因はわかっていないが、再実行したらエラーが出なかった。なぜだ・・
マルチプロセスなので当たり前なんだけど、Pythonのmultiprocessing.Poolを使って複数プロセスで並列処理をする時にGlobal変数はそれぞれのプロセスにコピーされる。 なので、以下の例だとmy_funcの中でGlobal変数を変更しても他のプロセスには影響しない。 …
発生条件は以下。 @dataclassの付いたclassのオブジェクトを==で比較する そのclassのインスタンス変数にnumpy.ndarrayがある 原因は以下。 @dataclassで自動生成されるeqメソッドは、そのクラスのフィールドからなるタプルを比較する 参考： docs.python.or…
原因は色々ありうるが、今回は同じフォルダ名が複数あることだった。つまり、以下のようなフォルダ構成になっていて root/aとroot/bをPYTHONPATHに追加していた。 root/a/common/a.py root/b/common/b.py そうするとa.pyをimportしようとするとそんなモジュ…
以下のようなメッセージを残して学習が止まることがあり、困った。 train.sh: line 27: 32529 Killed 原因はOOMだった。 dmesg -T| grep -E -i -B100 'killed process' 上記コマンドを実行すると、以下が表示され、OOMでプロセスが殺されたことが分かる。 [F…
pycocotoolsのsetup.pyがCythonなどをimportしているためエラーになるっぽい。 ホントはやりたくないが、以下のようにyamlに含めず後からpip installでインストールするようにした。 conda env create -f=/root/environment.yaml conda activate myenv pip i…
GPUインスタンスの種類が多すぎて何を使えば良いかわからない・・と言う場合、以下を参考にするといいかも。 towardsdatascience.com ユースケース別にオススメのインスタンスタイプがかかれていて参考になりました。 ただ、2020年6月の記事なのでちょっと古…
原因はGPUが1つしかないのに export CUDA_VISIBLE_DEVICES='1' が環境変数に設定されていたため。 export CUDA_VISIBLE_DEVICES='0' に変更すると直った。 参考： qiita.com また、問題の切り分けのために、以下を実行してtensorflowからGPUが見えているかを…
変数の値を見ようとするとCollecting data...と表示されるだけで値が見えなくて困った。 PyCharmの設定でGevent compatibleをONにすると直った。詳細は以下参照。 stackoverflow.com なぜこれで直るか全然分からないがすごく助かった・・・ただし、このオプ…
pycocotoolsが依存しているnumpyのバージョンが1.20以上だが1.19以下がインストールされていることが原因。 でもtensorflowが1.19.5に依存していて、1.20以上を入れることができない。。 なのでpycocotoolsのバージョンを2.0.0にダウングレードして回避した…
原因はshared memoryの容量が足りないこと。学習環境のdocker composeに以下を追加すると直った。 shm_size: '16gb' 参考： Unable to write to file </torch_18692_1954506624> - #6 by gaily_sun - PyTorch Forums
conda runコマンドは壊れたので4.10.0で削除されたらしい。まじか。。 conda runコマンドがあるバージョンのcondaをインストールして解決した。 参考： github.com
