原因はabsl-pyがデフォルトのログハンドラを書き換えてしまい、かつそいつがsys.stderrがNoneになる場合を考慮していないため。 恐らくPythonを別のプロセスからConsoleを表示させず起動すると標準エラー出力の出力先が無くてNoneになる。 無理矢理だけど、l…

dlibインストール時にcmakeを使ってビルドするようで、cmakeが入ってないとエラーがでる。 environment.yamlを使うならdlib以外をyamlを使ってインストールして、その後手動でdlibを入れるとかになりそう。。 手動の手順が入るのが嫌だったのでbatファイルで…

activate/deactivateを実行する場合は以下のようにcallを頭につけないといけない。色々罠があるなぁ。。 echo y | conda create --name myenv python=3.7.9 call conda activate myenv pip install cmake==3.18.4.post1 参考： github.com

precisionやrecallの値をクラス毎に出し、その平均を取りたいという場合、 precisionやrecallの計算式の分母が0になり計算できなかったらどうするか。 precisionやrecallの分母が0ということはPositiveと予測したものの数が0か、LabelがPositiveであるサンプ…

condaのバージョンを上げると直った。以下を実行するとバージョンアップできる。 conda upgrade -n base conda 参考： stackoverflow.com

Config.PARAM = "1" のようにstaticな変数にパラメータを保持しているような場合、これを変更するテストコードがあると、そのテストコード以降に実行される別のテストコードがコケることがある。 他のテストに影響を与えないようにしたいので、fixtureを使っ…

C#からPythonに画像ファイルを渡すとチャネルの並びがBGRになるという現象がおきた。 BitmapDataのデータをByte配列に変換し、先頭の要素の値を確認すると、RGB画像の先頭のピクセルの色の並びと違っていた。つまり、BGRになっていた。 以下のような記事もあ…

str()でlistをシリアライズしようと思ったときのこと。 各クラスの文字列表現を変更したかったので strを各クラスで実装し、listに詰めてstr(lst)のようにstr()に渡したがstrが呼ばれない。。 調べてみると、str(lst)はlstの各要素のreprを呼ぶらしい。lstは…

get(cv2.CAP_PROP_FPS) や get(cv2.CAP_PROP_FRAME_COUNT) を実行すると1000とかデタラメな数字になる。 総フレーム数/FPSで動画の秒数になるかと思ったが、ならない。 これじゃあwmvをInputにして推論できないじゃん。。 3g2ファイルは大丈夫だった。 参考：…

文字コードを適切に指定していなかったため。 例えば以下のように指定すると直る。 with open(config, 'rt', encoding='utf8') as yml: config_obj = yaml.load(yml) 参考： github.com

調べた限り、出力先だけを修正することはできず、 logging.config.dictConfig(config)でログ周りの設定を一括で行い、 出力先も修正することになりそう。 例えば以下のような感じ config: dict = self._load_config() if "myFileHandler" in config["handler…

conda install -c s3://backet_name package_name のようなコマンドを実行すると以下のエラーがでた。 Error: boto3 is required for S3 channels. Please install with `conda install boto3` Make sure to run `source deactivate` if you are in a conda …

原因はProxyの設定がないため。Proxy環境で動かす人が少ないのか、情報が少なくて困った。。 以下のようにオプションでProxyを設定すると直った。 なお、 --proxy-server=http://domain.com:8888 のようにdns名でProxyを設定すると「ERR_NO_SUPPORTED_PROXIE…

以下によると、get(cv2.CAP_PROP_FRAME_COUNT)は動画の大体の総フレーム数を返すらしい。 stackoverflow.com 正確な総フレーム数を計算するのって時間かかるのかな・・かなり謎な仕様だ。

原因はenvironment.yamlがUTF-16LEでencodeされていたことだった。 BOMなしUTF-8にすると直った。

バックアップ取ったのと同じディスクに復元しようとしているのに容量が足りないとはなぜ・・と思っていたら 原因は復元先のディスクにEFIシステムパーティションが残っていることだった。 セクタバイセクタで復元しようとしていたからちょっとでもバックアッ…

最近便利に使っているエクセルのピボットグラフだが、デフォルトではデータの無い部分を描画しない。 なので、例えば多峰性のヒストグラムをかいた場合、各ピークが結構離れていて間にデータがない区間があるとその部分は詰められるのでピーク同士は結構近く…

cv2.imread、cv2.imwriteは日本語に対応していないので、パスに日本語が入っているとNoneを返したりエラーになったりする。 なので以下で紹介されているコードを使って回避した。ありがたや～ qiita.com

データ分析のためにグラフを描く場合、matplotlibを使うことが多かったけど、結構時間がかかるんだよな。。（慣れてないだけかも） エクセルのピボットグラフでやってみたら思った以上に簡単に、インタラクティブにグラフを描けるのでビックリした。これはす…

Browse the State-of-the-Art in Machine Learning | Papers With Codeでよく見るCOCO minivalとはなんぞやと思っていたが、 COCOのvalのうち5000件を取り出してvalidation setにしたものらしい。 物体検出ではこのデータセットを使うのが標準的らしい。なる…

aws s3 syncはバケットに入っているファイルが多いほど重くなる。 aws s3 cp --recursiveを使った方が良い。 aws configureでmax_concurrent_requestsの値を大きくすると速くなる。 参考： stackoverflow.com aws.amazon.com docs.aws.amazon.com

arr[arr < 0] = 0 でいける。簡単にかけていいなぁ。 参考： www.relief.jp

cv2.cvtColorに渡すndarrayの型をunit8にしたら直った。 参考： qiita.com

OpenCVがマルチバイト文字に対応していないのが原因。 以下の記事にcv2.imwriteを使わずにファイルを書き出す方法があるのでこれで解決出来た。 qiita.com

ArcFaceはinputの形としてchannel firstを想定しているが、channel lastで渡すとこのエラーが出る。 エラーメッセージから原因が想像できない。。 channel firstに変換すると直る。 参考： github.com

原因はnumpyのバージョン1.16.3からload関数の仕様が変わったため。 np.load('/path/to/file.npy', allow_pickle=True)のようにallow_pickle=Trueを追加するか、 numpyのバージョンを下げる。ただし、np.loadで悪意のあるファイルを読み込むと任意のコードが…

以下のように書きたくなるが、これはだめ。 tmp/ !tmp/tmp.txt フォルダの無視設定は後から書き換えられないらしい。以下のように各フォルダ毎に除外設定と例外設定をする必要がある。 tmp/* !tmp/tmp.txt tmp/tmp2/* !tmp/tmp2/tmp.txt なぜこんな仕様なん…

以下にフォーマットとコードサンプルがあり参考になりました。COCO形式のAnnotationを生成するのは結構めんどい。。 qiita.com qiita.com

原因はnumpyの不具合。 バージョン1.14.2だとだめで、1.16.0だと直る。 参考： github.com

・以下のサイトに記載されている学習データ量の目安 https://www.nakasha.co.jp/future/ai/yolov3train.html 最低：1カテゴリに対して100枚 基準：1カテゴリ1000枚 推奨：1カテゴリ5000、10000枚（高い精度と検出率、差異が少ない対象を扱っている場合、汎化…