日々精進

新しく学んだことを書き留めていきます

AI

pd.read_excelでエクセルファイルを読み込むと「ValueError: Unknown engine: openpyxl」エラー

AI

このエラーメッセージでググるとopenpyxlをインストールしてengine='openpyxl'を引数に指定しろという情報があるが、これをやっても直らないので困った。。 原因はpandasのバージョン。1.0.1以上でないとだめらしい。 pip install -U pandas を実行してバー…

unzipコマンドで解凍してできたファイル名が文字化けしている問題

AI

unzip -O sjis hoge.zip のように文字コードを指定すると直った。自動で判定とかしてくれればいいのに。。 参考: qiita.com

TensorFlowの不具合調査をしやすくする

AI

TensorFlowで学習しているとlossがnanになり、その原因を調査することがあったが、かなり大変だった。。 不具合調査の時に、調査しやすくするために不具合の再現性を確保するために以下記事を参考にSeedを固定した。 参考: qiita.com

YOLOを学習するとIoUなどがnanになる

AI

学習途中で出力される評価指標がnanになることがあるが正常らしい。評価指標の計算式的に仕方ないのかも?ずっとnanが続くようだとだめだけど、学習データの中に物体のlabelが一つも含まれないような場合ではnanになるのは正常らしい。 参考: github.com

PyCharmのSSH Interpreterで実行時にファイルをアップロードしてくれない問題

AI

PyCharmのSSH Interpreterは便利だけど、使ってるといつの間にかサーバに修正したソースコードを自動でアップロードしてくれる機能が動かなくなることがよくある。。 その原因はdefault serverの設定がなぜか外れることっぽい。アップロードされなくなったら…

mish活性化関数を使う

AI

pip install tensorflow-addonsでTensorFlowのaddonを入れると使えるようになる。 import tensorflow_addons as tfa ... tfa.activations.mish(x) 参考: www.tensorflow.org

tf.keras.Model.saveを呼ぶと「TypeError: Input 'resource' of 'AssignVariableOp' Op has type float32 that does not match expected type of resource.」エラー

AI

デバッグのためtf.debugging.experimental.enable_dump_debug_info を呼んでいたが、これが原因だった。これを呼ばないようにすると直った。 参考: github.com

logging.config.dictConfigを実行すると「AttributeError: 'NoneType' object has no attribute 'flush'」エラー

AI

原因はabsl-pyがデフォルトのログハンドラを書き換えてしまい、かつそいつがsys.stderrがNoneになる場合を考慮していないため。 恐らくPythonを別のプロセスからConsoleを表示させず起動すると標準エラー出力の出力先が無くてNoneになる。 無理矢理だけど、l…

environment.yamlでconda仮想環境を作ろうとするとdlibインストール時にエラーが発生する

AI

dlibインストール時にcmakeを使ってビルドするようで、cmakeが入ってないとエラーがでる。 environment.yamlを使うならdlib以外をyamlを使ってインストールして、その後手動でdlibを入れるとかになりそう。。 手動の手順が入るのが嫌だったのでbatファイルで…

conda activate/deactivateをbatファイルで実行するとそれ以降のコマンドが実行されない

AI

activate/deactivateを実行する場合は以下のようにcallを頭につけないといけない。色々罠があるなぁ。。 echo y | conda create --name myenv python=3.7.9 call conda activate myenv pip install cmake==3.18.4.post1 参考: github.com

precisionやrecallの値を計算できない場合、どう処理するべきか

AI

precisionやrecallの値をクラス毎に出し、その平均を取りたいという場合、 precisionやrecallの計算式の分母が0になり計算できなかったらどうするか。 precisionやrecallの分母が0ということはPositiveと予測したものの数が0か、LabelがPositiveであるサンプ…

conda installで「CondaValueError: Malformed version string '~': invalid character(s).」エラー

AI

condaのバージョンを上げると直った。以下を実行するとバージョンアップできる。 conda upgrade -n base conda 参考: stackoverflow.com

Pythonのテストコードでglobalな状態を変更しても他のテストの実行結果に影響を与えないようにしたい

AI

Config.PARAM = "1" のようにstaticな変数にパラメータを保持しているような場合、これを変更するテストコードがあると、そのテストコード以降に実行される別のテストコードがコケることがある。 他のテストに影響を与えないようにしたいので、fixtureを使っ…

C#(.NET)のBitmapDataクラスを使うと画像データのチャネルがBGRになる

AI

C#からPythonに画像ファイルを渡すとチャネルの並びがBGRになるという現象がおきた。 BitmapDataのデータをByte配列に変換し、先頭の要素の値を確認すると、RGB画像の先頭のピクセルの色の並びと違っていた。つまり、BGRになっていた。 以下のような記事もあ…

str([elem])はelemの__repr__を呼び出す

AI

str()でlistをシリアライズしようと思ったときのこと。 各クラスの文字列表現を変更したかったので strを各クラスで実装し、listに詰めてstr(lst)のようにstr()に渡したがstrが呼ばれない。。 調べてみると、str(lst)はlstの各要素のreprを呼ぶらしい。lstは…

yaml.load時に「UnicodeDecodeError: 'ascii' codec can't decode byte」エラー

AI

文字コードを適切に指定していなかったため。 例えば以下のように指定すると直る。 with open(config, 'rt', encoding='utf8') as yml: config_obj = yaml.load(yml) 参考: github.com

OpenCVでwmvファイルを読み込むと総フレーム数やFPSの値がバグる

AI

get(cv2.CAP_PROP_FPS) や get(cv2.CAP_PROP_FRAME_COUNT) を実行すると1000とかデタラメな数字になる。 総フレーム数/FPSで動画の秒数になるかと思ったが、ならない。 これじゃあwmvをInputにして推論できないじゃん。。 3g2ファイルは大丈夫だった。 参考:…

Pythonのログファイル出力先を動的に変更する

AI

調べた限り、出力先だけを修正することはできず、 logging.config.dictConfig(config)でログ周りの設定を一括で行い、 出力先も修正することになりそう。 例えば以下のような感じ config: dict = self._load_config() if "myFileHandler" in config["handler…

cv2.VideoCapture.get(cv2.CAP_PROP_FRAME_COUNT)が返す総フレーム数は正確では無い

AI

以下によると、get(cv2.CAP_PROP_FRAME_COUNT)は動画の大体の総フレーム数を返すらしい。 stackoverflow.com 正確な総フレーム数を計算するのって時間かかるのかな・・かなり謎な仕様だ。

aws s3 syncやaws s3 cpを速くする

AI

aws s3 syncはバケットに入っているファイルが多いほど重くなる。 aws s3 cp --recursiveを使った方が良い。 aws configureでmax_concurrent_requestsの値を大きくすると速くなる。 参考: stackoverflow.com aws.amazon.com docs.aws.amazon.com

COCO minivalとは

AI

Browse the State-of-the-Art in Machine Learning | Papers With Codeでよく見るCOCO minivalとはなんぞやと思っていたが、 COCOのvalのうち5000件を取り出してvalidation setにしたものらしい。 物体検出ではこのデータセットを使うのが標準的らしい。なる…

ndarrayのマイナスの値を0にする

AI

arr[arr < 0] = 0 でいける。簡単にかけていいなぁ。 参考: www.relief.jp

「error: (-2:Unspecified error) in function '__cdecl cv::impl::`anonymous-namespace'::CvtHelper<struct cv::impl::`anonymous namespace'::Set<3,4,-1>,struct cv::impl::A0xe227985e::Set<3,4,-1>,struct cv::impl::A0xe227985e::Set<0,2,5>,2>::CvtHelper(const class

AI

cv2.cvtColorに渡すndarrayの型をunit8にしたら直った。 参考: qiita.com

cv2.imwriteで書き出すファイルのパスに日本語が入っていると文字化けする

AI

OpenCVがマルチバイト文字に対応していないのが原因。 以下の記事にcv2.imwriteを使わずにファイルを書き出す方法があるのでこれで解決出来た。 qiita.com

ArcFaceを動かすと「Shape of unspecifie arg: conv0_weight changed. This can cause the new executor to not share parameters with the old one. Please check for error in network.If this is intended, set partial_shaping=True to suppress this warning」エラー

AI

ArcFaceはinputの形としてchannel firstを想定しているが、channel lastで渡すとこのエラーが出る。 エラーメッセージから原因が想像できない。。 channel firstに変換すると直る。 参考: github.com

ArcFaceを動かすと「Object arrays cannot be loaded when allow_pickle=False」エラー

AI

原因はnumpyのバージョン1.16.3からload関数の仕様が変わったため。 np.load('/path/to/file.npy', allow_pickle=True)のようにallow_pickle=Trueを追加するか、 numpyのバージョンを下げる。ただし、np.loadで悪意のあるファイルを読み込むと任意のコードが…

MS COCO形式のAnnotationのフォーマット

AI

以下にフォーマットとコードサンプルがあり参考になりました。COCO形式のAnnotationを生成するのは結構めんどい。。 qiita.com qiita.com

conda env create -f environment.yamlを実行してもpipのパッケージがインストールされない

AI

condaのパッケージはインストールされるのに、なぜ。。 ログは以下のような感じ。 Ran pip subprocess with arguments: ['C:\\Users\\name\\AppData\\Local\\Continuum\\miniconda3\\envs\\myenv\\python.exe', '-m', 'pip', 'install', '-U', '-r', 'C:\\my…

pip installでPermission Errorが出た場合は--userを付ける

AI

Permission Errorが出る原因は権限の無いところにパッケージを保存しようとしているからなので、 --userを付けてログインしているユーザの領域に保存するようにすればいい。 参考: pyteyon.hatenablog.com

良いモデルの探し方

AI

物体検出など特定のタスクを実行するモデルの探し方。 普通は「精度」「速度・メモリ使用量」がトレードオフになっているのでそのバランスが要件に近いものを探す。 基本方針は「自分で網羅的にモデルを探すのは難しいので、網羅的に調べている人の調査結果…