boto3のS3.Client.download_fileメソッドを使って大量のファイルをダウンロードすると、aws cliでダウンロードするよりかなり遅い。 boto3.amazonaws.com 理由はdownload_fileは同期処理なのに対してaws cliはマルチスレッド（ちゃんと調べてないのでマルチ…

いつもPyCharmを複数起動しているせいか、非常に重くてイライラしていたが、軽くする方法を見つけたのでメモ。 設定の「Upload changed files automatically to the default server」をAlwaysからNeverに変更するとかなり軽くなった。 手動でファイルをアッ…

原因はTensorFlowとCUDAとcuDNNのバージョンが一致していないため。 tensorflow-gpu==1.15.3ではCUDA10.0とcuDNN7を使わないといけない。 DockerHubから以下のコンテナをpullして使うとエラーが出ず、GPUを使って学習出来た。 nvidia/cuda:10.0-cudnn7-devel…

Facebook製のライブラリのhydraを使ってconfigファイルを読み込んでいたところ、gcログが標準出力に出るようになってしまい鬱陶しかった。 以下の設定で使っていたが、disable_existing_loggersをtrueにするとgcログが出なくなった。ググってもdisable_exist…

どうもコンパイラに渡すオプションが間違っているっぽい。恐らくpycocotoolsのインストール時にコンパイルを実行するが、そのコンパイラがpycocotoolsの作者の環境とユーザの環境で違うのが原因だろう。 以下を実行するとインストールできる。 pip install g…

LinuxとWindow両方に対応する場合、パスの違いが問題になるが、Pythonだと掲題の通り自動的にCドライブのrootからパスをたどってくれるっぽい。（ドライブをどんな仕様で決めているかは不明なので、Dドライブで実行したらDドライブのrootからになるかも？） …

原因はlog_parametersに渡したパラメータの値にnanがあったこと。nanをNoneに変換して回避した。