WSL2を使っていると、ext4.vhdxというファイルの容量がすごく大きくなることがある。これを小さくする方法としてOptimize-VHDを使う方法がよく紹介されているが、これはHyper-Vの機能の一つらしく、Hyper-VはWindows11 Proでないと使えないのでWindows11 Hom…

ターミナルの右上の＋ボタンをクリックして新しくターミナルを開き、その後既存のターミナルを削除すればよい。 参考： www.javadrive.jp

/var/lib/docker/overlay2の容量をdu -sh /var/lib/docker/overlay2で調べたところかなり大きかったのでびっくりしたが、以下によるとduでは正確な容量を調べられないらしい。 www.creationline.com /var/lib/docker/overlay2の容量を手っ取り早く削減するた…

DockerHubのnvidia/cuda:11.5.2-devel-ubuntu20.04をベースイメージとしてコンテナを作り、その上でcudfを動かすと掲題のエラーが出た。 原因はLD_LIBRARY_PATHで指定しているcudaのパスが間違っていること。多分ベースイメージでは以下の環境変数が設定され…

TrainingJobを起動したのに、エラーメッセージは「CreateProcessingJobを実行したけど、processing jobのservice limitに引っかかったよ」と言っている。 TrainingJobを起動したはずなのになぜ・・と思ったら、TrainingJobは裏でProcessingJobを起動している…

以下のサイトで過去の各コンペのwinner solutionがまとめられている。こんな便利なものがあったとは・・・！ https://farid.one/kaggle-solutions/ 作者の方に感謝します。

手元のデータセットで以下のコードを実行すると使用メモリ量が2GB程度増えた。 def _get_difference(self, num_feat_names: List[str], num_feats: DataFrame) -> DataFrame: def diff(df: DataFrame) -> DataFrame: return df.diff(1) npartitions: int = m…

以下のようにdecoratorを定義すると、@timerを付けたメソッドの戻り値の型がAnyになってしまい、不便。 def timer(fn) : from time import perf_counter def inner(*args, **kwargs): print(f'start {fn.__name__} {CommonUtil.now_datetime_for_log()}') Co…

今まで def func() -> (DataFrame, str): のように書いてたけど、これだとPyCharmでは戻り値の型を正しく推論できないことがあった。つまり、以下のようにfuncの戻り値をa,bで受けた後、a.まで入力してもDataFrameのメソッドが補完候補に出ない。 a, b = fun…

原因は依存関係がoptionalだったため。例えばspring-data-redisだと、jedisは依存ライブラリではあるが(optional)と記載されている。 https://mvnrepository.com/artifact/org.springframework.data/spring-data-redis/2.7.2 optionalは複数のライブラリのど…

@dataclass class MyClass: _myvar のように@dataclassを使っていると、initを自動生成してくれて便利だが初期化時に何か処理を追加したい場合に困る。 以下のようにpost_initメソッドを実装するとinitを実行した後で実行してくれるので便利。これでdef init…

原因は、sagemaker training jobはtrainという名前のスクリプトファイルを最初に実行するが、そのファイルの改行コードがCRLFになっていたため。LFにしたら直った。 参考： stackoverflow.com

Pandasの場合は以下のようにgroupbyしてからdiffを呼ぶと1行前とのdiffが取れるが、daskにはdiffメソッドがない。 features[num_features + ["customer_ID"]].groupby(["customer_ID"]).diff(1) daskの場合、map_overlapメソッドを使って実装する。 diffや移…

WSL2からアクセスできるパス（「\wsl.localhost\Ubuntu\opt\ml\mypj」のような感じ）をPyCharmで開いて開発していると、掲題のエラーが発生した。PyCharmを開いてすぐは大丈夫だけど、たまにエラーが出る感じ。一旦発生するとWSLを再起動しないと直らないの…

pd.concat([df1, df2], axis="comuns") のようにして列方向に連結する場合、df1とdf2のindexが同じ行同士を結合させるので、indexの値が揃ってないと例えば「df1にあった列はすべてnanでdf2にあった列にだけ値が入っている行」とかが出来てしまう。 reset_in…

pd.concat([df1, df2], axis="comuns") のようにして列方向に連結する場合、df1とdf2のindexが同じ行同士を結合させるので、indexの値が揃ってないと例えば「df1にあった列はすべてnanでdf2にあった列にだけ値が入っている行」とかが出来てしまう。 reset_in…

以下のIssueでcommitterが2.10はbuggyなので使わないでと言っている。じゃあリリースバージョンにbetaとかつけてほしい。。 github.com 3.0.0の使用を推奨しているが、もう2年ぐらいリリース止まっているので別のライブラリに乗り換えた方がよさそう。

通常、SageMaker PipelinesからTrainingJobを実行した場合、以下の方法でログを見る。 SageMakerStudio＞SageMaker resourcesでProjectを選択＞Pipelineを選択＞Pipeline Executionを選択＞Stepを選択＞Logsタブを選択＞「View logs in CloudWatch console」…

以下の記事を書いたときとは別の原因で掲題のエラーが発生した。 anton0825.hatenablog.com 原因は、学習時と精度検証時で使用するモデルを取り違えていたこと。 特徴量生成のコードを修正しているときで、学習回す度に特徴量の数が変わっていた。ちょっと古…

CloudWatchでログを見てもエラーメッセージは出ておらず、TrainingJobの詳細画面には以下のメッセージが出ていた。 Failure reason InternalServerError: We encountered an internal error. Please try again. 原因はディスク容量不足だった。TrainingJobの…

以下のように、assertThrowsでExceptionがthrowされることをテストする場合。 assertThrows(Exception.class, () -> myObj.method()); 想定通りの例外がthrowされた場合でも以下のようなエラーメッセージがログに出るので邪魔くさい。 Exception in thread "…

SageMakerの各種インスタンスタイプ毎のQuota初期値一覧は以下にある。 docs.aws.amazon.com 大体が初期値0になっていて申請しないと起動出来ないのは厳しい。。EC2インスタンスの方はQuotaかなり緩い印象なのになぁ。 SageMaker マネージドスポットトレーニ…

以下で報告されている現象。 https://youtrack.jetbrains.com/issue/PY-42002?_gl=1*1q9e4t1*_ga*MTE3NTIyMjkwNC4xNjU3NjEyMzcz*_ga_9J976DJZ68*MTY1ODU4MDI3MC41LjEuMTY1ODU4MDMxNS4w&_ga=2.156628978.851950059.1658580270-1175222904.1657612373 PyCharm…

以下のIssueで報告されている現象。これが起きると、インターネットと通信出来なくなるので困る。 github.com まだ未解決のようだが、一旦workaroundとして、以下を実行すると消えなくなる。 sudo sh -c "echo 'nameserver 8.8.8.8' > /etc/resolv.conf" # …

以下のような感じで例外がthrowされることをテストした場合。 assertThrows(Exception.class, () -> obj.method()); 想定通りのExceptionが出てテストが成功する場合でも、「Exception in thread "pool-1-thread-1" java.lang.RuntimeException」みたいなエ…

以下のように表示されていたら、mockito-core:1.9.5はhamcrest-core:1.1に依存しているが、他のライブラリの依存関係から実際にインストールされているバージョンは1.3になっているよという意味。 +--- org.mockito:mockito-core:1.9.5 | +--- org.hamcrest:…

エラーメッセージからはメインクラスの指定が間違っているとかクラスパスが正しくないとかそういう原因かなと思ったが、 真の原因はCommand line is too longエラーだった。（IntelliJでテスト実行する時に良く起きるやつ） Run/Debug Configuration画面のSh…

文字列カラムを数値型に変換する場合。以下のようにpd.to_numericを使うと数値に変換できない場合はnanになる。 df['col'] = pd.to_numeric(df['col'], errors='coerce') 参考： stackoverflow.com

以下のようにする。 num_train = df.select_dtypes(include=[np.number]) 参考： stackoverflow.com

原因は、pysenがgitコマンドを実行した時にエラーが発生したこと。git statusコマンドを実行したところ、以下のエラーメッセージが出た。 fatal: unsafe repository ('/opt/ml/code/kaggle' is owned by someone else) To add an exception for this directo…