日々精進

新しく学んだことを書き留めていきます

2022-08-07から1日間の記事一覧

daskで何故か使用メモリ量が大幅に増えるケースがある

AI

手元のデータセットで以下のコードを実行すると使用メモリ量が2GB程度増えた。 def _get_difference(self, num_feat_names: List[str], num_feats: DataFrame) -> DataFrame: def diff(df: DataFrame) -> DataFrame: return df.diff(1) npartitions: int = m…