最近、機械学習モデルの予測結果を説明する手法が話題になっているので いくつか調べてみた。
Azureには予測結果を説明する機能がある。テーブルデータを説明する場合はSHAPを使うのが一般的っぽい。 SHAPの実行結果をどうグラフに表示するかは参考になりそう。
上記のサイトの中にIndividual Conditional Expectation (ICE) plotというものが出てくるが、これは各サンプルについて、ある1つのfeatureの値を変化させて予測結果がどう変化するかを線グラフで表示したもの。これでなんとなくfeatureが予測結果にどう影響しているかがわかる。
参考： qiita.com
