CNNによる画像の分類で、モデルが画像のどの領域に注目して判断したかを、勾配の情報を用いてヒートマップとして可視化する手法として、最も適切なものを1つ選びなさい。
- ①LIME
- ②SHAP
- ③Grad-CAM
- ④CAM
答えと解説を見る
Grad-CAM(Gradient-weighted Class Activation Mapping)は、CNNによる画像の分類で、あるクラスの予測に対する勾配の情報を使って、最後の畳み込み層の特徴マップのどの部分がその判断に大きく影響したかを求め、画像の上にヒートマップとして重ねて表示する手法です。たとえば「犬」と判断したときに、犬の顔のあたりが強く色付けされれば、モデルが妥当な根拠で判断していると確認できます。モデルの判断の根拠を人が確かめるための、説明可能なAI(XAI)の代表的な手法です。
他の選択肢が不適切な理由
・LIME:予測を説明したいデータの周辺で、単純で解釈しやすいモデルを使って複雑なモデルの振る舞いを近似し、判断の根拠を説明する手法です。
・SHAP:協力ゲーム理論のシャープレイ値の考え方を用いて、各特徴量が予測にどれだけ貢献したかを求める手法です。
・CAM:Grad-CAMの前身となった手法で、Global Average Poolingを持つCNNの重みを使って注目領域を示します。勾配の情報は使わないため、本問の説明には当てはまりません。
覚え方のポイント
「Grad-CAM=勾配(Grad)を使った、画像の注目領域のヒートマップ」。画像に特化した可視化の手法として、LIMEやSHAPと区別しましょう。