敵対的サンプル攻撃とは？AIが微小なノイズで誤判定する仕組み

1. 攻撃の仕組みを図で見る

通常の画像分類では、入力画像をAIに渡し、 学習済みモデルがクラスを予測します。

攻撃者は画像の画素値などを調整し、 モデルが誤った出力を返すような入力を探します。

この改変は、必ずしも完全に見えないとは 限りません。人間が気付きにくいほど小さい場合も、 明らかに見える模様を使う場合もあります。

2. なぜ小さな変化で判定が変わる？

画像分類AIは、画像の意味を人間と同じ方法で 理解しているわけではありません。 入力画素から特徴を計算し、学習した判定規則に 基づいて結果を返します。

入力が判定境界の近くにある場合、 少しの変化で境界の反対側へ移ることがあります。

重要なのは、ノイズを無作為に加えるのではなく、 モデルの判定を変えやすい方向へ入力を 変化させる攻撃があることです。

3. ランダムなノイズとは何が違う？

画像にノイズを加えれば、必ず攻撃が成立する わけではありません。

Goodfellowらは、入力に対してモデルの損失が 増える方向に摂動を加える手法を示しました。 これがFGSM（Fast Gradient Sign Method）です。

この式は、入力値をどちらへ変えると モデルの損失が増えるかを利用します。 実際には画素値の許容範囲への制限なども 考慮します。

4. どの段階を狙う攻撃なのか

AIに対する攻撃は、学習時を狙うものと、 学習済みモデルを使う推論時を狙うものに 分けて考えると理解しやすくなります。

敵対的サンプルは、特に推論時の回避攻撃で 重要な概念です。ただし、敵対的に細工された データが学習工程で使われる場合もあるため、 攻撃を分類するときは目的と介入時点も見ます。

5. 似た攻撃の仕組みも図解で理解する

攻撃名が似ていなくても、選択肢として一緒に 登場することがあります。 それぞれの攻撃で「何を操作するのか」 「何を得ようとするのか」を確認しましょう。

6. 実際のシステムではどう備える？

AIの予測結果をそのまま重要な判断に使う場合、 意図的に改変された入力を受け付ける可能性も 考慮する必要があります。

これらは攻撃への耐性を高めるための対策です。 前処理や敵対的学習だけで、 あらゆる敵対的サンプルを防げるわけではありません。

7. 理解を確認する

まとめ

敵対的サンプル攻撃は、AIへの入力を意図的に 改変し、誤った判定を引き起こす攻撃です。

人間には小さく見える変更であっても、 モデルの特徴計算や判定境界に対して 大きな影響を与える場合があります。

敵対的サンプル：入力を細工して判定を変える
データ汚染：学習工程を狙う
モデル反転：モデルから情報を推定・復元する