人工知能（AI）とは、通常人間の知能を必要とするタスクを実行できるほど機械を賢くすることを目指す技術の一種です。これには学習から問題解決、そしてもちろん意思決定まで、あらゆるものが含まれます。システムは膨大な量のデータをAIシステムに供給し、複雑なアルゴリズムと人間のような思考プロセスに従って動作することで、学習と経験の獲得を行います。その応用範囲は、医療、金融、運輸から製造業に至るまで多岐にわたります。
しかし問題は、AIシステムがより知能的で洗練される一方で、新たな課題やリスクにも直面している点です。AIの開発・導入にあたっては、その安全性を確保する必要があり、これをAIセキュリティと呼びます。これは、AIシステムを攻撃から守り、意図した通りに安全に機能させることを意味します。
本記事では、AIシステムに関連する主なセキュリティリスク、その対処法、そしてSentinelOneがAIシステムを保護する方法を解説します。データポイズニング、モデル逆算、敵対的例など、AIモデルを標的とする様々な攻撃手法について議論します。
AIセキュリティとは？
AIセキュリティとは、AIシステムとその構成要素を、様々なセキュリティ脅威（敵対的攻撃など）や脆弱性（データポイズニングなど）から保護する分野です。これは、AIアプリケーションに関わるデータ、アルゴリズム、モデル、インフラを保護することを意味します。AIセキュリティの役割は、システムが安全かつ適切に機能していることを保証することです。これには、不正アクセスからデータ侵害、AIの機能や出力を損なう可能性のある攻撃まで、あらゆるものが含まれます。
AIセキュリティが不可欠な理由はいくつかあります：
- データ保護： 多くの AI システムは、膨大な量の機密データを扱います。したがって、データ漏洩を防ぐためにも、このデータの保護は不可欠です。
- モデルの完全性: 悪意のあるデータによる改ざんは、AIモデルの有効性を損なう可能性があります。したがって、モデルの完全性を維持することが必要です。
- 悪用防止: AIセキュリティは、攻撃者が有害な目的でAIシステムを悪用するのを防ぎます。
- 信頼性と普及:セキュリティの向上はAI搭載技術への信頼を高め、業界全体での普及促進につながります。
- コンプライアンス: 多くの業界ではデータ処理とAI利用に関して厳格な規制が課されています。AIセキュリティは組織がこうしたコンプライアンス要件を満たすのを支援します。
14のAIセキュリティリスクと脅威
あらゆるAIシステムに影響を与える多様なセキュリティリスクから保護するためには、組織はまずそれらのリスクを理解する必要があります。以下に、最も重大なAIセキュリティリスクと脅威を列挙します。
#1.データポイズニング
この攻撃では、攻撃者がAIの訓練に使用されるデータセットに不正なデータを入力します。この改ざんされたデータはAIの機能を改変し、誤った選択や予測を生じさせます。その後、新規または改変された誤ったデータポイントがデータセットに追加され、AIプロセスが正しく学習することを不可能にします。データポイズニングの影響は微妙なものに見えるかもしれませんが、危険であり、AIシステムのモデル性能を徐々に損なう可能性があります。
#2. モデル逆算攻撃
モデル逆算攻撃は、AI構築に使用された訓練データの復元を目的とします。攻撃者はモデルへの繰り返しクエリと出力解析だけで訓練データ情報を抽出可能です。これは特にAIが専有情報・個人情報で訓練された場合、深刻なプライバシー脅威となります。モデル逆算により専有情報や特定ユーザーのデータ漏洩が発生する恐れがあり、詳細な出力を提供するモデルでは特にリスクが高まります。
#3. 敵対的例
これはAIシステム、特に機械学習領域向けに特別に細工された、誤解を招く入力データである。攻撃者は入力データに微小でほとんど無視できる変更を加え、AIによるデータの誤分類や誤解釈を引き起こします。例えば、人間には見えないがAIが完全に誤分類するわずかに改変された画像などです。敵対的例を用いることで、AIベースのセキュリティシステムを回避したり、AI駆動システムの意思決定を操作したりすることが可能です。これは自動運転車、顔認識、マルウェア識別などの分野で特に顕著である。
#4. モデル窃取
この攻撃では、独自開発のAIモデルと同一または極めて類似した複製モデルが構築される。攻撃者は標的モデルに複数のクエリを送信し、その応答を利用して代替モデルを訓練する。これにより知的財産や競争優位性が盗まれる可能性があります。AIモデルをサービスとして提供する企業にとって特に重大です。複製されたモデルは競合サービスの構築や、オリジナルモデルの汎用的/セキュリティ上の欠陥発見に悪用される恐れがあります。
#5. プライバシー漏洩
AIモデルは、トレーニングデータセットから機密情報を記憶し漏洩する可能性があります。特定の質問を投げかけられた時や、出力を生成する際に発生する可能性があります。プライバシー漏洩は、個人データ、企業秘密、その他の機密情報に起因する可能性があります。自然言語処理モデルでは、トレーニングデータに基づいてテキストを生成する傾向があるため、これは重大な問題となる可能性があります。言うまでもなく、AIシステムを定期的に監査することで、こうした漏洩を慎重に回避する必要があります。
#6. バックドア攻撃
この攻撃は、トレーニング段階でAIモデルに悪意のあるバックドアを埋め込むものです。特定の入力によってこのバックドアが作動し、モデルが意図しない動作を引き起こす可能性があります。例えば、バックドアが仕込まれた画像認識システムは、特定パターンを含む画像を誤分類する可能性がある。大半のケースでモデルは正常に動作するため、発見が極めて困難な場合もある。この攻撃は重要なシナリオにおいてAIシステムの信頼性と安全性を損なう恐れがある。
#7. 回避攻撃
出力データは単純に入力データに基づいているため、これらの攻撃はAIベースの検知システムを迂回させるよう入力データを操作するものです。攻撃者はAIセキュリティ検知器を回避するため、コンテンツや動作を変更します。マルウェアはAIで動作するアンチウイルスプログラムに検知されないよう改変される可能性があります。これにより攻撃者は回避攻撃を成功させ、セキュリティを担当するAIが脅威を気づかれずにすり抜けさせることで無効化する懸念が生じる。
#8. データ推論攻撃
データ推論攻撃とは、攻撃者がAIシステムの出力パターンや相関関係を分析し、保護された情報を推論する攻撃である。間接的なデータの開示がプライバシー侵害につながるケースもある。隠れたパターンを発見する能力など、既存のAIプリミティブを利用するため、こうした攻撃への防御は困難な場合が多い。このリスクは、AIシステムが入力・出力できる内容を慎重に選択することの重要性を示している。AI強化型ソーシャルエンジニアリング
攻撃者がAIを活用し、極めて効果的で個別化されたソーシャルエンジニアリング攻撃を仕掛ける手法です。GenAIシステムは、ターゲットを説得するためのリアルなテキスト、音声、さらには動画コンテンツを生成できます。AIは、個々の受信者を標的にするために特別に設計されたフィッシングメールを作成することさえ可能です。これにより、従来型でより身近なソーシャルエンジニアリング脅威に高いリスクが加わります。これらの脅威は検出がますます困難になり、成功率が失敗率を上回っているためです。
#10.API攻撃
APIはAIシステムと他ソフトウェア間の重要な接続点であり、攻撃者にとって魅力的な標的となる。一般的な攻撃手法には、脆弱な認証による不正アクセス、モデル動作を汚染する入力操作、不安全なエンドポイントを通じたデータ抽出が含まれる。さらに、攻撃者は悪意のあるリクエストでAPIを過負荷状態に陥らせ、AIサービスを妨害することも可能です。必須のセキュリティ対策には、強固な認証、入力検証、レート制限、継続的な監視が含まれます。
#11. ハードウェアの脆弱性
AIシステムは効率的な処理のために専用ハードウェアに依存することが多いです。攻撃者はこのハードウェアの脆弱性を悪用してAIシステムを侵害する可能性があります。これには、消費電力や電磁放射などの物理信号から情報を抽出するサイドチャネル攻撃が含まれます。ハードウェアの脆弱性はソフトウェアレベルのセキュリティ対策を迂回し、攻撃者にAIシステムへの深いアクセス権を与える可能性があります。このリスクは、AIアプリケーションにおける安全なハードウェア設計と実装の必要性を強調しています。
#12.モデルポイズニング
データポイズニングがトレーニングデータセットの操作によって移動プロセス中に発生するのに対し、モデルポイズニングはAIモデルから直接発生し、2つの戦略で現れます。攻撃者は悪意を持ってモデルパラメータやアーキテクチャを改変します。これにより潜在的なバックドア攻撃が仕掛けられたり、予期せず気づかれない形でモデルの動作が変更されたりする可能性があります。モデルポイズニングは、複数の当事者がモデルのトレーニングに参加するフェデレーテッドラーニング環境において特に危険です。モデルポイズニングの検出は困難です。毒性効果は特定のトリガー条件下でのみ現れる可能性があり、モデルはクリーンな検証データでは良好な性能を維持することが多く、改変は微細で多くの重みに分散している場合があり、フェデレーテッドラーニング環境では、どの参加者が悪意のある更新を貢献したかを追跡することが困難だからです。
#13. 転移学習攻撃
転移学習攻撃は、事前学習済みモデルを基盤として特定のタスク向けに微調整する転移学習ベースのAIモデルを標的とする。特定の敵対的データを作成することで、基盤モデルに隠れたバックドアやバイアスを埋め込み、その後の専門的な微調整プロセスを経ても残存させる。これによりモデルに予期せぬ動作が生じ、実運用において安全性が損なわれたり信頼性が低下したりする可能性がある。多くの組織が時間とコスト削減のために事前学習済みモデルを利用するため、転移学習攻撃への懸念も存在します。
#14. 所属推論攻撃
この攻撃では、攻撃者は特定のデータポイントがAIモデルの訓練データに含まれていたかどうかを知ろうとします。攻撃者は特定の入力に対するモデルの出力結果から、訓練データに関する情報を得ることが可能です。これは明らかに重大なプライバシー脅威であり、特にモデルが非公開データや機密データで訓練されている場合に顕著です。
AIセキュリティリスクの軽減方法とは？
AIセキュリティリスクへの対処は、単一の解決策で済むものではありません。以下に、これらの脅威を最小限に抑えるための最も重要な5つの戦略を示します。
1.データ検証
組織は包括的なデータ検証を実施し、悪意のあるデータや破損したデータを特定・フィルタリングすべきです。これらは通常、入力データをクリーンアップし、AIシステムに供給できるようにするために使用されます。組織は異常検知アルゴリズムを活用し、トレーニングセットや検証セットにおける異常な動作を検出する必要があります。AIモデルのトレーニングやテストに使用されるデータセットの完全性を確保するため、頻繁な監査を実施すべきです。こうした対策により、データポイズニング攻撃を防ぎ、AIシステムにおける意図しないバイアスのリスクを最小限に抑えることができる。
2. モデルのセキュリティ強化
組織は、差分プライバシーなどの技術を用いて、モデルの正確な性能を維持しつつ、攻撃者が特定の個人に関する情報を抽出することを困難にする方法でトレーニングデータを訓練すべきである。組織は、ゼロポイントデータ漏洩のない共同AIトレーニングのために、セキュアマルチパーティ計算を導入すべきである。敵対的/悪意のある例を用いてモデルを定期的にテストし、より安全で堅牢なものにすることができる。AI モデルの安全性を確保し、改ざん防止を行うために、モデル暗号化およびセキュアエンクレーブを使用すべきである。
3. 強力なアクセス制御
組織は、AI システム内の各コンポーネントに対して、認証と認可の階層を確立すべきである。また、企業はAIモデルおよびトレーニングデータへのアクセスに対して多要素認証を有効化すべきである。
最小権限の原則を適用し、rootユーザーには必要最小限の権限のみを付与できる。インジェクション攻撃の可能性を特定し、様々な入力を試行することで、変更が必要なアクセス権限やデータベースの適切な権限設定への戻し方が明らかになる。また、開発者は不正アクセスや侵害を防ぐため、転送中のデータと保存データの双方に強力な暗号化を使用すべきである。
4.定期的なセキュリティ監査
組織はAIシステムの脆弱性を特定するため、定期的なセキュリティ評価を実施すべきです。システムセキュリティは自動化ツールと手動ペネトレーションテストを併用して評価します。コードレビューはAIアルゴリズム及びそれを支えるソフトウェアの脆弱性発見に活用されます。組織は既知の脆弱性から保護するため、AIシステムの全コンポーネントを最新状態に保ちパッチを適用すべきである。もう一つのベストプラクティスは24時間365日の監視体制を構築し、セキュリティインシデント発生時にセキュリティチームが即時対応できるようにすることである。
5. 倫理的なAI実践
組織は、ビジネスにおけるAIアプリケーションの許容可能な責任ある開発の境界を確立すべきです。システムの説明責任を果たすため、透明性を組み込む必要があります。モデルの成果を定期的に監視・評価し、双方向の利益（つまりAI出力に組み込まれたバイアス）を特定します。インシデント対応プレイブックを用いて、AI侵害やその他の倫理的問題に迅速かつ効果的に対応します。組織はAI開発者およびユーザー向けにセキュリティと倫理に関するトレーニングを実施すべきである。
SentinelOneはどのように支援できるか？
SentinelOne は、AI セキュリティを向上させるための重要な機能の一部を提供しています。同社はAI機能を活用したセキュリティを提供するだけでなく、AI自体の保護にも貢献します。その方法は以下の通りです：
- 自律的な脅威検知:SentinelOneは人工知能を活用し、脅威を自律的に検知・対応します。これによりAIシステムはインフラ攻撃を含む多様な攻撃に対してより耐性を持ちます。
- 行動分析AI:本プラットフォームは行動分析AIを用いて、セキュリティ侵害の兆候となり得る異常な行動や活動を特定します。シグネチャで記述される通常のシステムでは検出できない新しいタイプの攻撃を発見するのに役立ちます。
- 自動応答： SentinelOne には自動脅威対応機能が付属しています。脅威が検出されると、システムは直ちにリスクを軽減および封じ込めるための措置を講じ、AI システムへの被害を軽減します。
- エンドポイント保護：SentinelOne のエンドポイントセキュリティエンドポイントを保護し、不正なユーザーによるAIシステムへのアクセスやデータ流出の試みを防止します。
- ネットワーク可視性:ネットワーク全体の完全な可視化により、AIシステムへの全チャネルにおけるデータフローを追跡。これにより、情報の漏洩や不正アクセス者の侵入試行を組織が検知可能。
The Industry’s Leading AI SIEM
Target threats in real time and streamline day-to-day operations with the world’s most advanced AI SIEM from SentinelOne.
Get a Demo結論
これらの最新技術の導入には、セキュリティ強化型AIの必要性が伴い、これは精査すべき重要な領域である。あらゆる分野でAIシステムが進化し、多様な脅威や脆弱性からの保護を必要とする中、より多くの組織がAIを活用するにつれ、その重要性はさらに高まるだろう。組織は、データポイズニング、モデル逆算、敵対的攻撃など、AIに起因する可能性のあるリスクを認識する必要があります。
このため脅威に対抗するには包括的なセキュリティ対策が不可欠です。具体的には、強固なデータ検証、高度なモデルセキュリティ、安全なアクセス制御、定期的なセキュリティ監査、倫理的なAI実践などが挙げられます。これらの戦略は、組織がAIシステム、データプライバシー、そしてアルゴリズムから導かれるあらゆる意思決定と出力の完全性を保護するのに役立ちます。
SentinelOneは、AIシステムにとって重要な箇所でセキュリティを提供します。AIを活用したセキュリティソリューションは、組織が脅威にリアルタイムで対応することを支援します。将来のAI技術のニーズを満たすセキュリティを維持するための積極的なアプローチの必要性は、常に変化する目標であり続けるでしょう。
FAQs
データポイズニング、モデル逆算、敵対的例、プライバシー漏洩、バックドア攻撃といった主要なセキュリティ脅威と、それらに対する解決策です。これらのリスクは全てAIシステムの動作に影響を及ぼします。
サイバー攻撃者がAIシステムを侵害する方法は多岐にわたり、モデル窃取、回避攻撃、API悪用などが挙げられます。攻撃者はまた、AIモデルからテキストコンテンツや機密データを抽出する手法、あるいは微妙な入力特性を悪用してモデル出力を操作する方法を用いる可能性があります。
AIシステムは、ソーシャルエンジニアリングの手法を高速化し、各ユーザーに合わせてカスタマイズすることでサイバー攻撃を強化できます。具体的には、信憑性の高いフィッシングメール、ディープフェイク、その他の有害コンテンツを生成し、被害者を騙す可能性を高めることが考えられます。
説明可能性は、AIモデルの意思決定の背景にある理由を明らかにするため、サイバー脅威に対する防御の重要な要素です。こうした透明性確保策により、AIシステム内のバイアス、脆弱性、予期せぬ動作を検出するための開示が可能になります。
組織は、強力なデータ検証の実施、モデルセキュリティの強化、アクセス制御の強化、定期的なセキュリティ監査の実施、倫理的なAI実践の開発を通じて、AIセキュリティリスクを軽減できます。
AIモデルのセキュリティ確保に活用できるツールには、差分プライバシーフレームワーク、フェデレーテッドラーニングプラットフォーム、モデル暗号化ソリューション、SentinelOneなどのAIベースセキュリティ監視システムなどがあります。これらのサービスは複数のセキュリティ脅威や脆弱性から防御します。
