2026年のAIセキュリティリスク トップ14

はじめに

人工知能（AI）は、通常は人間の知能を必要とするタスクを実行できるほど機械を賢くすることを目的とした技術の一種です。これには、学習から問題解決、そしてもちろん意思決定まで、あらゆるものが含まれます。システムは、学習して経験を積むために、複雑なアルゴリズムと人間のような思考プロセスに従って動作するAIシステムに大量のデータを供給します。その応用範囲は、医療、金融、輸送から製造分野まで、さまざまな領域に及びます。

しかし問題は、AIシステムがよりインテリジェントかつ高度になるだけでなく、新たな課題やリスクにも直面していることです。AIを開発および導入する際には、そのセキュリティを確保する必要があり、これをAIセキュリティと呼びます。これは、AIシステムを攻撃から保護し、意図したとおりに安全に機能することを確実にすることを意味します。

AIセキュリティとは何か？

AIセキュリティは、AIシステムとその構成要素を、さまざまなセキュリティ脅威（例：adversarial attacks）や脆弱性（例：data poisoning）から保護する分野です。これは、AIアプリケーションに関わるデータ、アルゴリズム、モデル、インフラストラクチャを保護することを意味します。AIセキュリティの役割は、システムが安全で適切に動作していることを確実にすることです。これには、不正アクセスからデータ侵害、さらにはその機能や出力を損なう可能性のあるAIへの攻撃まで、あらゆるものが含まれます。

AIセキュリティが不可欠である理由はいくつかあります:

1. データ保護: 多くのAIシステムは大量の機微データを扱います。そのため、このデータを保護することは、データ侵害の防止に役立つため必要です。
2. モデルの完全性: 悪意のあるデータによる改ざんは、AIモデルの有効性を損なう可能性があります。したがって、モデルの完全性を維持することが必要です。
3. 悪用の防止: AIセキュリティは、攻撃者が有害な目的でAIシステムを悪用することを防ぐのに役立ちます。
4. 信頼と導入: セキュリティが向上すれば、AI対応技術への信頼も高まり、業界全体での導入拡大が促進されます。
5. コンプライアンス: 多くの業界では、データの取り扱いとAIの利用に関して厳格な規制が課されています。AIセキュリティは、組織がそのようなコンプライアンス要件を満たすのに役立ちます。

14のAIセキュリティリスクと脅威

あらゆるAIシステムに影響を与える多種多様なセキュリティリスクから保護するために、組織はまずそれらのリスクが何であるかを理解しなければなりません。以下は、最大のAIセキュリティリスクと脅威です。

#1. データポイズニング

この攻撃では、攻撃者はAIの学習に使用されるデータセットに不正確なデータを入力します。この破損したデータはAIの機能を変更し、誤った選択や予測を生み出す可能性があります。その後、新規または改変された偽のデータポイントがデータセットに追加され、AIプロセスが正しく学習することが不可能になります。 data poisoning の影響は一見わずかに見えても、危険であり、AIシステムのモデル性能を徐々に損なう可能性があります。

#2. モデル反転

モデル反転攻撃はいずれも、AIの作成に使用された学習データの復元を試みます。攻撃者は、モデルに繰り返しクエリを送信し、その出力を調べるだけで、学習データに関する情報を抽出できます。これは深刻なプライバシー上の脅威であり、特にAIが専有情報や個人情報で学習されている場合に当てはまります。モデル反転により、専有情報や特定の個人ユーザーのデータが漏えいする可能性があります。これは、具体的または詳細な出力を提供するモデルにおいて特にリスクとなります。

#3. 敵対的サンプル

これらは、特に機械学習分野におけるAIシステム向けに特別に細工された、誤解を招く入力です。攻撃者は入力データにごく小さく、ほとんど無視できる変更を加えますが、その結果、AIがデータを誤分類または誤解釈するようになります。たとえば、人間には見えないほどわずかに変更された画像が、AIにそれを完全に誤分類させることがあります。 adversarial examples を使用することで、AIベースのセキュリティシステムを回避したり、AI駆動型システムの意思決定を操作したりすることができます。これは、自動運転車、顔認識、マルウェア識別などの分野で特に当てはまります。

#4. モデル窃取

この攻撃では、独自のAIモデルの複製、またはそれに非常に近いものが構築されます。攻撃者は標的モデルに複数のクエリを送信し、その応答を使用して代替モデルを学習させます。これは、知的財産や競争優位性の窃取につながる可能性があります。これは、AIモデルをサービスとして提供する企業にとって特に重大です。コピーされたモデルは、競合サービスの構築や、元のモデルにおける一般的な欠陥/セキュリティ上の欠陥の発見に利用される可能性があります。

#5. プライバシー漏えい

AIモデルは、学習データセット内の機微情報を記憶し、漏えいする可能性があります。これは、モデルが特定の質問をされたときや、出力を生成したときに起こり得ます。プライバシー漏えいは、個人データ、企業秘密、またはその他の機微情報に起因する可能性があります。自然言語処理モデルでは、このようなモデルが学習データに基づいてテキストを生成する傾向があるため、これは責任問題になり得ます。言うまでもなく、このような漏えいはAIシステムを定期的に監査することで慎重に回避しなければなりません。

#6. バックドア攻撃

この攻撃では、学習段階でAIモデルに悪意のある backdoors を埋め込みます。このようなバックドアは特定の入力によってトリガーされ、モデルが意図しない動作をする可能性があります。たとえば、バックドア化された画像認識システムは、特定のパターンが画像内に存在する場合に画像を誤って分類する可能性があります。ほとんどの場合、モデルは通常どおりに動作するため、これらは見つけるのが非常に難しいことがあります。この攻撃は、重要なシナリオにおけるAIシステムの信頼性と安全性を損なう可能性があります。

#7. 回避攻撃

出力データは単にそれに提供された入力に基づいており、これらの攻撃は、その入力データをAIベースの検知システムを回避できるように操作することで構成されます。攻撃者は、AIセキュリティ検知器を回避するために、コンテンツや動作を変更します。マルウェアは、AIを使用して動作するアンチウイルスプログラムによって検知されないように改変される可能性があります。これは攻撃者による回避攻撃を助長し、セキュリティを担うAIが、脅威を気付かれないまま通過させることで無効化される可能性があるという懸念を高めます。

#8. データ推論

データ推論攻撃とは、攻撃者がAIシステムの出力に含まれるパターンや相関関係を分析し、それらを利用して保護された情報を推測できる場合を指します。場合によっては、間接的なデータの開示もプライバシー侵害を引き起こす可能性があります。これらの攻撃は、隠れたパターンを発見する能力など、既存のAIの基本機能を利用するため、防御が難しいことがよくあります。このリスクは、AIシステムが何を入力し、何を出力できるかを慎重に選択することの重要性を示しています。

#9. AI強化型ソーシャルエンジニアリング

これは、攻撃者がAIを使用して、非常に効果的で個別化された social engineering 攻撃を作り出す方法です。GenAIシステムは、標的をだますために、現実的なテキスト、音声、さらには動画コンテンツまで作成できます。AIは、個々の受信者を標的とするよう特別に設計されたフィッシングメールを書くことさえできます。これにより、従来型でよりよく知られたソーシャルエンジニアリングの脅威に高いリスクが加わります。というのも、これらはますます検出が困難になっており、失敗するより成功する確率の方が高くなっているためです。

#10. API攻撃

APIはAIシステムと他のソフトウェアの間に重要な接続を形成しているため、攻撃者にとって魅力的な標的となります。一般的な悪用には、弱い認証を介した不正アクセス、モデルの挙動を汚染するための入力操作、安全でないエンドポイントを介したデータ抽出が含まれます。さらに、攻撃者は悪意のあるリクエストでAPIに過負荷をかけ、AIサービスを妨害することができます。不可欠なセキュリティ対策には、強力な認証、入力検証、レート制限、継続的な監視が含まれます。

#11. ハードウェアの脆弱性

AIシステムは、効率的な処理のために専用ハードウェアに依存することがよくあります。攻撃者は、このハードウェアの脆弱性を悪用してAIシステムを侵害する可能性があります。これには、消費電力や電磁放射などの物理信号から情報を抽出するサイドチャネル攻撃が含まれる場合があります。ハードウェアの脆弱性は、ソフトウェアレベルのセキュリティ対策を回避し、攻撃者にAIシステムへの深いアクセスを与える可能性があります。このリスクは、AIアプリケーションにおける安全なハードウェア設計と実装の必要性を強調しています。

#12. モデルポイズニング

データポイズニングは学習データセットを操作することで移動プロセス中に発生する一方で、モデルポイズニングはAIモデル自体に対して直接行われ、2つの戦略で現れます。攻撃者は悪意を持ってモデルのパラメータまたはアーキテクチャを変更します。これにより、潜在的に隠れた backdoor attacks または、予期しない気付きにくい方法でモデルの動作を変更することです。モデルポイズニングは、複数の当事者がモデルのトレーニングに参加する連合学習の環境では特に危険です。

モデルポイズニングの検出は困難です。これは、毒性の影響が特定のトリガー条件下でのみ現れる可能性があり、モデルがクリーンな検証データでは良好な性能を維持することが多く、変更が微細で多数の重みに分散している可能性があり、さらに連合学習の環境では、どの参加者が悪意のある更新を加えたのかを追跡することが難しいためです。

#13. 転移学習攻撃

転移学習攻撃は、事前学習済みモデルを基盤として使用し、特定のタスク向けにファインチューニングする転移学習ベースのAIモデルを標的とします。特定の敵対的データを細工することで、後続のあらゆる特化型ファインチューニングプロセスを経ても残存する隠れたバックドアやバイアスを含むように、ベースモデルを改変できます。これにより、モデルで予期しない動作が発生し、本番環境で安全でない、および/または信頼できないものになる可能性があります。また、多くの組織が時間とコストを節約するために事前学習済みモデルを使用する可能性があるため、転移学習攻撃に関する懸念もあります。

#14. メンバーシップ推論攻撃

この攻撃では、攻撃者は特定のデータポイントがAIモデルのトレーニングセットに含まれていたかどうかを知ろうとします。攻撃者は、特定の入力に対するモデルの出力を利用して、トレーニングデータに関する情報を把握できます。これは明らかに重大なプライバシー脅威をもたらします。特に、モデルが非公開または機密データでトレーニングされている場合はなおさらです。

AIセキュリティリスクを軽減するには？

AIセキュリティリスクへの対処は、1つのソリューションだけで実現できるものではありません。以下は、これらの脅威を最小限に抑えるための最も重要な5つの戦略です。

1. データ検証

組織は、悪意のあるデータや破損したデータを特定してフィルタリングするために、包括的なデータ検証を実装する必要があります。これは一般に、AIシステムに投入できるよう入力データをクリーンアップするために使用されます。組織は、トレーニングセットまたは検証セットにおける異常な挙動を検出するために、異常検知アルゴリズムを使用する必要があります。AIモデルのトレーニングおよびテストに使用されるデータセットについては、頻繁な監査と完全性の確保が必要です。このような対策は、データポイズニング攻撃を防ぎ、AIシステムにおける意図しないバイアスのリスクを最小限に抑えるのに役立ちます。

2. モデルセキュリティの強化

組織は、差分プライバシーなどの手法を使用してトレーニングデータを学習させ、正確なモデル性能を維持しつつ、攻撃者が特定の個人に関する情報を抽出することをより困難にする必要があります。組織は、データ漏えいゼロで共同AIトレーニングを行うために、安全なマルチパーティ計算を導入する必要があります。敵対的／悪意のあるサンプルを使用してモデルを定期的にテストし、より安全で堅牢にすることができます。AIモデルの安全性を確保し、改ざん耐性を持たせるために、モデル暗号化とセキュアエンクレーブを使用する必要があります。

3. 強力なアクセス制御

組織は、AIシステム内の各コンポーネントに対して認証と認可の層を確立する必要があります。また、企業はAIモデルおよびトレーニングデータへのアクセスに対して 多要素認証 を有効にする必要があります。

組織は最小権限の原則を使用して、rootユーザーには本当に必要な権限のみを付与できます。考えられるインジェクション攻撃を特定し、さまざまな入力を大量に試すことで、どのアクセス権を変更する必要があるか、またはデータベースを適切な権限設定に戻す必要があるかが明らかになります。また、開発者は不正アクセスや侵害を防ぐために、転送中のデータと保存データの両方に強力な暗号化を使用する必要があります。

4. 定期的なセキュリティ監査

組織は、脆弱性が存在するかどうかを判断するために、AIシステムのセキュリティ評価を定期的に実施する必要があります。システムのセキュリティは、自動化ツールと手動のペネトレーションテストを用いて評価する必要があります。コードレビューは、AIアルゴリズムおよびそれを支えるソフトウェアの脆弱性を特定するために使用されます。組織は、既知の脆弱性から保護するために、AIシステムのすべてのコンポーネントを最新の状態に保ち、パッチを適用する必要があります。もう1つのベストプラクティスは24時間365日の監視を行うことであり、これによりセキュリティインシデントが発生した場合に、セキュリティチームが即座に対応できます。

5. 倫理的なAIプラクティス

組織は、自社の事業におけるAI向けアプリケーションの許容可能かつ責任ある開発の境界を確立する必要があります。システムの説明責任を確保するために、透明性を組み込む必要があります。双方向のトレードオフ、すなわちAIの出力に組み込まれたバイアスを特定するために、モデルの結果を定期的に監視および評価する必要があります。インシデント対応プレイブックを用いて、AI侵害やその他の倫理的問題に迅速かつ効果的に対応する必要があります。組織は、AI開発者およびユーザーに対してセキュリティおよび倫理に関するトレーニングを実施する必要があります。

SentinelOneはどのように役立ちますか？

SentinelOne は、AIセキュリティを向上させるための重要な機能をいくつか提供します。同社はAI機能を活用してセキュリティを提供する一方で、AI自体の保護にも役立ちます。以下にその方法を示します。

1. 自律型脅威検出: SentinelOneは人工知能を使用して脅威を自律的に検出し、対応します。これにより、AIシステムはインフラ攻撃を含むさまざまな攻撃に対してより高い耐性を持つことができます。
2. Behavioral AI: このプラットフォームはBehavioral AIを使用して、セキュリティ侵害の兆候となる可能性がある異常な動作や活動を特定します。これは、通常のシステムではシグネチャで記述して検出できない新しい種類の攻撃を発見するのに役立ちます。
3. 自動対応: SentinelOneには自動化された脅威対応機能が備わっています。脅威が検出されると、システムは直ちに対処してリスクを軽減および封じ込めることができるため、AIシステムへの被害を低減できます。
4. エンドポイント保護: SentinelOne’s Endpoint Security はエンドポイントを保護し、不正ユーザーによるAIシステムへのアクセスやデータ流出の試みを防止します。
5. ネットワーク可視性: ネットワーク全体を完全に可視化することで、AIシステムとの間で全チャネルを通じて流れるデータフローを追跡でき、情報漏えいが発生していないか、または不正なアクターが侵入を試みていないかを組織が把握できるようになります。

業界をリードするAI SIEM

SentinelOneの世界最先端のAI SIEMで、脅威をリアルタイムで検知し、日々の業務を効率化しましょう。

デモを見る

結論

これらの最新技術の導入には、セキュリティを強化するAIの必要性が伴います。これは精査されるべき重要な領域です。AIシステムはあらゆる分野で進化しており、さまざまな脅威や脆弱性からの保護を必要としているため、より多くの組織がそれらを活用するにつれて、その重要性は今後さらに高まるでしょう。組織は、データポイズニング、モデル反転、敵対的攻撃など、AIによって発生し得るリスクを認識する必要があります。

このため、脅威に対抗するには広範なセキュリティ対策が必要です。これには、強力なデータ検証、高水準のモデルセキュリティ、安全な アクセス制御、頻繁なセキュリティ監査、および倫理的なAIプラクティスが含まれます。これらの戦略は、組織がAIシステム、データプライバシー、およびアルゴリズムから導き出されるあらゆる判断と出力の完全性を保護するのに役立ちます。

SentinelOne は、AIシステムにとって重要な領域にセキュリティを提供します。AIを活用したセキュリティソリューションは、組織が脅威にリアルタイムで対応するのに役立ちます。将来のAI技術のニーズを満たすセキュリティを維持するためのプロアクティブなアプローチの必要性は、継続的に変化する目標であり続けるでしょう。