인공지능(AI)은 기계가 일반적으로 인간의 지능이 필요한 작업을 수행할 수 있을 만큼 똑똑해지도록 하는 기술을 말합니다. 여기에는 학습부터 문제 해결, 물론 의사 결정에 이르기까지 모든 것이 포함됩니다. 이 시스템은 복잡한 알고리즘과 인간과 유사한 사고 과정에 따라 작동하는 AI 시스템에 방대한 양의 데이터를 공급하여 학습하고 경험을 쌓게 합니다. 그 응용 분야는 의료, 금융, 운송부터 제조업에 이르기까지 다양합니다.
그러나 문제는 AI 시스템이 점점 더 지능적이고 정교해질 뿐만 아니라 새로운 도전과 위험에 직면하고 있다는 점입니다. AI를 개발하고 배포하는 동안 보안이 보장되어야 하며, 이를 AI 보안이라고 합니다. 이는 AI 시스템을 공격으로부터 보호하고 의도된 대로 안전하게 작동하도록 보장하는 것을 의미합니다.
이 글에서는 AI 시스템과 관련된 주요 AI 보안 위험 몇 가지, 이를 해결하는 방법, 그리고 SentinelOne이 AI 시스템을 어떻게 보호할 수 있는지 살펴보겠습니다. 데이터 포이즌(데이터 중독), 모델 역전(model inversion), 적대적 예시(adversarial examples) 등 AI 모델을 표적으로 삼는 다양한 공격 방법에 대해 논의할 것입니다.
AI 보안이란 무엇인가?
AI 보안은 AI 시스템과 그 구성 요소를 다양한 보안 위협(예: 적대적 공격) 및 취약점(예: 데이터 오염)으로부터 보호하는 분야입니다. 이는 AI 애플리케이션에 관련된 데이터, 알고리즘, 모델 및 인프라를 보호하는 것을 의미합니다. AI 보안의 역할은 시스템이 안전하고 제대로 작동하도록 보장하는 것입니다. 여기에는 무단 접근부터 데이터 유출, AI의 기능이나 출력을 손상시킬 수 있는 공격까지 모든 것이 포함됩니다.
AI 보안이 필수적인 이유는 다음과 같습니다:
- 데이터 보호: 많은 AI 시스템은 방대한 양의 민감한 데이터를 처리합니다. 따라서 데이터 유출을 방지하기 위해 이 데이터를 보호하는 것이 필수적입니다.
- 모델 무결성: 악의적인 데이터 조작은 AI 모델의 효과성을 훼손할 수 있습니다. 따라서 모델의 무결성을 유지하는 것이 필수적입니다.
- 오용 방지: AI 보안은 공격자가 유해한 목적으로 AI 시스템을 악용하는 것을 방지합니다.
- 신뢰와 채택: 보안 강화는 AI 기반 기술에 대한 신뢰도를 높여 산업 전반에 걸친 채택률을 촉진합니다.
- 규정 준수: 데이터 처리 및 AI 사용에 대해 많은 산업에서 엄격한 규제가 적용됩니다. AI 보안은 조직이 이러한 규정 준수 요구 사항을 충족하도록 지원합니다.
14가지 AI 보안 위험 및 위협
모든 AI 시스템에 영향을 미치는 다양한 유형의 보안 위험으로부터 보호하기 위해 조직은 먼저 해당 위험이 무엇인지 이해해야 합니다. 아래는 가장 큰 AI 보안 위험 및 위협입니다.
#1. 데이터 포이즌(Data Poisoning)
이 공격에서 공격자는 AI 훈련에 사용되는 데이터셋에 잘못된 데이터를 입력합니다. 이렇게 손상된 데이터는 AI 기능을 변경하고 잘못된 선택이나 예측을 생성할 수 있습니다. 새로 추가되거나 수정된 허위 데이터 포인트가 데이터셋에 포함되면 AI 프로세스가 올바르게 학습하는 것이 불가능해집니다. 데이터 포이즌링의 영향은 미묘해 보일 수 있지만, 위험할 수 있으며 AI 시스템의 모델 성능을 점진적으로 훼손할 수 있습니다.
#2. 모델 역전(Model Inversion)
모델 역전 공격은 AI 생성 시 사용된 훈련 데이터를 복구하려는 시도입니다. 공격자는 모델에 반복적으로 질의를 보내고 그 출력을 분석함으로써 훈련 데이터에 대한 정보를 추출할 수 있습니다. 이는 특히 AI가 독점적이거나 사적인 정보로 훈련된 경우 심각한 개인정보 위협을 구성합니다. 모델 역산은 독점 정보나 특정 개인 사용자의 데이터 유출로 이어질 수 있습니다. 이는 특히 구체적이거나 상세한 출력을 제공하는 모델에 대한 위험입니다.
#3. 적대적 예시
이는 특히 머신러닝 분야에서 AI 시스템을 오도하기 위해 특별히 제작된 입력 데이터입니다. 공격자는 입력 데이터에 미미하고 거의 무시할 수 있는 변화를 가해 AI가 데이터를 잘못 분류하거나 오해하도록 만듭니다. 예를 들어, 인간에게는 보이지 않지만 AI가 완전히 잘못 분류하도록 만드는 약간 변형된 이미지가 있습니다. 적대적 예시를 활용하면 AI 기반 보안 시스템을 우회하거나 AI 구동 시스템의 의사 결정을 조작할 수 있습니다. 이는 자율주행 차량, 얼굴 인식, 악성코드 식별과 같은 분야에서 특히 두드러집니다.
#4. 모델 도용
이 공격에서는 독점 AI 모델의 복제본 또는 매우 유사한 모델을 구축합니다. 공격자는 대상 모델에 여러 쿼리를 전송한 후 그 응답을 활용해 대체 모델을 훈련시킵니다. 이는 지적 재산권 및 경쟁 우위의 도용으로 이어질 수 있습니다. 이는 AI 모델을 서비스로 제공하는 기업에게 특히 중요합니다. 복제된 모델은 경쟁 서비스를 구축하거나 원본 모델의 일반적/보안적 결함을 찾는 데 활용될 수 있습니다.
#5. 개인정보 유출
AI 모델은 훈련 데이터셋에서 민감한 정보를 기억하고 유출할 수 있습니다. 모델에 특정 질문을 하거나 모델이 출력을 생성할 때 발생할 수 있습니다. 개인정보 유출은 개인 데이터, 영업 비밀 또는 기타 민감한 정보로 인해 발생할 수 있습니다. 자연어 처리 모델의 경우, 이러한 모델은 훈련 데이터를 기반으로 텍스트를 생성하는 경향이 있기 때문에 이는 책임 문제가 될 수 있습니다. 물론, 이러한 유출은 AI 시스템을 정기적으로 감사하여 신중하게 방지해야 합니다.
#6. 백도어 공격
이 공격은 훈련 단계에서 AI 모델에 악의적인 백도어를 심는 것을 포함합니다. 이러한 백도어는 특정 입력에 의해 트리거되어 모델이 의도하지 않은 방식으로 작동하게 할 수 있습니다. 예를 들어, 백도어가 심어진 이미지 인식 시스템은 특정 패턴이 포함된 이미지를 잘못 분류할 수 있습니다. 대부분의 경우 모델이 정상적으로 작동하기 때문에 이러한 백도어를 발견하기가 매우 어려운 경우가 많습니다. 이 공격은 중요한 상황에서 AI 시스템의 신뢰성과 안전성을 훼손할 수 있습니다.
#7. 회피 공격
출력 데이터는 단순히 제공된 입력에 기반하며, 이러한 공격은 AI 기반 탐지 시스템을 우회할 수 있도록 입력 데이터를 조작하는 방식으로 이루어집니다. 공격자는 AI 보안 탐지기를 우회하기 위해 콘텐츠나 행동을 변경합니다. 악성 코드는 AI를 사용하여 작동하는 바이러스 백신 프로그램에 의해 탐지되지 않도록 수정될 수 있습니다. 이는 공격자의 회피 공격을 돕고, 위협이 눈에 띄지 않게 빠져나가도록 허용함으로써 보안을 담당하는 AI가 비효율적이 될 수 있다는 우려를 불러일으킵니다.
#8. 데이터 추론
데이터 추론 공격은 공격자가 AI 시스템의 출력에서 패턴과 상관관계를 분석하여 보호된 정보를 추론할 수 있게 되는 경우를 말합니다. 간접적 데이터 노출 역시 개인정보 침해로 이어질 수 있습니다. 이러한 공격은 숨겨진 패턴 발견 능력과 같은 기존 AI 기본 기능을 활용하기 때문에 방어가 어려운 경우가 많습니다. 이 위험은 AI 시스템의 입력 및 출력 항목을 신중하게 선택해야 함을 보여줍니다.
#9. AI 강화형 사회공학
이는 공격자가 AI를 활용해 매우 효과적이고 개인화된 사회공학적 공격을 수행하는 방식입니다. 생성형 AI 시스템은 현실적인 텍스트, 음성, 심지어 영상 콘텐츠를 생성해 표적을 설득할 수 있습니다. AI는 특정 수신자를 겨냥해 설계된 피싱 이메일까지 작성할 수 있습니다. 이는 기존에 익숙한 사회공학적 위협에 높은 위험을 더하는데, 이러한 공격은 탐지가 점점 더 어려워지면서 성공률이 실패율을 상회하고 있기 때문입니다.
#10. API 공격
API는 AI 시스템과 다른 소프트웨어 간의 핵심 연결 고리 역할을 하여 공격자들에게 매력적인 표적이 됩니다. 일반적인 공격 기법으로는 취약한 인증을 통한 무단 접근, 모델 동작을 오염시키기 위한 입력 조작, 보안이 취약한 엔드포인트를 통한 데이터 추출 등이 있습니다. 또한 공격자는 악의적인 요청으로 API를 과부하시켜 AI 서비스를 방해할 수 있습니다. 필수 보안 조치로는 강력한 인증, 입력 검증, 속도 제한, 지속적인 모니터링이 포함됩니다.
#11. 하드웨어 취약점
AI 시스템은 효율적인 처리를 위해 특수 하드웨어에 의존하는 경우가 많습니다. 공격자는 이 하드웨어의 취약점을 악용하여 AI 시스템을 손상시킬 수 있습니다. 여기에는 전력 소비나 전자기 방출과 같은 물리적 신호에서 정보를 추출하는 사이드 채널 공격이 포함될 수 있습니다. 하드웨어 취약점은 소프트웨어 수준의 보안 조치를 우회할 수 있어 공격자가 AI 시스템에 깊이 접근할 가능성을 제공합니다. 이러한 위험은 AI 애플리케이션에서 안전한 하드웨어 설계 및 구현의 필요성을 강조합니다.
#12. 모델 포이즌
데이터 포이즌이 훈련 데이터셋을 조작하여 이동 과정에서 발생하는 반면, 모델 포이즌은 AI 모델에서 직접 발생하며 두 가지 전략으로 나타납니다. 공격자는 악의적인 의도로 모델 매개변수나 아키텍처를 수정합니다. 이를 통해 잠재적인 숨겨진 백도어 공격을 생성하거나, 예상치 못한 방식으로 모델의 동작을 은밀하게 변경할 수 있습니다. 모델 포이즌은 여러 당사자가 모델 훈련에 참여하는 연합 학습 환경에서 특히 위험합니다.
모델 포이즌 탐지는 특정 트리거 조건 하에서만 독성 효과가 나타날 수 있고, 모델이 깨끗한 검증 데이터에서는 종종 우수한 성능을 유지하며, 변경 사항이 미묘하고 여러 가중치에 분산될 수 있으며, 연합 학습 환경에서는 어떤 참여자가 악의적인 업데이트를 기여했는지 추적하기 어려울 수 있기 때문에 어렵습니다.
#13. 전이 학습 공격
전이 학습 공격은 사전 훈련된 모델을 기반으로 특정 작업에 맞게 미세 조정하는 전이 학습 기반 AI 모델을 표적으로 합니다. 특정 적대적 데이터를 조작함으로써, 후속 미세 조정 과정에서도 살아남는 숨겨진 백도어나 편향을 기본 모델에 포함시킬 수 있습니다. 이로 인해 모델에서 예상치 못한 행동이 발생할 수 있으며, 이는 실제 운영 환경에서 안전성 및 신뢰성을 저해할 수 있습니다. 또한 많은 조직이 시간과 비용을 절약하기 위해 사전 훈련된 모델을 사용할 수 있다는 점에서 전이 학습 공격에 대한 우려도 존재합니다.
#14. 멤버십 추론 공격
이 공격에서 공격자는 특정 데이터 포인트가 AI 모델의 훈련 세트에 포함되었는지 여부를 알고 싶어 합니다. 공격자는 특정 입력에 대한 모델의 출력을 활용하여 훈련 데이터에 대한 정보를 파악할 수 있습니다. 이는 특히 모델이 사적 또는 기밀 데이터로 훈련된 경우 심각한 개인정보 위협을 초래합니다.
AI 보안 위험 완화 방법?
AI 보안 위험 대응은 단일 해결책으로 귀결되지 않습니다. 이러한 위협을 최소화하기 위한 가장 중요한 다섯 가지 전략은 다음과 같습니다:
1. 데이터 검증
조직은 악의적이거나 손상된 데이터를 식별하고 걸러내기 위해 포괄적인 데이터 검증을 구현해야 합니다. 이는 일반적으로 입력 데이터를 정제하여 AI 시스템에 공급할 수 있도록 하는 데 사용됩니다. 조직은 훈련 또는 검증 세트에서 비정상적인 행동을 탐지하기 위해 이상 탐지 알고리즘을 사용해야 합니다. AI 모델 훈련 및 테스트에 사용되는 데이터 세트의 무결성과 정기적인 감사를 보장해야 합니다. 이러한 조치는 데이터 중독 공격을 방지하고 AI 시스템 내 의도치 않은 편향 위험을 최소화할 수 있습니다.
2. 모델 보안 강화
조직은 차등 프라이버시(differential privacy)와 같은 기법을 사용하여 정확한 모델 성능을 유지하면서도 공격자가 특정 개인에 대한 정보를 추출하기 어렵게 하는 방식으로 훈련 데이터를 훈련해야 합니다. 조직은 제로 포인트 데이터 유출 없이 공동 AI 훈련을 위해 안전한 다자간 연산(secure multiparty computation)을 배포해야 합니다. 적대적/악의적 예시를 활용해 모델을 정기적으로 테스트함으로써 보안성과 견고성을 강화해야 합니다. 모델 암호화 및 보안 엔클레이브를 적용하여 AI 모델의 보안성 또는 변조 방지 기능을 보장해야 합니다.
3. 강력한 접근 제어
조직은 AI 시스템 내 각 구성 요소에 대해 다층적인 인증 및 권한 부여 체계를 구축해야 합니다. 또한 기업은 AI 모델 및 훈련 데이터 접근에 대해 다중 인증을 활성화해야 합니다.
조직은 최소 권한 원칙을 적용하여 루트 사용자에게 꼭 필요한 권한만 부여할 수 있습니다. 가능한 인젝션 공격을 식별하고 다양한 입력을 집중적으로 테스트하면 변경해야 할 접근 권한이나 데이터베이스를 적절한 권한 설정으로 되돌려야 할 부분을 파악할 수 있습니다. 또한 개발자는 무단 접근/침해를 방지하기 위해 전송 중인 데이터와 저장된 데이터 모두에 강력한 암호화를 적용해야 합니다.
4. 정기적인 보안 감사
조직은 AI 시스템에 취약점이 있는지 확인하기 위해 정기적으로 보안 평가를 수행해야 합니다. 시스템 보안은 자동화 도구와 수동 침투 테스트를 통해 평가해야 합니다. 코드 검토는 AI 알고리즘과 이를 지원하는 소프트웨어의 취약점을 식별하는 데 사용됩니다. 조직은 알려진 취약점으로부터 보호하기 위해 AI 시스템의 모든 구성 요소를 최신 상태로 유지하고 패치를 적용해야 합니다. 또 다른 모범 사례는 24시간 연중무휴 모니터링을 통해 보안 사고 발생 시 보안 팀이 즉시 대응할 수 있도록 하는 것입니다.
5. 윤리적 AI 관행
조직은 비즈니스 내 AI 애플리케이션의 허용 가능하고 책임감 있는 개발 범위를 설정해야 합니다. 시스템의 책임성을 확보하기 위해 투명성을 도입해야 합니다. 모델 결과를 정기적으로 모니터링 및 평가하여 양방향적 결과, 즉 AI 출력에 내재된 편향을 식별해야 합니다. 사고 대응 플레이북을 통해 AI 침해 또는 기타 윤리적 문제에 신속하고 효과적으로 대응해야 합니다. 조직은 AI 개발자와 사용자를 대상으로 보안 및 윤리 교육을 실시해야 합니다.
SentinelOne은 어떻게 도움이 될까요?
SentinelOne은 AI 보안을 강화하는 핵심 기능을 제공합니다. 이 회사는 AI 기능을 사용하여 보안을 제공할 뿐만 아니라 AI 자체의 보안도 강화할 수 있습니다. 그 방법은 다음과 같습니다.
- 자율적 위협 탐지: SentinelOne은 인공 지능을 사용하여 위협을 자율적으로 탐지하고 대응합니다. 이를 통해 AI 시스템은 인프라 공격을 비롯한 다양한 공격에 더 잘 대응할 수 있습니다.
- 행동 기반 AI: 이 플랫폼은 행동 기반 AI를 사용하여 보안 침해의 징후가 될 수 있는 비정상적인 행동이나 활동을 식별합니다. 이는 시그니처로 설명하는 일반 시스템이 탐지할 수 없는 새로운 유형의 공격을 발견하는 데 유용합니다.
- 자동화된 대응: SentinelOne은 자동화된 위협 대응 기능을 제공합니다. 위협이 탐지되면 시스템이 즉시 조치를 취해 위험을 완화하고 억제함으로써 AI 시스템에 대한 피해를 줄입니다.
- 엔드포인트 보호: SentinelOne의 엔드포인트 보안은 엔드포인트를 보호하여 무단 사용자의 AI 시스템 접근 및 데이터 유출 시도를 방지합니다.
- 네트워크 가시성: 전체 네트워크에 대한 완벽한 가시성은 AI 시스템으로 유입 및 유출되는 모든 채널의 데이터 흐름 추적을 지원하여, 정보 유출 여부 또는 무단 행위자의 해킹 시도를 조직이 파악할 수 있게 합니다.
결론
이러한 현대 기술의 도입에는 보안 강화형 AI의 필요성이 수반되며, 이는 면밀히 검토해야 할 중요한 영역입니다. AI 시스템이 모든 분야에서 발전하고 다양한 위협과 취약점으로부터 보호를 필요로 함에 따라, 더 많은 조직이 이를 활용함에 따라 그 중요성은 더욱 커질 것입니다. 조직은 데이터 오염, 모델 역전, 적대적 공격 등 AI로 인해 발생할 수 있는 위험을 인지해야 합니다.
이러한 위협에 대응하기 위해 포괄적인 보안 조치가 필요합니다. 여기에는 강력한 데이터 검증, 높은 수준의 모델 보안, 안전한 접근 제어, 빈번한 보안 감사, 윤리적 AI 관행 등이 포함될 수 있습니다. 이러한 전략은 조직이 AI 시스템, 데이터 프라이버시, 그리고 알고리즘에서 파생된 모든 결정과 결과물의 무결성을 보호하는 데 도움이 될 것입니다.
SentinelOne는 AI 시스템에 중요한 부분에서 보안을 제공합니다. AI 기반 보안 솔루션은 조직이 실시간으로 위협에 대응할 수 있도록 지원합니다. 미래 AI 기술의 요구를 충족하는 보안을 유지하기 위한 선제적 접근 방식의 필요성은 지속적으로 변화하는 목표가 될 것입니다.
FAQs
데이터 오염, 모델 역전, 적대적 예시, 개인정보 유출, 백도어 공격과 같은 주요 보안 위협 및 이에 대한 가능한 해결책입니다. 이러한 모든 위험은 AI 시스템의 작동에 영향을 미칩니다.
사이버 공격자가 AI 시스템을 침해할 수 있는 방법은 모델 도용, 회피 공격, API 악용 등 다양합니다. 공격자는 또한 AI 모델에서 텍스트 콘텐츠, 민감한 데이터 또는 미묘한 입력 특성을 추출하여 모델 출력을 조작하는 방법을 사용할 수도 있습니다.
AI 시스템은 사회공학적 접근법을 가속화하고 각 사용자에게 맞춤화함으로써 사이버 공격을 강화할 수 있습니다. 이는 신뢰할 수 있는 피싱 이메일, 딥페이크 또는 기타 유해 콘텐츠를 생성하여 피해자를 속일 가능성이 높아진다는 것을 의미합니다.
설명 가능성은 AI 모델 의사 결정의 배경을 이해할 수 있게 하여 사이버 위협 방어의 핵심 기능입니다. 이러한 투명성 조치는 AI 시스템 내 편향성, 취약점 또는 예상치 못한 행동을 탐지할 수 있도록 정보를 공개하는 것을 가능하게 합니다.
조직은 강력한 데이터 검증 구현, 모델 보안 강화, 접근 통제 강화, 정기적인 보안 감사 수행, 윤리적 AI 관행 개발을 통해 AI 보안 위험을 완화할 수 있습니다.
AI 모델 보안을 위해 활용 가능한 도구로는 차등 프라이버시 프레임워크, 연합 학습 플랫폼, 모델 암호화 솔루션, SentinelOne과 같은 AI 기반 보안 모니터링 시스템 등이 있습니다. 이러한 서비스들은 다양한 보안 위협과 취약점에 대응합니다.