AWS Security Lake란 무엇인가요? 중요성 및 모범 사례

이 블로그는 AWS Security Lake가 무엇이며 사이버 보안에 어떻게 도움이 되는지 설명합니다. 위협 탐지 강화 및 보안 운영 효율화를 위해 효과적으로 활용하는 기능과 모범 사례를 다룹니다.

AWS Security Lake는 온프레미스 및 클라우드 소스와 연동되어 모든 보안 데이터를 자동으로 중앙 집중화하도록 설계된 배포가 쉬운 솔루션입니다. 이 독점적인 서비스는 보안 데이터를 OCSF(Open Cybersecurity Schema Framework)에 부합하는 형식으로 표준화 및 정규화하여 분석 작업을 간단하고 신속하며 통찰력 있게 만듭니다.

사이버 보안에서 AWS Security Lake의 중요성은 아무리 강조해도 지나치지 않습니다. 빠르게 진화하는 사이버 위협을 식별하는 데 있어 보안 사고에 대한 신속한 탐지, 조사 및 대응은 매우 중요합니다. AWS Security Lake를 통해 강력한 분석 기능과 함께 표준화된 형식으로 통합된 보안 데이터를 통해 보안 팀은 지속적으로 확대되는 위협 환경에 대한 더 넓은 커버리지를 달성할 수 있습니다.

AWS Security Lake 소개

AWS Security Lake는 조직이 AWS 보안 데이터 레이크를 구축할 수 있도록 지원합니다. 이 플랫폼은 AWS 서비스 및 타사 애플리케이션의 활동 데이터를 수집, 저장, 분석하는 공통적인 방법을 제공하기 위해 고안되었습니다. 이는 구성 정보뿐만 아니라 사용자 정의 로그 데이터와 같은 보안 로그도 포함합니다.

Security Lake를 통해 조직은 AWS의 확장성과 비용 효율성을 활용하여 보안 운영을 간소화하는 동시에 광범위한 가시성을 확보함으로써 더 빠른 탐지 및 대응 능력을 제공할 수 있습니다.

AWS Security Lake는 Open Cybersecurity Schema Framework(OCSF)와 연동하여 보안 데이터가 표준화되도록 하여 다양한 정보 출처에서 분석 및 상관관계 분석이 가능하도록 합니다. 이러한 표준화는 다양한 보안 로그를 처리하는 데 드는 오버헤드를 줄여주고, 조직이 자체 보안에 대한 통찰력을 효율적으로 활용할 수 있도록 지원합니다.

보안 관련 데이터를 저장하는 기존 방식과 비교했을 때, Amazon Security Lake는 상당히 다릅니다. 기존 방식의 주요 어려움은 로그가 사방에 흩어져 저장된다는 점입니다(사일로화된 시스템). 첫 번째 문제는 도구의 분산으로, 보안 위험을 증가시키는 사건에 대한 탐지 및 대응 시간을 늦춥니다.

AWS Security Lake는 보안 팀이 다양한 출처의 데이터를 수집할 수 있는 공통의 장소를 제공하여 분석과 신속한 대응을 용이하게 합니다. 반면 기존 방식은 데이터 수집, 정규화, 분석에 상당한 수작업이 필요합니다.

또한 기존 보안 솔루션은 증가하는 보안 데이터 양을 처리하는 데 필요한 확장성과 민첩성이 부족할 수 있습니다. 구식 시스템을 사용하는 조직은 데이터 저장소 확장이나 신규 데이터셋 통합에 어려움을 겪는 경우가 많습니다. 이러한 접근 방식을 바탕으로 AWS Security Lake는 강력한 AWS 인프라와 통합되도록 구축되어 증가하는 데이터 부하에 대한 풍부한 확장성과 다양한 데이터 소스에 대한 유연성을 제공합니다.

AWS Security Lake 아키텍처

AWS Security Lake는 AWS 클라우드 내에서 보안 데이터를 효과적으로 중앙 집중화하고 관리하기 위해 특별히 설계된 보안 아키텍처를 기반으로 합니다. 이 아키텍처의 주요 구성 요소는 다음과 같습니다:

1. 데이터 수집 계층: 이 계층은 AWS 서비스, 타사 애플리케이션, 사용자 정의 로그 소스 등 다양한 출처에서 보안 데이터를 수집합니다.
2. 데이터 정규화 계층: 이 계층은 OCSF(Open Cybersecurity Schema Framework) 메커니즘을 사용하여 수집된 모든 데이터가 출처와 관계없이 공통 형식으로 표준화되도록 보장합니다.
3. 저장 계층: 이 계층은 정규화된 보안 로그를 저장하기 위해 Amazon S3를 사용하며, 제한 없는 안전한 저장 공간을 제공합니다.
4. 쿼리 및 분석 계층: Security Lake는 Amazon Athena 및 AWS QuickSight와 같은 분석 도구와 통합됩니다. 조직이 S3에 저장된 보안 데이터를 쿼리할 수 있도록 하는 것이 목표입니다.
5. 프레젠테이션 및 보고 계층: 이 계층은 보안 팀이 보안 상태를 파악하고 추세나 이상 징후를 발견할 수 있도록 대시보드 및 시각화 기능을 제공합니다.

데이터 수집 옵션은 실시간 데이터와 일괄 로드 모두에 대해 원활하고 지연 시간이 짧습니다. 예를 들어, Amazon Kinesis Data Streams 또는 AWS Lambda와 같은 서비스를 사용하여 보안 로그를 제때 캡처함으로써 시간에 민감한 애플리케이션을 실시간으로 처리할 수 있습니다. 일괄 수집 방법은 긴급하지 않은 데이터에 대한 로그를 수집하고 업로드하도록 예약할 수 있습니다.

소비된 후에는 데이터가 서로 일관되고 호환성을 유지할 수 있도록 정규화됩니다. 이는 Open Cybersecurity Schema Framework(OCSF)를 통해 달성되며, OCSF는 보안 데이터를 공통 형식으로 변환하여 서로 다른 소스를 분석하고 상호 연관성을 파악하는 데 사용할 수 있게 합니다.

이렇게 정규화된 데이터는 현대 IT 환경에서 생성되는 대량의 보안 로그에 대해 내구성, 가용성 및 확장성을 제공하는 객체 저장 서비스인 Amazon S3에 저장됩니다.

AWS Security Lake에서의 데이터 통합 및 분석

AWS Security Lake는 다양한 AWS 서비스와 연동되어 데이터 관리 기능 등을 제공합니다. AWS Security Lake를 지원하는 주요 서비스는 다음과 같습니다:

1. AWS CloudTrail: 조직이 AWS 계정 내에서 이루어지는 모든 요청을 기록할 수 있는 기능을 제공합니다. 이는 리소스 변경 사항부터 개별 사용자의 일상적인 활동까지 포괄합니다.
2. Amazon VPC Flow Logs: 가상 사설 클라우드(VPC) 내 네트워크 인터페이스로 들어오고 나가는 IP 트래픽 정보를 기록하여 보안 모니터링을 지원하고 규정 준수 요구 사항을 충족하도록 합니다.
3. AWS Security Hub: Security Hub는 고객이 AWS 환경 전반에 배포하는 정책을 적용할 수 있는 중앙 집중식 플랫폼을 제공합니다.
4. AWS Lambda: Lambda 함수는 서버리스 컴퓨팅을 가능하게 하여 인프라 관리 없이 실시간 데이터 처리 및 보안 워크플로 자동화를 지원합니다.
5. Amazon Kinesis: 실시간 보안 로그 수집 등과 같은 스트리밍 데이터의 수집 및 처리에 사용됩니다.

사용자 정의 로그 소스 및 데이터 보존 정책

AWS Security Lake는 지원되는 AWS 서비스와 통합될 뿐만 아니라 사용자 지정 소스의 로그 소스도 수집할 수 있습니다. 이 기능의 주요 용도는 온프레미스 시스템, 방화벽, 엔드포인트 보안 솔루션 또는 타사 애플리케이션의 로그 소스를 수집하는 데 활용됩니다. AWS Security Lake는 다양한 로그 소스를 지원하여 조직이 보안 생태계를 통합된 관점에서 파악할 수 있도록 합니다.

조직은 보안 데이터의 보관 기간을 결정하는 데이터 보존 정책도 설정할 수 있습니다. 이러한 정책은 규정 준수를 강제하고 운영 요구 사항을 충족하도록 맞춤 설정할 수 있어 감사 및 조사를 위해 필요한 로그를 보존하면서도 저장 비용을 제한 범위 내로 유지할 수 있습니다.

SQL 쿼리를 위한 Amazon Athena 활용

Amazon Athena를 사용하면 데이터를 이동하지 않고도 Amazon S3 내에서 직접 SQL 쿼리를 실행할 수 있어 빠르고 민첩한 분석 작업이 가능합니다. 보안 분석가나 엔지니어는 특정 사건이나 이상 현상을 조사할 때 즉석 쿼리를 수행할 수 있어 잠재적 위협 조사에 더 신속하게 대응할 수 있습니다.

Athena는 서버리스 특성으로 비용 효율적이며, 쿼리에서 스캔된 데이터 양에 따라만 요금이 부과됩니다. 이는 다양한 이유로 정보를 분석해야 하는 사용자에게 상당한 편의를 제공합니다.

AWS QuickSight와의 통합

AWS QuickSight는 클라우드 네이티브 비즈니스 인텔리전스 서비스로, 보안 데이터에서 얻은 통찰력을 시각화하는 데 도움을 줍니다. 풍부한 기능을 갖춘 QuickSight는 Amazon Athena를 사용하여 AWS Security Lake에서 가져온 데이터에 대한 대화형 쿼리를 위한 대시보드 및 시각화 생성 기능을 제공합니다.

이 통합을 통해 보안 팀은 보안 위험을 더 잘 이해하고, 가시성을 명확하게 파악하여 이해 관계자에게 전달할 수 있습니다. QuickSight의 세션당 과금 모델을 통해 조직은 비용을 통제하면서 유용한 보고서를 공유할 수 있습니다.

Security Lake 스키마와 OCSF란 무엇인가요?

AWS Security Lake의 핵심은 보안 데이터 관리 방식을 표준화하는 OCSF(Open Cybersecurity Schema Framework)입니다. OCSF는 여러 소스의 보안 이벤트를 분류, 저장 및 분석하는 방식을 재정의합니다. OCSF를 활용함으로써 Security Lake는 사이버 보안 분야에서 흔히 발생하는 데이터의 '껍데기 게임' 현상과 데이터 동기화 문제 해결에 기여합니다.

OCSF의 핵심은 보안 이벤트를 계층적으로 분류하는 구조입니다. 이는 더 세분화된 범주(categories), 클래스(classes), 확장(extensions)을 제공합니다. 예를 들어 네트워크 흐름 이벤트는 '네트워크' 범주와 '네트워크 흐름' 클래스에 속합니다. 표준화된 필드에는 소스 IP 주소, 대상 IP 주소 및 프로토콜이 포함됩니다. 이러한 계층적 프레임워크를 통해 보안 분석가는 방대한 양의 데이터에 압도되지 않고 관련 정보를 필터링하여 통찰력을 얻을 수 있습니다.

AWS Security Lake에서는 OCSF에 대한 복잡한 정규화 프로세스가 있습니다. 데이터는 다양한 위치에서 수집되며, 파싱되어 OCSF 속성으로 매핑되고 추가 컨텍스트 정보로 보강된 후 스키마에 대해 검증됩니다. 이 자동 변환 프로세스는 다양한 입력 로그 형식을 통합하고 과거에는 어렵거나 거의 불가능했던 크로스 소스 분석을 가능하게 합니다.

OCSF는 사전 정의된 필드 세트를 완벽하게 제공하면서도 다양한 조직의 요구를 충족시키기 위한 확장성을 제공합니다. 사용자 정의 필드는 OCSF 확장 메커니즘을 통해 구현되며, 각각 Parquet 파일의 추가 열로 또는 해당 Athena 테이블 정의에 추가될 수 있습니다. 이를 통해 조직은 표준화의 모든 이점을 잃지 않으면서도 특정 보안 요구 사항에 맞춰 이 스키마를 조정할 수 있습니다.

OCSF의 강점 중 하나는 하위 호환성을 유지하면서 변경이 가능하다는 점입니다. 기존 쿼리나 데이터 구조를 손상시키지 않고 이러한 성장을 관리하기 위해 Security Lake는 스키마 업데이트를 수용할 수 있는 버전 관리 시스템을 구현합니다. 이를 통해 조직은 스키마 개선 사항과 새로운 유형의 보안 이벤트를 활용하면서도 과거의 비보안 데이터를 유용한 상태로 보존할 수 있습니다.

AWS Security Lake의 주요 이점은 무엇인가요?

AWS Security Lake의 주요 이점은 다음과 같습니다:

1. 중앙 집중화된 보안 데이터: AWS Security Lake는 AWS 서비스, 온프레미스 시스템, 타사 애플리케이션 등 다양한 출처의 로그와 이벤트를 중앙 집중화하여 여러 도구에 분산된 보안 데이터의 문제를 해결합니다. 중앙화를 통해 통합된 보안 대시보드와 경고 보기가 가능해지며, 그렇지 않으면 여러 데이터 사일로를 개별적으로 탐색하는 데 시간을 낭비해야 합니다.
2. 향상된 위협 탐지: Open Cybersecurity Schema Framework(OCSF)를 통해 다양한 형식의 보안 데이터를 표준화하고 정규화하여 위협에 선제적으로 대응할 수 있습니다. 이러한 일관성은 위협 탐지 능력 향상으로 이어지고, 고성능 분석 및 머신 러닝 알고리즘을 활용할 수 있게 합니다.
3. 쉬운 규정 준수: 규정 준수는 많은 기업들의 주요 관심사이며, 조직이 속한 업종에 관계없이 항상 규정 준수를 유지하며 운영하기를 원합니다. AWS Security Lake는 모든 구조화된 보안 데이터를 단일 중앙 위치에서 사용할 수 있게 함으로써 감사 및 보고를 쉽게 수행할 수 있게 합니다.
4. 저렴한 스토리지 비용: AWS Security Lake는 AWS의 확장 가능한 인프라를 기반으로 구축되어 조직이 연간 지출을 크게 절감할 수 있습니다. AWS Security Lake 가격 정책은 유연한 데이터 보존 정책을 제공하므로 예산을 초과하지 않고도 중요한 보안 이벤트 로그를 보관할 수 있습니다.
5. 심층적 통합: AWS Security Lake는 데이터 세트에 깊이 통합되어 있으며, 다른 주요 보안 제어 및 다수의 타사 솔루션과 원활하게 연동됩니다.

5가지 AWS Security Lake 모범 사례

다음에 설명된 모범 사례를 따르면 AWS Security Lake의 보안과 효율성을 크게 향상시킬 수 있습니다. 각 항목을 살펴보겠습니다.

1. AWS Security Hub와 통합하기: AWS Security Lake를 AWS Security Hub와 통합하는 것은 조직이 자체 내 다양한 서비스와 통합된 타사 서비스로부터 보안 발견 사항을 수신하기 위한 모범 사례입니다. 이를 통해 조직은 규정 준수 상태와 개선이 필요한 영역에 대한 보다 포괄적인 시각을 확보할 수 있습니다.
2. 지원되는 모든 AWS 리전에서 Security Lake 활성화: Security Lake가 제공하는 기능을 최대한 활용하려면 지원되는 모든 AWS 리전에서 활성화해야 합니다.
3. 모니터링을 위한 AWS CloudTrail 활용: 사용량 모니터링을 위해 Security Lake 내 API를 사용해야 하며, 이는 AWS CloudTrail의 기본 서비스입니다. CloudTrail에는 모든 사용자/역할/그룹이 수행한 모든 API 작업의 전체 기록이 포함되어 있어, 보안 데이터에 대한 접근 및 변경 사항 감사에 대한 권위 있는 기록을 제공합니다.
4. 데이터 보존 정책 정기 검토 및 업데이트: 데이터 보존 정책은 AWS Security Lake에서 정의하여 각 정책이 조직의 요구사항과 일치하도록 해야 합니다. 이러한 보존 설정을 사용자 정의할 수 있는 기능은 조직이 보안 데이터 수명 주기를 효과적으로 관리할 수 있게 합니다.
5. 최소 권한 원칙 구현: Amazon Security Lake와 관련하여, 최소 권한 원칙사용자, 그룹 및 역할이 최소한의 권한으로만 업무를 수행할 수 있도록 허용합니다.

AWS Security Lake의 한계 이해하기

AWS Security Lake는 보안 데이터를 클라우드로 이동하고 해당 정보를 중앙 집중화하는 데 있어 고객에게 많은 유연성을 제공하지만, 몇 가지 한계와 잠재적인 구현 과제 또한 존재합니다. 이를 자세히 살펴보겠습니다.

AWS Security Lake의 현재 한계점

AWS Security Lake는 놀라운 도구이지만 다소 엄격한 규칙/제한 사항이 따릅니다. 그러나 모든 성숙한 기술과 마찬가지로, 이러한 영역에 대한 인식은 솔루션을 성공적으로 구현하고 운영/사용하는 데 필수적입니다. AWS Security Lake 기반 솔루션에서 발생할 수 있는 5가지 주요 기술적 문제점은 다음과 같습니다.

1. 쿼리 성능 병목 현상: AWS Security Lake는 기본적으로 Amazon Athena(분산 쿼리 엔진 기반)를 사용하여 데이터를 쿼리합니다. 많은 시나리오에서 효율적이지만 데이터 규모나 쿼리 수가 극도로 높아지면 성능 문제가 발생할 수 있습니다. 특히 매우 큰 테이블에 걸쳐 여러 조인을 수행하는 쿼리나 대량의 데이터를 스캔해야 하는 쿼리는 높은 지연 시간을 보일 수 있습니다. 이는 Athena가 S3에서 직접 읽는 아키텍처로 인해 I/O 병목 현상이 발생할 수 있기 때문입니다. 또 다른 단점은 Athena가 인덱싱을 지원하지 않아, 쿼리에서 인덱스를 활용할 수 있는 모든 필터 작업이 전체 스캔을 수행하게 된다는 점입니다. 이는 대규모 테이블에서 선택적 쿼리의 성능을 크게 저하시킵니다.
2. 데이터 변환 제한 사항: AWS Security Lake는 인바운드 데이터를 OCSF 스키마에 매핑하는 작업을 처리하지만, 비표준 로그 형식의 경우 컨텍스트 정보 손실이나 오해석이 발생할 수 있습니다. AWS Security Lake는 규칙 기반 변환을 사용하며, 독점 로그 형식에서 볼 수 있는 일부 비표준 또는 사용자 정의 필드는 지원하지 않습니다.
3. 세분화된 접근 제어 과제: AWS Security Lake는 IAM을 기반으로 구축되어 액세스 제어를 기반으로 구축되었지만, 데이터 필드 수준에서의 세분화된 액세스 제어는 여전히 가장 큰 과제 중 하나입니다. 이 서비스는 주로 테이블 또는 파티션 단위로 작동하며, 개별 열 수준에서의 액세스 제어는 물론 로그 항목 내 특정 요소에 대한 제어는 어렵습니다. 이러한 제한은 특정 유형의 정보에 대한 접근 권한을 신중하게 통제해야 하는 엄격한 데이터 개인정보 보호 규정을 준수하는 데 어려움을 초래할 수 있습니다.
4. 내보내기 및 이동성: AWS Security Lake에는 데이터 내보내기 기능이 없으므로, 추후 필요 시 모든 정보를 쉽게 다운로드할 수 없습니다. 대량의 데이터를 추출하여 외부 분석을 수행하거나 다른 플랫폼으로 마이그레이션하는 작업은 간단하지 않습니다. 기본 제공되는 내보내기 도구가 없으므로 사용자는 Security Lake에서 데이터를 추출하기 위해 사용자 정의 스크립트를 작성하거나 타사 솔루션을 사용해야 합니다. 이 문제는 멀티 클라우드 전략, 외부 시스템에서의 규정 준수 기반 데이터 보존, AWS 생태계 외부에서 필요한 특수 분석과 같은 일부 시나리오에서 극복하기 어렵습니다.

구현 시 잠재적 과제

1. 기존 보안 도구와의 통합: 대부분의 조직은 다양한 도구와 솔루션을 혼합하여 사용하므로 통합 과정에서 일부 어려움이 발생할 수 있습니다. 기존 인프라가 이러한 레거시 시스템을 중심으로 구축되었습니다. AWS Security Lake를 이러한 도구 라인과 병행하여 구현할 수는 있지만, 통합 기능으로서 OCSF 지원이 필요하거나 상당한 맞춤화가 요구되어 많은 어려움이 따릅니다.
2. 데이터 거버넌스 규정 준수: 보안 정보의 중앙 집중화로 인해 업계 및 규제 표준에 적응하기 어려울 수 있습니다. 접근, 보존 및 공유에 관한 이러한 정책이 없다면 데이터만으로도 구현이 매우 어려워질 수 있습니다.
3. 성능 기반 문제: 조직이 대규모로 AWS Security Lake를 사용하기 시작하면, 특히 수백 테라바이트 또는 페타바이트 단위의 데이터에 대해 쿼리를 실행할 때 성능 문제가 발생할 수 있습니다. 시스템에 부담을 주지 않으면서 쿼리를 빠르게 실행해야 하므로 최적화가 필수적입니다.

결론

AWS Security Lake는 자동 확장, 내장 머신 러닝 모델, AWS 데이터 소스(예: VPC Flow Logs) 및 온프레미스 환경 또는 타 클라우드와의 원활한 통합을 통해 보안 데이터를 중앙에서 집계하고 분석할 수 있도록 지원하는 강력하고 완전 관리형 서비스입니다. Open Cybersecurity Schema Framework(OCSF)를 사용하여 정규화되고 표준화된 보안 데이터를 유지하여 쉬운 규칙 기반 대응을 통해 포괄적인 위협 분석을 제공합니다.

문제는 오늘날의 사이버 세계에서 AWS Security Lake는 위험을 완화하고 최신 보안 위협으로부터 보호하기 위해 반드시 필요한 유틸리티라는 점입니다. 이를 통해 조직은 보안 상태를 전체적으로 파악하고, 더 심층적인 위협 탐지 기능을 확보하며, 규정 준수 보고를 간소화할 수 있습니다.

AWS Security Lake를 통해 보안 팀은 서로 다른 여러 소스의 데이터를 단일 저장소로 통합하여 인사이트를 신속하게 파악하고, 점점 정교해지는 위협 환경에서 지속적으로 선제적인 가시성을 확보하여 더 나은 사고 대응을 할 수 있습니다.

FAQs

AWS Security Lake란 무엇인가요?

AWS Security Lake는 AWS 환경, SaaS 공급자 환경, 온프레미스 시스템, 타사 애플리케이션 등 다양한 출처의 대량 보안 데이터를 단일 레이크로 중앙 집중화하여 분석할 수 있도록 지원하는 새로운 완전 관리형 서비스입니다. 서버, 모바일 앱, Kubernetes 클러스터 등을 포함하며 향후 더 많은 기능이 추가될 예정입니다. 이를 통해 클라우드 운영 모델 조직 전반에 걸친 운영 보안에 관한 통합된 신뢰할 수 있는 정보의 가장 완벽한 저장소를 제공합니다.

보안 로그 및 이벤트 수집, 정규화, 관리를 자동화하여 조직이 사이버 보안 상태를 보다 정확히 파악할 수 있도록 지원합니다. Security Lake는 OCSF(Open Cybersecurity Schema Framework)를 활용하여 데이터를 정규화하고, 사용자가 쉽게 쿼리 및 분석할 수 있도록 합니다.

AWS S3는 데이터 레이크인가요?

Amazon S3를 데이터 레이크로 활용할 수 있습니다. 구조화/비구조화 등 다양한 형식의 대규모 데이터셋을 확장 가능한 방식으로 저장하여 방대한 양의 데이터를 보관할 수 있습니다. 데이터 레이크는 S3 위에 구축할 수 있으며, 데이터를 구조화하여 쉽게 쿼리하고 분석할 수 있도록 구성할 수 있습니다. 종종 추가 AWS 서비스와 통합됩니다.

AWS에서 데이터 레이크에 해당하는 것은 무엇인가요?

AWS의 데이터 레이크는 AWS Lake Formation으로 구현됩니다. 이는 AWS에서 데이터 레이크를 쉽게 구성, 보안 및 관리할 수 있도록 하는 완전 관리형 서비스입니다. 조직이 다양한 출처의 데이터를 수집, 통합 및 보호할 수 있도록 지원하여, 수집된 세부 정보를 분석하면서 더 큰 데이터 세트를 쉽게 처리할 수 있게 합니다.