빅 데이터 정보 보안 로그의 감사 및 분석 방법
1. 대량 데이터 수집.
대용량 데이터 수집 프로세스의 주요 특징과 과제는 동시 수가 높기 때문에 수집한 데이터의 양이 많으면 분석 플랫폼의 수신 성능도 큰 과제에 직면하게 됩니다. 대용량 데이터 감사 플랫폼은 대용량 데이터 수집 기술을 활용하여 다양한 종류의 데이터를 균일하게 수집할 수 있으며, 사용자 데이터의 프라이버시와 무결성을 보장하면서 특정 압축 및 암호화 알고리즘을 사용하여 대역폭을 제어할 수 있습니다.
2. 데이터 전처리.
큰 데이터 환경에서 수집된 방대한 양의 데이터를 효과적으로 분석하려면 다양한 종류의 데이터를 분류하고, 특정 기준에 따라 표준화하며, 데이터에 대한 간단한 청소 및 사전 처리 작업을 수행해야 합니다. 대용량 데이터의 사전 처리의 경우, 대용량 데이터 감사 플랫폼은 새로운 기술 아키텍처를 채택하고, 대형 데이터 클러스터 기반 분산 컴퓨팅 프레임워크를 사용하며, 대형 데이터 클러스터 기반 복잡한 이벤트 처리 프로세스를 실시간 규칙 분석 엔진으로 결합하여 여러 규칙을 효율적으로 병렬로 실행할 수 있도록 합니다. 예외 이벤트를 실시간으로 감지할 수 있습니다.
통계 및 분석.
데이터 분석의 실시간에 따라 실시간 데이터 분석과 오프라인 데이터 분석으로 나눌 수 있습니다. Storm 은 대용량 데이터의 실시간 통계 계산에 적합하며 통계 결과를 신속하게 피드백할 수 있는 대용량 데이터 플랫폼 데이터 사전 처리를 위한 분산 컴퓨팅 프레임워크입니다. Storm framework 는 엄격하고 효율적인 이벤트 처리 프로세스를 사용하여 실행 중 데이터의 정확성을 보장하고 다양한 실시간 통계 인터페이스를 제공합니다.
4. 데이터 마이닝.
데이터 마이닝은 명확한 가정 없이 정보를 발굴하고 지식을 발견하기 때문에 알 수 없는 정보, 유효성, 실용성의 세 가지 특징을 가지고 있습니다. 전통적인 통계 및 분석 프로세스와 달리, 대규모 데이터 환경의 데이터 마이닝은 일반적으로 사전 설정된 주제를 가지고 있지 않습니다. 주로 다양한 알고리즘을 기반으로 기존 데이터를 계산하여 예측 효과를 달성하고 높은 수준의 데이터 분석 요구를 더욱 실현합니다.
빅 데이터 분석의 정보 보안 로그 솔루션
통합 로그 감사 및 보안 대용량 데이터 분석 플랫폼은 사용자 네트워크의 여러 공급업체의 보안 장치, 네트워크 장치, 호스트, 운영 체제, 데이터베이스 시스템, 사용자 비즈니스 시스템의 로그 및 경고를 관리 센터로 실시간으로 수집하여 전체 네트워크에 대한 포괄적인 보안 감사를 제공합니다. 또한 대용량 데이터 분석 및 마이닝 기술을 통해 다양한 모델 시나리오를 통해 다양한 네트워크 동작, 비정상적인 사용자 액세스 및 작동 동작을 파악할 수 있습니다.
1. 시스템 플랫폼 아키텍처.
대규모 데이터 수집 플랫폼, 알 수 없는 위협 인식 시스템, 분산 실시간 컴퓨팅 시스템 (Storm), 복잡한 이벤트 처리 엔진 (Spark), Hadoop 플랫폼, 분산 파일 시스템 (HDFS), 분산 열 데이터베이스 (Hbase) 를 포함한 국내 대형 데이터 보안 분석 시스템을 예로 들 수 있습니다. 이러한 기술은 대량 이벤트의 수집, 처리, 분석, 마이닝 및 저장에 대한 사용자의 요구를 충족합니다.
그림 1 에서 볼 수 있듯이 실시간으로 수집된 다양한 유형의 정보를 표준화하고 통합 콘솔 인터페이스를 통해 실시간으로 시각화할 수 있으므로 보안 관리자가 보안 이벤트를 빠르고 정확하게 식별하고 생산성을 높일 수 있습니다.
2. 기능을 구현합니다.
시스템에서 수행할 수 있는 기능에는 네트워크 환경의 모든 네트워크 장치, 보안 장치, 서버, 데이터베이스, 미들웨어 및 애플리케이션 시스템, 200 개 이상의 장치 및 애플리케이션 중 수만 개의 로그를 포괄하는 감사 범위, 사용자 비즈니스 시스템 로그 감사를 신속하게 지원하는 기능 등이 있습니다. 이 시스템은 기업 및 조직 내 모든 보안 로그 및 경고 정보를 수집하고 정규화 및 지능형 로그 상관 분석 엔진을 통해 사용자가 보안 사고를 정확하고 신속하게 식별할 수 있도록 지원합니다. 시스템의 보안 이벤트 및 시기 적절한 보안 응답을 통해 사용자에게 안전한 네트워크 환경을 제공합니다. 일정 기간 동안 의심스러운 이벤트 순서를 재구성하고 다양한 감사 객체 로그 분석 경로를 통해 보안 분석가가 소스를 신속하게 찾을 수 있도록 지원합니다. 전체 Hadoop 아키텍처는 주로 HDFS (분산 파일 시스템) 를 통해 분산 스토리지를 지원합니다.
3. 장면을 적용합니다.
이러한 시스템은 기존 로그 감사에서 구현할 수 없는 로그 상관 분석 및 지능형 포지셔닝 기능을 해결할 수 있습니다. 예를 들어, 기업의 네트워크 시스템에서는 널리 분산된 네트워크 디바이스, 보안 디바이스, 서버 등이 많은 실시간 로그를 생성합니다. 따라서 원하는 정보를 추출하는 것은 매우 어렵습니다. 디바이스 간의 상관 관계를 통해 디바이스 장애를 판단하는 것도 큰 어려움이 될 것입니다. 예를 들어, 기업은 디바이스를 찾아 주변 직접 연결 디바이스의 로그 메시지에 연결하여 해당 디바이스가 비정상적이거나 장애가 있는지 확인합니다. 예를 들어, 핵심 스위치 SW 1 중 하나에 직접 연결된 모든 디바이스가 인터페이스 down 의 로그를 연속적으로 에스컬레이션하는 경우 해당 디바이스의 SWl 을 장애 디바이스로 찾을 수 있으므로 적시에 응답해야 합니다. 기존 데이터는 주변 장치의 관련 경보를 통해 오류를 찾기 어렵습니다. 대용량 데이터 감사 플랫폼이 최선의 솔루션입니다.
빅 데이터 분석 방법은 엔티티 상관 분석, 지형 공간 분석 및 데이터 통계 분석과 같은 기술을 활용하여 엔티티 간의 관계를 분석하고 관련 구조화 및 구조화되지 않은 정보를 사용하여 위법 행위를 탐지할 수 있습니다. 중앙 집중식으로 저장된 방대한 정보의 경우 감사자는 내역 분석 도구를 활용하여 심층 마이닝, 조사 및 증거 보존 등의 작업을 수행할 수 있습니다.