로그 분석

Log analysis

컴퓨터 로그 관리 및 인텔리전스에서 [1]로그 분석(또는 시스템 및 네트워크 로그 분석)은 컴퓨터 생성 기록(로그 또는 감사 추적 기록이라고도 함)을 이치에 맞는 것으로 추구하는 예술과 과학이다.이러한 레코드를 만드는 과정을 데이터 로깅이라고 한다.

로그 분석을 수행하는 일반적인 이유는 다음과 같다.

로그는 네트워크 장치, 운영 체제, 애플리케이션 및 모든 종류의 인텔리전트 또는 프로그래밍 가능한 장치에 의해 방출된다.시간 순서의 메시지 스트림은 종종 로그로 구성된다.로그는 파일로 보내어 디스크에 저장하거나 로그 수집기로 네트워크 스트림로 지정할 수 있다.

로그 메시지는 일반적으로 소스의 내부 상태(예: 애플리케이션)와 관련하여 해석되어야 하며 보안 관련 이벤트 또는 작업 관련 이벤트(예: 사용자 로그인 또는 시스템 오류)를 발표해야 한다.

로그는 종종 소프트웨어 개발자들에 의해 생성되어 응용 프로그램 작동의 디버깅을 돕거나 사용자가 검색 엔진과 같은 시스템과 어떻게 상호작용하는지 이해하기 위해 사용된다.로그 메시지 내 데이터의 구문과 의미론은 대개 응용 프로그램 또는 벤더별로 다르다.용어는 또한 다를 수 있다. 예를 들어, 애플리케이션에 대한 사용자의 인증은 로그인, 로그온, 사용자 연결 또는 인증 이벤트로 설명될 수 있다.따라서 로그 분석은 다른 로그 소스의 메시지에 유용한 비교를 하기 위해 애플리케이션, 벤더, 시스템 또는 구성의 맥락 안에서 메시지를 해석해야 한다.

로그 메시지 형식 또는 내용이 항상 완전히 문서화되지는 않을 수 있다.로그 분석가의 임무는 메시지가 해석되어야 하는 전체 도메인을 이해하기 위해 시스템이 전체 범위의 메시지를 내보내도록 유도하는 것이다.

로그 분석가는 보고서와 통계가 이질적인 환경에서 도출될 수 있도록 서로 다른 로그 출처의 다양한 용어를 통일되고 정규화된 용어로 매핑할 수 있다.예를 들어, 윈도우즈, 유닉스, 네트워크 방화벽, 데이터베이스의 로그 메시지는 감사인을 위한 "정상화된" 보고서로 통합될 수 있다.다른 시스템들은 "오류"와 "경고" 대 "경고"와 같은 다른 어휘로 다른 메시지 우선순위를 신호할 수 있다."critical", "critical" 및 "critical".

따라서, 로그 분석 관행은 텍스트 검색에서 소프트웨어의 역설계까지 연속적으로 존재한다.

기능 및 기술

'패턴인식'은 수신 메시지를 선별해 패턴북과 비교해 다른 방식으로 필터링하거나 처리하는 기능이다.

정규화는 메시지 파트를 동일한 형식(예: 공통 날짜 형식 또는 정규화된 IP 주소)으로 변환하는 기능이다.

분류 및 태그 지정은 메시지를 다른 클래스로 정렬하거나 나중에 사용할 수 있도록 다른 키워드로 태그 지정(예: 필터링 또는 표시)하는 것이다.

상관 분석은 서로 다른 시스템에서 메시지를 수집하여 하나의 단일 이벤트에 속하는 모든 메시지(예: 네트워크 장치, 방화벽, 서버 등 다른 시스템에서 악의적인 활동에 의해 생성되는 메시지)를 찾아내는 기술이다.보통 경보 시스템과 연결된다.

인위적 무지는 재미없다고 알려진 로그 엔트리를 폐기하는 과정인 머신러닝의 일종이다.인위적 무지는 작업 시스템에서 이상 징후를 탐지하는 방법이다.로그 분석에서 이는 시스템의 정상적인 작동으로 인해 발생하는 일반적인 로그 메시지를 인식하고 무시하며, 따라서 그다지 흥미롭지 않다는 것을 의미한다.그러나 이전에 로그에 나타나지 않았던 새로운 메시지는 중요한 이벤트를 신호할 수 있으므로 조사해야 한다.[2][1]알고리즘은 이상 징후 외에도 발생하지 않은 공통 이벤트를 식별한다.예를 들어 매주 실행되는 시스템 업데이트는 실행되지 않았다.

Log Analysis는 종종 APM(애플리케이션 성능 관리) 및 오류 모니터링과 같은 다른 분석 툴과 비교된다.그들의 기능성의 많은 부분이 명백하게 겹치지만, 그 차이는 과정에 뿌리를 두고 있다.APM은 성능을 중시하고 생산에 가장 많이 활용한다.오류 모니터링은 개발자 대 운영자에 의해 주도되며, 예외 처리 블록에서 코드로 통합된다.

참고 항목

참조

  1. ^ a b "Log message classification with syslog-ng [LWN.net]". lwn.net.
  2. ^ "artificial ignorance: how-to guide". www.ranum.com.