데이터 탐색

Data exploration

데이터 탐사는 초기 데이터 분석과 유사한 접근법으로, 데이터 분석가가 기존의 데이터 관리 시스템이 아닌 데이터 집합에 무엇이 있는지와 데이터의 특성을 이해하기 위해 시각적 탐사를 사용한다.[1] 이러한 특성은 데이터의 크기 또는 양, 데이터의 완전성, 데이터의 정확성, 데이터 요소 또는 파일/테이블 간의 가능한 관계를 포함할 수 있다.

데이터 탐사는 일반적으로 자동화된 활동과 수동 활동의 조합을 사용하여 이루어진다.[1][2][3] 자동화된 활동에는 분석가가 데이터를 처음 보고 주요 특성을 이해할 수 있도록 데이터 프로파일링, 데이터 시각화 또는 표 형식의 보고서를 포함할 수 있다.[1]

이는 종종 자동화된 작업을 통해 식별된 이상 징후나 패턴을 식별하기 위한 데이터의 수동 드릴다운 또는 필터링이 뒤따른다. 또한 데이터 탐색을 위해서는 데이터에 대한 수동 스크립팅과 쿼리가 필요할 수 있다(예: SQL이나 R과 같은 언어 사용). 또는 원시 데이터를 보기 위해 스프레드시트나 유사한 도구를 사용하는 것도 필요하다.[4]

이 모든 활동은 분석가의 마음에 있는 정신적 모델을 만들고 데이터에 대한 이해를 도모하며, 추가 분석에 사용할 수 있는 데이터 세트에 대한 기본 메타데이터(통계, 구조, 관계)를 정의하기 위한 것이다.[1]

데이터에 대한 이러한 초기 이해가 확보되면 데이터에서 사용할 수 없는 부분(데이터 정리)을 제거하고, 서식이 잘못된 요소를 수정하고, 데이터셋 간에 관련 관계를 정의함으로써 데이터를 제거하거나 세분화할 수 있다.[2] 이 프로세스는 데이터 품질을 결정하는 것으로도 알려져 있다.[4]

또한 데이터 탐사는 데이터에 숨겨져 있을 수 있는 잠재적 관계나 통찰력을 식별하기 위해 데이터의 임시 질의와 시각화를 참조할 수 있다.[1]

전통적으로, 이것은 통계학자들의 주요 관심 영역이었고, 존 터키는 그 분야의 핵심 전도사였다.[5] 오늘날, 데이터 탐구는 더 널리 퍼져있으며 데이터 분석가들과 데이터 과학자들의 초점이다; 후자는 기업과 더 큰 조직 내에서 상대적으로 새로운 역할이다.

대화형 데이터 탐색

이 데이터 탐구 영역은 머신러닝 분야의 관심 영역이 되었다. 이것은 비교적 새로운 분야로 아직 진화하고 있다.[4] 그것의 가장 기본적인 수준으로서, 기계 학습 알고리즘은 데이터 세트에 공급될 수 있고 데이터 세트에 근거하여 가설의 사실 여부를 확인하는 데 사용될 수 있다. 일반적인 기계 학습 알고리즘은 데이터에서 특정 패턴을 식별하는 데 초점을 맞출 수 있다.[2] 많은 일반적인 패턴은 회귀와 분류 또는 군집화를 포함하지만 기계 학습을 통해 데이터에 적용할 수 있는 패턴과 알고리즘이 많이 있다.

머신러닝(machine learning)을 채용함으로써 수작업 검사, 시행착오 또는 전통적인 탐색 기법을 통해 데이터에서 찾기가 어렵거나 불가능한 패턴이나 관계를 찾을 수 있다.[6]

소프트웨어

  • Trifacta – 데이터 준비 및 분석 플랫폼
  • Paxata – 셀프 서비스 데이터 준비 소프트웨어
  • Alteryx – 데이터 혼합 및 고급 데이터 분석 소프트웨어
  • Microsoft Power BI - 대화형 시각화 및 데이터 분석 도구
  • OpenRefine - 데이터 정리 및 데이터 변환을 위한 독립 실행형 오픈 소스 데스크톱 애플리케이션
  • Tableau 소프트웨어 – 대화형 데이터 시각화 소프트웨어

참고 항목

참조

  1. ^ a b c d e PROJOR Open Science, 데이터 탐색 기술 개요: 스트라토스 이드레오스, 올가 파펨모누일, 수라짓 차우드후리.
  2. ^ a b c Stanford.edu, 2011년 랭글러: 데이터 변환 스크립트의 대화형 시각적 사양, Kandel, Paepcke, Helerstein Heer.
  3. ^ Arnab Nandi; H. V. Jagadish. Guided Interaction: Rethinking the Query-Result Paradigm (PDF). International Conference on Very Large Data Bases (VLDB) 2011.
  4. ^ a b c Stanford.edu, IEEE VAST(Visual Analytics Science & Technology), 2012년 10월 기업 데이터 분석 및 시각화: 인터뷰 연구, 션 칸델, 안드레아스 파펙케, 조셉 헬러스타인, 제프리 헤어 프로크.
  5. ^ 탐사 데이터 분석, Pearson. ISBN 978-0201076165
  6. ^ 데이터 탐색을 위한 머신러닝