아파치 드릴

Apache Drill
아파치 드릴
Apache Drill logo.svg
개발자아파치 소프트웨어 재단
안정적 해제
1.19.0 / 2021년 6월 10일; 8개월 전(2021-06-10)
리포지토리드릴 리포지토리
기록 위치자바
운영 체제크로스 플랫폼
면허증아파치 라이선스 2.0
웹사이트drill.apache.org

Apache Drill은 대규모 데이터셋의 대화형 분석을 위한 데이터 집약적인 분산 애플리케이션을 지원하는 오픈 소스 소프트웨어 프레임워크다.주로 MapR의 개발자들의 기부로 만들어진 [1]드릴은 구글의 Dremel 시스템에서 영감을 얻어 빅쿼리로도 생산된다.[2]드릴은 아파치 최상위 프로젝트다.[2]

드릴은 Alluxio, HBase, MongoDB, MapR-DB, HDFS, MapR-FS, Amazon S3, Azure Blob Storage, Google Cloud Storage, Swift, NAS 및 로컬 파일 등 다양한 NoSQL 데이터베이스와 파일 시스템을 지원한다.단일 쿼리는 여러 데이터스토어의 데이터를 결합할 수 있다.예를 들어 Hadoop의 이벤트 로그 디렉토리와 함께 MongoDB의 사용자 프로파일 컬렉션에 가입할 수 있다.

드릴의 데이터스토어 인식 최적화 장치는 자동으로 쿼리 계획을 재구성하여 데이터스토어의 내부 처리 기능을 활용한다.또한 드릴과 데이터스토어가 동일한 노드에 있는 경우 드릴은 데이터 인접성을 지원한다.[3]

특징들

명시적으로 언급된 설계 목표 중 하나는 드릴이 1만 대 이상의 서버로 확장할 수 있고 페타바이트 단위의 데이터와 수조 개의 레코드를 몇 초 만에 처리할 수 있다는 것이다.[4]

  • 정식 스키마를 선언할 필요 없이 MongoDB 및 Elasticsearch와 유사한 스키마 프리 JSON 문서 모델
  • 업계 표준 API: ANSI SQL, ODBC/JDBC, RESTful API
  • 사용자 및 개발자에게 매우 친숙함
  • 플러그형 아키텍처를 통해 여러 데이터스토어에 연결 가능
  • Apache Drill 1.9에는 동적 사용자 정의 기능이 추가되었다.
  • Apache Drill 1.11은 암호화 관련 기능과 PCAP 파일 형식 지원을 추가했다.

백엔드 지원

드릴은 주로 Apache Hadoop 텍스트 파일, NoSQL 및 클라우드 스토리지를 비롯한 비관계 데이터 저장소에 집중된다.주목할 만한 특징에는 로컬 JSON 및 Apache Parquet 파일의 상황 질의도 포함된다.지원되는 일부 추가 데이터스토어에는 다음이 포함된다.

스토리지 플러그인을 개발하여 새 데이터스토어를 추가할 수 있다.Drill의 "schema-free" JSON 데이터 모델을 통해 현장에서는 관계 없는 데이터스토어를 쿼리할 수 있다.[5]

프런트 엔드 지원

드릴 자체는 파이톤, 자바 등 다양한 방법과 언어를 통해 JDBC, ODBC 또는 REST를 통해 쿼리할 수 있다.기본 설치에는 최종 사용자가 프로그래밍 없이 ANSI SQL을 직접 실행하고 데이터 테이블을 CSV 파일로 내보낼 수 있는 웹 인터페이스가 포함된다.

대시보드 라이브러리인 Apache Superset은 드릴로 쿼리된 데이터의 시각화에 특히 적합하다.

참고 항목

참조

  1. ^ Friedman, Ellen (21 Sep 2015). "Apache Drill: Tracking its history as an open source community". Archived from the original on 4 Feb 2022.
  2. ^ a b "The Apache Software Foundation Announces Apache Drill as a Top-Level Project". Retrieved 2014-12-02.
  3. ^ "Apache Drill - Schema-free SQL for Hadoop, NoSQL and Cloud Storage". drill.apache.org. Retrieved 2015-12-29.
  4. ^ http://wiki.apache.org/incubator/DrillProposal. {{cite web}}:누락 또는 비어 있음 title=(도움말)
  5. ^ "Frequently Asked Questions - Apache Drill". drill.apache.org. Retrieved 2015-12-29.

페이퍼스

몇몇 논문들은 탄생과 디자인에 영향을 주었다.다음은 부분 목록이다.

외부 링크