아파치 킬린

Apache Kylin
아파치 킬린
Apache Kylin logo.svg
개발자아파치 킬린 위원회
초기 릴리즈2015년 6월 10일; 6년(2015-06-10)[1]
안정적 해제
3.1.0 / 2020년 7월 2일; 19개월(2020-07-02)[2]
릴리스 미리 보기
4.0.0-알파 / 2020년 9월 13일; 16개월(2020-09-13)[3]
리포지토리키린 리포지토리
기록 위치자바
면허증아파치 라이선스 2.0
웹사이트kylin.apache.org

Apache Kylin은 매우 큰 데이터셋을 지원하는 HadoopAlluxioSQL 인터페이스와 다차원 분석(OLAP)을 제공하도록 설계된 오픈 소스 분산 분석 엔진이다.

원래는 이베이에 의해 개발되었으며, 현재는 아파치 소프트웨어 재단의 프로젝트다.[4]

역사

Kylin 프로젝트는 중국 상하이에 있는 이베이의 R&D에서 2013년에 시작되었다.2014년 10월, Kylin v0.6은 "KylinOLAP"[5]라는 이름으로 github.com에서 공개되었다.

2014년 11월, Kylin은 Apache Software Foundation 인큐베이터에 가입했다.

아파치 킬린은 2015년 12월 최고 수준의 프로젝트로 졸업했다.[4]

2016년 3월, Kyligence, Inc.는 Apache Kylin의 크리에이터에 의해 설립되었다.[6][7]Kyligence는 사내 및 클라우드 기반 데이터셋을 위한 Apache Kylin 기반의 상용 분석 플랫폼을 제공한다.[8]

건축

Apache Kylin은 Apache Hadoop, Apache Hive, Apache HBase, Apache Parquet, Apache Calcite, Apache Spark 및 기타 기술을 기반으로 구축되었다.[9]이러한 기술을 통해 Kylin은 대규모 데이터 로드를 지원하도록 쉽게 확장할 수 있다.[10]

Kylin은 다음과 같은 핵심 구성요소를 가지고 있다.[11][9]

  • REST 서버:사용자 또는 API 요청 수신 및 응답
  • 메타데이터:시스템, 특히 큐브 메타데이터의 지속성 및 관리
  • Query Engine: SQL 쿼리를 실행 계획에 구문 분석 후 스토리지 엔진과 대화
  • 저장 엔진:기본 큐브 저장소 푸시다운 및 스캔(HBase의 기본값);
  • 작업 엔진:소스 데이터를 큐브에 빌드하기 위해 MapReduce 또는 Spark 작업 생성 및 실행

사용자

Apache Kylin은 생산에서 OLAP 플랫폼으로 많은 회사들에 의해 채택되었다.대표적인 사용자로는 eBay, Meituan, XiaoMi, NetEase, Beike, Yahoo!일본.

로드맵

Apache Kylin 로드맵(Kylin 웹사이트에서[12]):

  • Hadoop 3.0 지원(삭제 코딩) - 완료(v2.5)
  • 스파크 큐브 엔진 완전 장착 - 완료(v2.5)
  • 추가 데이터 소스(MySQL, Oracle, SparkSQL 등) 연결 완료(v2.6)
  • Lambda Architecture를 통한 실시간 분석 완료(v3.0)
  • 클라우드 네이티브 스토리지(Parquet) - 진행 중(v4.0.0-alpha)
  • 큐빙이 없는 임시 쿼리

참조

  1. ^ "Previous Release". v0.7.1-incubating (First Apache Release). Retrieved 15 June 2019.
  2. ^ "Previous Release". v3.1.0. Retrieved 30 September 2020.
  3. ^ "Apache Kylin - Release Notes". v4.0.0-alpha. Retrieved 30 September 2020.
  4. ^ a b 아파치 소프트웨어 재단아파치 소프트웨어 재단이 아파치 카일린을 최고 수준의 프로젝트로 발표하다, 2015년 12월 8일
  5. ^ "Announcing Kylin: Extreme OLAP Engine for Big Data". www.ebayinc.com. 2014-10-20. Retrieved 2018-11-08.
  6. ^ "Apache Kylin Through the Eyes of the Founders - Part One". Kyligence. 2020-06-12. Retrieved 2020-09-30.
  7. ^ "Big Data Analytics Platform Learn More About Kyligence". Kyligence. Retrieved 2020-09-30.
  8. ^ "Big Data Analytics Platform: Apache Kylin vs. Kyligence". Kyligence. Retrieved 2020-09-30.
  9. ^ a b "Apache Kylin Analytical Data Warehouse for Big Data". kylin.apache.org. Retrieved 2020-09-30.
  10. ^ Knorr, Eric (2016-03-07). "What eBay looks like under the hood". InfoWorld. Retrieved 2020-09-30.
  11. ^ "Apache Kylin Adds Real-time OLAP". www.i-programmer.info. Retrieved 2020-09-30.
  12. ^ Kylin, Apache. "Apache Kylin Development Quick Guide". kylin.apache.org. Retrieved 2020-09-30.