CrateDB

CrateDB
CrateDB
CrateDB Logo.jpg
개발자Crate.io, Inc.
안정된 릴리스
4.6.4 / 06.10.2021
저장소https://github.com/crate/crate
기입처자바
운영 체제크로스 플랫폼
유형데이터 저장소
면허증.Apache 라이센스 2.0
웹 사이트crate.io

CrateDB는 완전히 검색 가능한 문서 지향 데이터 저장소를 통합하는 분산 SQL 데이터베이스 관리 시스템입니다.이는 Java로 작성된 오픈 소스이며 공유 없음 아키텍처를 기반으로 하며 높은 확장성을 제공하도록 설계되었습니다.CrateDB에는 Trino, Lucene, Elasticsearch 및 Netty의 컴포넌트가 포함되어 있습니다.

역사

CrateDB 프로젝트는 Dornbirn의 Lovely Systems에서 Open Source Initiative Vorarlberg에[2] [1]공헌한 오픈 소스 기여자이자 크리에이터인 Christian Lutz, Bernd Dorn 및 Jodok Batlogg에 의해 시작되었습니다.소프트웨어는 빠른 텍스트 검색 및 [3]분석에 사용되는 오픈 소스 클러스터 데이터베이스입니다.

현재는 Crate.io으로 불리고 있는 [4]이 회사는 2014년 4월에 첫 번째 자금 조달 라운드를 시작했습니다.그 해 6월, Crate.io는 GigaOm Structure Launchpad 대회에서 [5]심사위원상을 수상했습니다.10월에는 [6]Crate.io가 런던에서 열린 TechCrunch Disrupt Europe에서 수상했습니다.

Crate.io는 2016년 [7]3월에 400만달러의 창립 라운드를 종료했습니다.12월에는 CrateDB 1.0이 100만 [8][9]건 이상의 다운로드를 기록하며 출시되었습니다.

CrateDB의 첫 번째 Enterprise Edition인 CrateDB 2.0은 Dawn Capital, Draper Esprit, Speedinvest 및 Sunstone [13]Capital에서 250만 달러를 조달한 후 2017년 5월에 출시되었습니다.2021년 6월, Crate.io는 또 다른 1,000만달러의 자금 조달 [14][15]라운드를 발표했다.

2020년 9월부터, [16]Crate.io는 CEO로서 Eva Schönleitner가 주도하고 있습니다.

개요

아키텍처

CrateDB는 shared-nothing 아키텍처에서 동일하게 설정된 서버(노드) 클러스터로 동작합니다.노드는 클러스터 전체에서 쓰기 및 쿼리 작업의 실행을 자동으로 분산하도록 조정됩니다.

쿼리

CrateDB의 SQL 구문에는 JOIN, 집계, 인덱스, 하위 쿼리, 사용자 정의 함수 및 뷰가 포함됩니다.또한 전체 텍스트 검색, 지리 공간 쿼리 및 중첩된 JSON 개체 열도 지원합니다.

쿼리 배포를 위해 CrateDB는 각 샤드에 메모리 상주 컬럼 필드 캐시를 구현합니다.캐시는 해당 샤드에 쿼리 기준을 충족하는 행이 있는지 여부와 행의 위치를 쿼리 엔진에 알려줍니다.이 작업은 자동으로 수행됩니다.

스키마

CrateDB는 "strict", "dynamic" 또는 "ignored" 스키마를 지원합니다.

  • 엄밀한 스키마: INSERT 문에 테이블에 정의되지 않은 열이 포함되어 있는 경우 CrateDB는 INSERT를 거부하고 오류를 발생시킴으로써 원래 스키마를 적용합니다.
  • 동적 스키마: CrateDB는 새 열을 인덱싱하여 스키마를 자동으로 업데이트합니다.
  • 무시된 스키마: CrateDB는 열을 인덱싱하지 않지만 일반 JSON 값을 저장합니다.

일관성.

CrateDB는 최종적으로 일관된 논블로킹 데이터 삽입 모델을 구현합니다.여기에는 레코드 버전 관리, 최적 동시성 제어 및 테이블 수준의 새로 고침 빈도 설정이 포함되어 있으며, 이를 통해 CrateDB 데이터가 n밀리초마다 일관되게 유지됩니다.

CrateDB는 쓰기 후 읽기 일관성을 지원합니다.프라이머리 키로 특정 행을 취득하는 쿼리는 항상 최신 행을 수신합니다.다른 모든 쿼리(검색 작업)는 최종적으로 일관된 데이터를 반환합니다.

검색 작업은 공유 IndexReader에서 수행되며, 공유 IndexReader는 샤드에 대한 캐시 및 역방향 조회 기능을 제공합니다.IndexReader는 항상 시작된 Lucene 세그먼트에 바인딩되어 있습니다.즉, 새로운 변경을 표시하려면 새로 고쳐야 합니다.따라서 변경 후 관련 IndexReader가 새로 고쳐진 경우에만 검색이 변경됩니다.기본적으로는 1초에 1회 실행되지만 발생 빈도가 증가하거나 감소하도록 재구성할 수 있습니다.

모든 복제 샤드는 기본 샤드와 동기화되어 업데이트되며 항상 동일한 정보를 전송합니다.따라서 일관성 측면에서는 프라이머리 샤드와 레플리카 샤드에 액세스해도 상관없습니다.CrateDB에서는 IndexReader 새로 고침만 일관성에 영향을 미칩니다.

원자성과 내구성

CrateDB는 WAL(Write-Ahead Logging)을 구현합니다.

  • 행에 대한 작업(내부적으로 CrateDB에 JSON 문서로 저장됨)은 원자적입니다.
  • 행에 대한 작업은 모든 쓰기 작업에 대해 Lucene-commit을 발행하지 않고도 디스크에 유지됩니다.translog가 플래시되면 모든 데이터가 Lucene의 영속적인 인덱스 스토리지에 쓰여지고 translog가 클리어 됩니다.
  • 샤드가 부정하게 셧다운된 경우 실행한 모든 조작이 영속적으로 유지되도록 하기 위해 translog 내의 트랜잭션이 부팅 시 재생됩니다.
  • 또한 새로 할당된 복제본이 프라이머리 샤드에서 초기화되면 번역 로그가 직접 전송됩니다.

레퍼런스

  1. ^ "10 vielversprechende Big-Data-Startups: Altiscale". www.computerwoche.de (in German). Retrieved 2021-10-27.
  2. ^ Franz Rüf, Clemens Peter, Jodok Batlogg, Roland Alton-Sheidl(에드): 오픈 소스 이니셔티브 Vorarlberg.Perspektiven für Wirtschaft, Bildung und Verwaltung, 2005.
  3. ^ "CrateDB에는 NoSQL 유연성과 SQL 익숙성이 포함되어 있습니다." InfoWorld2016년 12월 19일
  4. ^ "Open Source Data Store Startup Crate Data Raises $1.5M From Sunstone And DFJ Esprit". TechCrunch. Retrieved 2021-01-13.
  5. ^ "Vorarlberger Startup "Crate Data" ausgezeichnet". vol.at. Retrieved 2021-01-13.
  6. ^ "Crate Data: Vorarlberger gewinnen bei Techcrunch Europe". Horizont.at. Archived from the original on 2021-01-15.
  7. ^ FinSMEs (2016-03-15). "Crate Technology Raises $4M in Funding". FinSMEs. Retrieved 2021-01-13.
  8. ^ Francisco, Thomas Claburn in San. "Crate.io unboxes clustered SQL CrateDB, decamps to California". www.theregister.com. Retrieved 2021-01-13.
  9. ^ Kepes, Ben (2016-12-14). "CrateDB: The IoT and machine data-focused database". Network World. Retrieved 2021-01-13.
  10. ^ Yegulalp, Serdar (2017-05-16). "CrateDB 2.0 Enterprise stresses security and monitoring—and open source". InfoWorld. Retrieved 2021-01-13.
  11. ^ "Crate.io Packs New Features, Services Into DB Upgrade". LinuxInsider. 2017-05-17. Retrieved 2021-01-13.
  12. ^ "With version 2.0, Crate.io's database tools put an emphasis on IoT". TechCrunch. Retrieved 2021-01-13.
  13. ^ FinSMEs (2017-01-02). "Crate.io Raises €2.5M in Seed Funding". FinSMEs. Retrieved 2021-01-13.
  14. ^ "Zebras & Unicorns: Eva Schönleitner und der 8-Millionen-Deal für Crate.io". Trending Topics (in German). 2021-06-15. Retrieved 2021-10-27.
  15. ^ "Crate.io Secures $10 Million in Funding". CrateDB. Retrieved 2021-10-27.
  16. ^ Crate.io (2020-09-09). "Eva Schönleitner Joins Crate.io as CEO". GlobeNewswire News Room. Retrieved 2021-01-13.

외부 링크