라스담의

라스담의

원본 작성자	피터 바우만
개발자	라스다만 Gmbh
안정적 해제	라스다만 v9.8.1 / 2019년 7월 26일(2019-07-26)
리포지토리	rasdaman.org/rasdaman.git
기록 위치	C++[1]
운영 체제	가장 유닉스 같은 운영 체제
유형	배열 DBMS
면허증	GPL v3(서버) / LGPL v3(클라이언트) 또는 독점[2]
웹사이트	rasdaman.org, rasdaman.com

rasdaman("raster data manager")은 Array DBMS, 즉 센서, 이미지, 시뮬레이션 및 통계 데이터와 같은 대규모 다차원 어레이의 저장 및 검색 기능을 추가하는 Database Management System이다.어레이와 흔히 사용되는 동의어는 2-D 래스터 그래픽과 같은 래스터 데이터인데, 이는 실제로 라스다만이라는 이름에 동기를 부여했다.그러나 라스다만은 치수 수에 제한이 없다. 예를 들어 1-D 측정 데이터, 2-D 위성 이미지, 3-D x/y/t 영상 시계열 및 x/y/z 탐사 데이터, 4-D 해양 및 기후 데이터, 심지어 주피오-임시 차원까지 지원할 수 있다.

역사

1989년에 피터 바우만은 이미지에 대한 데이터베이스 지원에 대한 연구를 시작했고, 그 후 프라운호퍼 컴퓨터 그래픽스 연구소에서 연구를 시작했다.그는 영상, 특히 AFATL Image Maintraze에서 래스터 데이터 형식화에 대한 심층적인 조사에 이어 데이터 모델과 선언적 쿼리 언어를 포함한 다차원 배열의 데이터베이스 모델을 구축했다.^[3]어레이 데이터베이스 영역을 개척하십시오.오늘날, 다차원 배열은 데이터 큐브로도 알려져 있다.

TU 뮌헨에서는 EU가 자금을 지원한 기초 연구 프로젝트 라스다만에서 O2 객체 지향 DBMS 위에 최초의 프로토타입이 만들어져 지구와 생명 과학 애플리케이션에서 시험되었다.^[4]EU의 추가 자금 지원 프로젝트들을 통해, 이 시스템은 관계형 DBMS를 지원하기 위해 완성되고 확장되었으며, 이후 제이콥스 대학에서 계속되어온 연구 외에도 상업적 지원을 제공하기 위해 전용 연구인 라스다만 GmbH가 설립되었다.^[5][6]그 이후, 양 기관은 라스다만 기술의 추가 개발과 사용에 대해 협력한다.

개념

데이터 모델

데이터베이스 목적으로 특별히 개발된 배열 대수학에^[7] 기초하여 라스다만은 관계형 모델에 새로운 속성 유형인 배열을 추가한다.이 배열의 정의는 파라메트릭화되어 2차 구성이나 템플릿을 구성한다. 이 사실은 대수 및 질의 언어의 2차 함수들에 의해 반영된다.

역사적 이유로, 초기 설계가 객체 지향 데이터베이스 표준인 ODMG에 내재하는 것을 강조하였듯이 테이블을 수집이라고 부른다. SQL과의 완전한 통합을 기대하면서, 라스다만 수집은 첫 번째 속성인 객체 식별자, 두 번째 속성인 배열과의 이진 관계를 나타낸다.이를 통해 어레이와 정기적인 관계 튜플 사이에 외래 키 참조를 설정할 수 있다.

래스터 쿼리 언어

rasdaman 쿼리 언어인 rasql은 표준 SQL과 그 설정 지향적인 프로세싱에 그 자체를 주입한다.새로운 속성 유형인 다차원 배열에서, 모든 것이 대수적으로 정의된 최소한의 코어 연산자, 배열 생성자(새 배열을 구축하고 값으로 채우는 것) 및 배열 콘덴서(SQL Aggregate와 유사하게, 스칼라 요약 정보를 수집하는 것)에 기초하는 일련의 추가 연산이 제공된다.배열하다쿼리 언어는 선언적(따라서 최적화 가능)이며 평가에서 안전하다. 즉, 모든 쿼리는 한정된 처리 단계 후에 반환될 수 있다.

rasql 쿼리 가이드는^[8] 세부 정보를 제공하며, 여기서 몇 가지 예는 그 용도를 예시할 수 있다.

• "모든 4-D x/y/z/t 기후 시뮬레이션 데이터 큐브에서, 모든 데이터를 x로 포함하는 컷아웃, 100 ~ 200 사이의 y 추출물, 모두 z를 따라 사용 가능, 42 위치의 슬라이스(효과적으로 3-D x/y/z 큐브가 생성됨)":

선발하다 c[ *:*, 100:200, *:*, 42 ]  로부터   실내 온도 조절 로서 c 

• "모든 Landsat 위성 이미지에서 모든 비녹색 영역을 억제하십시오."

선발하다 img * (img.푸르른 > 130) 로부터   란사타아치브 로서 img 

참고: 이것은 초목 검색의 매우 순진한 표현이다. 실제로 NDVI 공식을 사용하고, 클라우드 마스킹에 null 값을 사용하고, 몇 가지 추가 기술을 사용한다.

• "비트 마스크로 정의된 일부 영역에서 강도가 임계값인 250을 초과하는 모든 MRI 영상":

선발하다 img 로부터   MRI 로서 img, 마스크 로서 m 어디에  모종의( img > 250 그리고 m ) 

• "모든 4-D 기후 시뮬레이션 데이터 큐브에서 2-D x/y 슬라이스로 각 슬라이스가 PNG 형식으로 인코딩됨":

선발하다 png( c[ *:*, *:*, 100, 42 ] ) 로부터   실내 온도 조절 로서 c 

건축

저장 관리

라스다만에서 타일링되는 샘플 배열

래스터 객체는 래스터 객체를 타일로 분할하는 것에 기초하여 표준 관계형 데이터베이스에 유지된다.^[9]일반분할 외에도, 사용자나 시스템에서 생성되는 파티셔닝이 가능하다.타일이 디스크 액세스 단위를 형성하므로 타일링 패턴을 쿼리 액세스 패턴에 맞게 조정하는 것이 매우 중요하다. 여러 타일링 전략은 성능이 좋은 타일링을 설정하는 데 도움이 된다.지오 인덱스를 사용하여 쿼리의 영향을 받는 타일을 신속하게 결정한다.선택적으로 타일은 무손실(무손실) 및 무손실(파형) 알고리즘을 포함한 다양한 선택사항 중 하나를 사용하여 압축된다. 그것과 독립적으로 쿼리 결과는 클라이언트로의 전송을 위해 압축될 수 있다.타일링 전략과 압축 모두 데이터베이스 조정 매개변수로 구성된다.

타일 및 타일 인덱스는 관계형 데이터베이스에 BLOB로 저장되며, 라스다만의 동적 유형 시스템에 필요한 데이터 사전도 저장된다.어댑터는 여러 관계형 시스템에 사용할 수 있으며, 그 중에서도 오픈 소스 PostgreSQL. 디스크 공간보다 큰 어레이에 대해서는 계층적 스토리지 관리(HSM) 지원이 개발되었다.

쿼리 처리

조회는 rasdaman 서버에서 구문 분석, 최적화 및 실행된다.파서는 조회 문자열을 수신하고 연산 트리를 생성한다.또한, 그것은 해당되는 경우 대수적 최적화 규칙을 쿼리 트리에 적용한다. 150개의 대수적 재작성 규칙 중 110개는 실제로 최적화하는 반면 나머지 40개는 쿼리를 표준 형식으로 변환하는 역할을 한다.구문 분석과 최적화는 노트북에서 1밀리초도 걸리지 않는다.

실행은 가능한 경우 쿼리에 의해 어드레싱되는 배열 타일을 순차적으로 가져와 처리 후 각 타일을 폐기하는 타일 스트리밍 패러다임을 따른다.이는 서버 메인 메모리를 초과하는 데이터 볼륨으로 확장 가능한 아키텍처로 이어진다.

쿼리 실행은 병렬로 이루어진다.첫째, 라스다만은 질간 병렬주의를 제공한다.발송인은 트랜잭션별로 서버 프로세스 풀에 요청을 예약한다.쿼리 내 병렬화는 쿼리 하위 트리를 사용 가능한 코어, GPU 또는 클라우드 노드에 투명하게 배포한다.

클라이언트 API

라스다만과의 주요 인터페이스는 질의어다.C++와 자바 API에 임베딩하면 어레이 처리를 위한 클라이언트 측 편의 기능뿐만 아니라 쿼리를 호출할 수 있다.각 어레이는 클라이언트 언어와 프로세서 아키텍처의 메인 메모리 형식으로 제공되며, 추가 처리를 위해 준비된다.데이터 형식 코덱은 CSV, PNG, NetCDF와 같은 공통 래스터 형식으로 어레이를 검색할 수 있다.

웹 디자인 툴킷인 raswct가 제공되어 쿼리의 임계값을 위한 슬라이더와 같이 파라메타화된 쿼리 처리를 위한 그래픽 위젯을 포함하여 웹 쿼리 프런트엔드를 쉽게 만들 수 있다.

지오 웹 서비스

rasdaman 클라이언트로 실행되는 Java 서블릿 페타스코프는 특히 지리 데이터 액세스, 처리 및 필터링을 위한 웹 서비스 인터페이스를 제공한다.다음과 같은 OGC 표준이 지원된다: WMS, WCS, WCPS, WPS.

WCS와 WCPS의 경우 라스다만이 참조 구현이다.

상태 및 라이센스 모델

오늘날 rasdaman은 어레이 쿼리 기능을 선택/삽입/업데이트/삭제하는 완전한 구현 오퍼링이다.그것은 연구와 상업 시설에서 모두 사용되고 있다.

원래의 코드 소유자인 라스다만 GmbH와^[5] 제이콥스 대학이 협력하여 2008~2009년에 코드 분할을 실시하여 오픈소스 지점인 ^[10]라스다만 커뮤니티와 상업 지점인 라스다만 기업이 탄생하였다.그 이후로, 라스다만 커뮤니티는 제이콥스 대학에 의해 유지되고 있는 반면 라스다만 기업은 라스다만 GmbH의 소유로 남아있다.두 변종 간의 차이는 특히 큰 데이터베이스, 사용자 번호 및 복잡한 쿼리를 지원하기 위한 성능 향상 장치(예: 특정 최적화 기법)로 주로 구성된다. 세부 정보는 라스다만 커뮤니티 웹사이트에서 확인할 수 있다.^[11]

rasdaman 커뮤니티 라이선스는 GPL의 서버와 LGPL의 모든 클라이언트 파트의 서버를 출시하므로 어떠한 라이선스 환경에서도 시스템을 사용할 수 있다.

영향 및 사용

Rasdaman은 최초의 Array DBMS 제품(1996년 첫 시제품 출시)으로서 이 최근의 데이터베이스 연구 영역을 형성했다.데이터 및 쿼리 모델(선언성, 때로는 운영자의 선택)의 개념은 보다 최근의 접근방식에서 발견된다.

2008년 오픈 지리공간 컨소시엄은 커버리지 개념에 기초해 래스터 질의어를 정의하는 Web Coverage Processing Service 표준을 발표했다.연산자 의미론은^[12] 라스다만 배열 대수학의 영향을 받는다.

어스룩은^[13] 실제 운용 중인 OGC 커버리지 표준의 쇼케이스로 래스터 데이터 액세스와 애드호크 처리의 1-D에서 4-D 사용 사례를 제공한다.EarthLook은 라스다만을 기반으로 만들어졌다.

라스다만이 모든 지구과학의 대규모 서비스에 이용되고 있는 표본 대형 프로젝트는 EarthServer로,^[14] 통합 데이터/메타데이터 검색 및 분산 질의 처리를 위해 각각 최소 100테라바이트의 용량을 가진 6개의 서비스가 설정되었다.

참조