Azure 데이터 레이크

Azure Data Lake
Azure 데이터 레이크
Windows Azure logo.png
개발자마이크로소프트
초기 릴리즈2016년 11월 16일, 5년 전(2016-11-16)
이용가능기간:영어
유형데이터 스토리지 및 분석 서비스
웹 사이트azure.microsoft.com/en-us/solutions/data-lake/

Azure Data[1] Lake는 확장 가능한 데이터 스토리지 및 분석 서비스입니다.이 서비스는 마이크로소프트의 퍼블릭 클라우드인 Azure에서 호스팅됩니다.

역사

Azure Data Lake 서비스는 2016년 11월 16일 출시되었습니다.Azure, AdCenter, Bing, MSN, Skype 및 Windows Live와 같은 애플리케이션의 데이터를 저장하고 처리하는 데 사용되는 [2]COSOMOS를 기반으로 합니다.COSMOS는 U-SQL을 [2]구축한SCOPE라고 불리는 SQL과 유사한 쿼리 엔진을 갖추고 있습니다.

Azure 데이터 레이크 스토어

사용자는 소셜 네트워크, 관계형 데이터, 센서, 비디오, 웹 애플리케이션, 모바일 또는 데스크톱 장치 등의 애플리케이션에서 생성된 정형, 반구조화 또는 비정형 데이터를 저장할 수 있습니다.Azure Data Lake Store 계정 하나로 수조 개의 파일을 저장할[3] 수 있으며, 파일 크기가 페타바이트를 초과할 수 있습니다.

Azure Data Lake 분석

Azure Data Lake Analytics는 병렬 온디맨드 작업 서비스입니다.병렬 처리 시스템은 Microsoft Dryad를 [4]기반으로 합니다.Dryad는 임의의 DAG(Directed Acyclic Graphs) 계산 결과를 나타낼 수 있습니다.Data Lake Analytics는 리소스를 동적으로 할당하거나 할당 해제할 수 있는 분산 인프라를 제공하여 고객이 사용하는 서비스에 대해서만 비용을 지불하도록 합니다.

Azure Data Lake Analytics는 Apache Hadoop의 일부인 Apache WARN을 사용하여 클러스터 전체의 리소스 관리를 관리합니다.Microsoft Azure Data Lake Store는 HDFS([4]Hadoop Distributed File System) 인터페이스를 사용하는 모든 애플리케이션을 지원합니다.

U-SQL

Data Lake Analytics를 사용하면 SQL과 C#을 결합한 쿼리 언어인 U-SQL에서 병렬 데이터 변환 및 처리 프로그램을 개발하고 실행할 수 있습니다.U-SQL은 선언형 SQL 언어의 진화로 설계되었으며 C#에서 작성된 사용자 코드를 통해 네이티브 확장성이 제공됩니다.U-SQL은 C# 데이터 유형과 C# 표현 언어를 사용합니다.

「 」를 참조해 주세요.

레퍼런스

  1. ^ "Data Lake". Microsoft Azure. Retrieved 2019-06-17.
  2. ^ a b Harris, Derrick (2015-02-05). "Why opening up its Cosmos big data system would be the right move for Microsoft". gigaom.com. Retrieved 2017-07-27.
  3. ^ "Data Lake Microsoft Azure". azure.microsoft.com. Retrieved 2021-09-15.
  4. ^ a b Harris, Ed. "Cosmos" (PDF).

외부 링크