아파치 HBase
Apache HBase![]() | |
원본 작성자 | 전원 세트 |
---|---|
개발자 | 아파치 소프트웨어 재단 |
초기 릴리즈 | 2008년 3월 28일; | 전
안정적 해제 | 2.3.4 / 2021년 1월 22일;[1] 전 |
릴리스 미리 보기 | 2.4.2 / 2021년 3월 17일;[1] 전 |
리포지토리 | GitHub 리포지토리, Gitbox 리포지토리 |
기록 위치 | 자바 |
운영 체제 | 크로스 플랫폼 |
유형 | 분산 데이터베이스 |
면허증 | 아파치 라이선스 2.0 |
웹사이트 | hbase |
HBase는 구글의 빅테이블을 본떠 자바로 작성된 오픈소스 비관계 분산 데이터베이스다.Apache Software Foundation의 Apache Hadoop 프로젝트의 일환으로 개발되었으며 HDFS(Hadoop Distributed File System) 또는 Alluxio를 기반으로 실행되어 Hadoop에 빅테이블급 기능을 제공한다.즉, 많은 양의 희박한 데이터 저장 방법(빈 데이터 또는 중요하지 않은 데이터의 많은 수집에서 포착된 소량의 정보, 즉 20억 개의 레코드 그룹에서 50개의 가장 큰 항목을 찾거나 거대한 수집량의 0.1% 미만을 나타내는 비 0개 항목을 찾는 것)을 제공한다.
HBase는 원래 빅테이블 논문에서 설명한 바와 같이 압축, 인메모리 작동 및 블룸 필터를 열 단위로 특징으로 한다.[2]HBase의 테이블은 Hadoop에서 실행되는 MapReduce 작업의 입출력 역할을 할 수 있으며, Java API는 물론 REST, Avro 또는 Recyft 게이트웨이 API를 통해서도 액세스할 수 있다.HBase는 와이드 컬럼 스토어로 하둡, HDFS와 함께한 계통 때문에 널리 채택되어 왔다.HBase는 HDFS를 기반으로 실행되며 처리량이 높고 입출력 지연 시간이 짧은 대규모 데이터셋에서 빠른 읽기 및 쓰기 작업에 적합하다.
HBase는 기존의 SQL 데이터베이스를 직접 대체하는 것은 아니지만 Apache Phoenix 프로젝트는 HBase용 SQL 레이어는 물론 다양한 분석 및 비즈니스 인텔리전스 애플리케이션과 통합할 수 있는 JDBC 드라이버를 제공한다.아파치 트라포디온 프로젝트는 ODBC와 JDBC 드라이버가 탑재된 SQL 조회 엔진을 제공하며, HBase를 스토리지 엔진으로 사용하는 여러 문, 테이블, 행에 걸쳐 분산형 AID 트랜잭션 보호 기능을 제공한다.
HBase는 현재 여러 데이터 기반 웹[3] 사이트를 서비스하고 있지만, 2018년 Facebook의 메시징 플랫폼이 HBase에서 MyRocks로 마이그레이션되었다.[4][5]관계형 데이터베이스나 전통적인 데이터베이스와는 달리, HBase는 SQL 스크립팅을 지원하지 않는다. 대신, 동등한 것을 Java로 작성하여 MapReduce 애플리케이션과 유사성을 채택한다.
Eric Brewer의 CAP Organy와 유사하게 HBase는 CP형 시스템이다.
역사
Apache HBase는 자연어 검색을 목적으로 방대한 양의 데이터를 처리해야 한다는 필요성 때문에 Powerset사의 프로젝트로 시작되었다.2010년부터는 아파치 최상위 프로젝트다.
페이스북은 2010년 11월 HBase를 활용한 새로운 메시징 플랫폼 구현을 선택했으나 2018년 HBase에서 이탈했다.[4]
2.2.z 시리즈는 현재의 안정적 릴리즈 라인으로, 이전의 릴리즈 라인을 대체한다.
사용 사례 및 운영 구축
HBase를 사용하는 기업
다음은 HBase를 사용했거나 사용하고 있는 주목할 만한 기업의 목록이다.
- 23andMe
- 어도비
- Airbnb는 AirStream 실시간 스트림 계산 프레임워크의[6] 일부로 HBase를 사용한다.
- 알리바바 그룹
- Amadeus IT Group을 주요 장기 스토리지 DB로 사용
- 블룸버그, 시계열 데이터 저장용
- Facebook은 2010년부터 2018년까지 HBase를 메시징 플랫폼에 사용하였다.
- 플립카트는 검색[7] 색인 및 사용자 통찰력을 위해 HBase를 사용한다.[8]
- 허둥지둥
- 허브스팟
- Imgur는 HBase를 사용하여 알림 시스템[9][10] 전원을 공급한다.
- 카카오[11]
- 미쇼
- 넷플릭스[12]
- 핀터레스트[13]
- Quicken 대출
- 리치엔진도
- 로켓 연료
- Salesforce.com[14]
- 시어즈
- 소포스, 그들의 백엔드 시스템들 중 일부를 위해.
- Spotify는 Hadoop과 머신러닝(machine learning) 작업의 기반으로 HBase를 사용한다.[15]
- 투엔티는 HBase를 메시징 플랫폼으로 사용한다.[16][17]
- 샤오미
- 야후!
참고 항목
참조
- ^ a b "Apache HBase – Apache HBase Downloads". Retrieved 21 March 2021.
- ^ 장 외(2006).빅 테이블: 구조화된 데이터를 위한 분산 스토리지 시스템
- ^ "Apache HBase – Powered By Apache HBase". hbase.apache.org. Retrieved 8 April 2018.
- ^ a b "Migrating Messenger storage to optimize performance". www.facebook.com. Retrieved 5 July 2018.
- ^ 페이스북: Next-gen' 통신에서 MySQL을 검색한 이유: 2010년 12월 17일
- ^ HBaseCon (2 August 2016). "Apache HBase at Airbnb". slideshare.net. Retrieved 8 April 2018.
- ^ "Near Real Time Search Indexing".
- ^ "Is data locality always out of the box in Hadoop?".
- ^ "Why Imgur Dropped MySQL in Favor of HBase - DZone Database". dzone.com. Retrieved 8 April 2018.
- ^ "Tech Tuesday: Imgur Notifications: From MySQL to HBase - The Imgur Blog". blog.imgur.com. Retrieved 8 April 2018.
- ^ Doyung Yoon. "S2Graph : A Large-Scale Graph Database with HBase".
- ^ Cheolsoo Park and Ashwin Shankar. "Netflix: Integrating Spark at Petabyte Scale".
- ^ Engineering, Pinterest (30 March 2018). "Improving HBase backup efficiency at Pinterest". Medium. Retrieved 14 April 2020.
{{cite web}}
:first=
일반 이름 포함(도움말) - ^ "Hbase at Salesforce.com".
- ^ Josh Baer. "How Apache Drives Spotify's Music Recommendations".
- ^ "Tuenti Group Chat: Simple, yet complex".
- ^ "Tuenti Asyncthrift".
참고 문헌 목록
- Dimiduk, Nick; Khurana, Amandeep (28 November 2012). HBase in Action (1st ed.). Manning Publications. p. 350. ISBN 978-1617290527.
- George, Lars (20 September 2011). HBase: The Definitive Guide (1st ed.). O'Reilly Media. p. 556. ISBN 978-1449396107.
- Jiang, Yifeng (16 August 2012). HBase Administration Cookbook (1st ed.). Packt Publishing. p. 332. ISBN 978-1849517140.