섹터/Sphere

Sector/Sphere
섹터/Sphere
Sector-logo2.png
로고
개발자섹터 얼라이언스
안정적 해제
2.8 / 2012년 10월 8일(2012-10-08)
기록 위치C++
운영 체제Linux / Windows
유형분산 파일 시스템
면허증아파치 라이선스 2.0
웹사이트sector.sourceforge.그물을 치다

섹터/Sphere는 고성능 분산 데이터 스토리지 및 처리를 위한 오픈 소스 소프트웨어 제품군.구글의 GFS나 맵리듀스 기술과 대체로 비교할 수 있다.섹터는 다수의 일반 컴퓨터를 통한 데이터 저장소를 목표로 하는 분산 파일 시스템이다.스피어는 섹터에 저장된 데이터에 대해 스토리지 내 병렬 데이터 처리를 지원하는 프로그래밍 아키텍처 프레임워크다.섹터/Sphere는 WAN(Wide Area Network) 설정으로 운영된다.

이 시스템은 2006년 윤홍구(UDP 기반 데이터 전송 프로토콜 저자)가 만든 뒤 다른 개발자 그룹에 의해 유지됐다.

건축

섹터/Sphere는 4가지 구성요소로 구성된다.보안 서버는 사용자 계정 및 IP 액세스 제어 목록과 같은 시스템 보안 정책을 유지 관리한다.하나 이상의 마스터 서버는 다양한 사용자 요청에 응답하는 것 외에 전체 시스템의 운영을 제어한다.슬레이브 노드는 데이터 파일을 저장하고 요청에 따라 처리한다.클라이언트는 시스템 액세스 및 데이터 처리 요청이 발급되는 사용자의 컴퓨터다.또한 섹터/Sphere는 C++로 작성되며, Java로 작성된 경쟁사 Hadoop보다 2-4배 더 우수한 성능을 구현한다고 주장되며,[1] Aster Data Systems 벤치마크에서[2] 지원되는 성명서 및 Supercomputing Conference 2006,[3] 2008,[4] 2009의 "대역폭 도전"을 획득한다.[5]

4가지 구성요소를 갖춘 섹터/Sphere 아키텍처

섹터

섹터는 업로드된 파일을 저장하기 위해 각 노드의 로컬/네이티브 파일 시스템에 의존하는 사용자 공간 파일 시스템이다.섹터는 복제를 통해 파일 시스템 수준의 내결함성을 제공하므로 RAID와 같은 하드웨어 내결함성을 필요로 하지 않으며, 이는 일반적으로 매우 비싸다.

섹터는 사용자 파일을 블록으로 분할하지 않고, 대신 사용자 파일은 하나 이상의 슬레이브 노드의 로컬 파일 시스템에 그대로 저장된다.이것은 섹터가 애플리케이션별로 파일 크기 제한이 있다는 것을 의미한다.단, 섹터 파일 시스템이 매우 단순하고 노드 간 데이터 전송이 감소하여 스피어 병렬 데이터 처리 성능이 향상되는 것이 장점이다.또한 섹터 시스템 외부에서 업로드된 데이터에 액세스할 수 있도록 허용한다.

섹터는 전통적인 파일 시스템과 비교하여 많은 고유한 기능을 제공한다.섹터는 토폴로지를 인식한다.사용자는 네트워크 토폴로지에 따라 시스템에서 파일을 찾고 복제하는 방법에 대한 규칙을 정의할 수 있다.예를 들어 특정 사용자의 데이터는 특정 클러스터에 위치할 수 있으며 다른 랙에는 복제되지 않는다.다른 예로, 어떤 파일들은 다른 파일들보다 더 많은 복제본을 가질 수 있다.이러한 규칙은 파일별 수준에서 적용될 수 있다.

토폴로지 인식과 UDT를 데이터 전송 프로토콜로 활용함으로써 섹터는 지리적으로 분산된 위치에서 고성능 데이터 입출력을 지원할 수 있으며, 대부분의 파일 시스템은 로컬 영역 네트워크 내에서만 구축할 수 있다.이러한 이유로 섹터는 매우 큰 데이터셋을 위한 컨텐츠 유통 네트워크로서 배치되는 경우가 많다.

섹터는 데이터 저장과 처리를 하나의 시스템으로 통합한다.또한 모든 스토리지 노드를 사용하여 데이터를 처리할 수 있으므로 대규모 스토리지 내 병렬 데이터 처리를 지원할 수 있다(Sphere 참조).섹터는 응용 프로그램 인식이다. 즉, 응용 프로그램에 데이터 위치 정보를 제공할 수 있고 또한 응용 프로그램이 필요할 때마다 데이터 위치를 지정할 수 있도록 허용한다.

Speare의 이점에 대한 간단한 예로서 Sector는 파일 시스템에서 데이터를 읽지 않고 "grep"과 "md5sum"과 같은 명령에서 얻은 결과를 반환할 수 있다.게다가, 그것은 여러 파일의 결과를 병렬로 계산할 수 있다.

섹터 클라이언트는 사용자 애플리케이션이 섹터와 직접 상호작용할 수 있는 응용 프로그램 개발을 위한 API를 제공한다.소프트웨어는 또한 파일 시스템에 접속하기 위한 일련의 명령줄 도구와 함께 사전 패키지로 제공된다.마지막으로 섹터는 FUSE 인터페이스를 지원하여 표준 명령줄 도구를 통해 액세스할 수 있는 마운트 가능한 파일 시스템을 제시한다.

구

스피어는 섹터에 통합된 병렬 데이터 처리 엔진으로 섹터에 저장된 데이터를 병렬 처리하는데 사용할 수 있다.맵리듀스와 대체로 비교할 수 있지만 맵 대신 일반 사용자 정의 기능(UDF)을 사용하고 기능을 줄인다.UDF는 지도함수 또는 축소함수일 수도 있고 다른 기능일 수도 있다.스피어는 입력 데이터와 출력 데이터 모두의 인접성을 조작할 수 있기 때문에 여러 입력 데이터셋, 전투적이고 반복적인 운영, 심지어 레거시 애플리케이션 실행까지 효과적으로 지원할 수 있다.

섹터는 사용자 파일을 분할하지 않기 때문에 스피어는 파일이나 디렉토리를 다시 쓰지 않고 입력으로 받아들이는 많은 기존 애플리케이션을 간단히 마무리할 수 있다.그러므로 그것은 레거시 애플리케이션에 더 큰 호환성을 제공할 수 있다.[citation needed]

참고 항목

문학

참조

  1. ^ 섹터 vs.Hadoop - 두 시스템 간의 간략한 비교
  2. ^ 섹터/구 – 2010년 9월 26일 Terasort에서 Hadoop/Mapreduce보다 빠른 속도 제공
  3. ^ 2006년 11월 24일, HPCWire, SC06에서 NCDM이 대역폭 챌린지 우승
  4. ^ UIC Groups, HPCWire, 2008년 11월 20일 대역폭 챌린지 어워드 수상
  5. ^ 2009년 12월 8일 SC09에서 대역폭 과제를 달성한 Open Cloud Testbed

외부 링크