그리드 파일 시스템

Grid file system

그리드 파일 시스템은 다수의 작은 파일 스토리지 [1]영역을 활용하여 신뢰성과 가용성을 향상시키는 것을 목표로 하는 컴퓨터 파일 시스템입니다.

구성 요소들

파일 시스템에는 최대 3개의 컴포넌트가 포함되어 있습니다.

  • 파일 테이블(FAT 테이블, MFT 등)
  • 파일 데이터
  • 메타데이터(사용자 권한 등)

그리드 파일 시스템도 비슷한 요구를 가지고 있습니다.

  • 파일 테이블(또는 검색 인덱스)
  • 파일 데이터
  • 메타데이터

비교

파일 시스템은 단일 컴퓨터가 관리하는 단일 디스크로 보이도록 설계되어 있기 때문에 그리드 내의 모든 단일 디스크는 그리드에 포함된 모든 데이터에 대한 요청을 처리할 수 있어야 하는 그리드 시나리오에서 많은 새로운 과제가 발생합니다.

특징들

대부분의 파일 스토리지는 높은 수준의 데이터 보호(데이터 손실 불가)를 달성하기 위해 다중 계층을 사용합니다.현재의 용장성 수단에는 레플리케이션과 패리티 체크가 있습니다.이러한 용장성은 RAID 어레이를 통해 구현할 수 있습니다(로컬 컴퓨터에는 여러 개의 물리 디스크가 단일 디스크로 표시되며, 여기에는 데이터 복제 및/또는 디스크 파티셔닝이 포함될 수 있습니다).마찬가지로 그리드 파일 시스템은 "그리드"에 존재하는 여러 디스크에 걸쳐 일정 수준의 이중화(논리 파일 수준 또는 블록 수준 중 하나)로 구성됩니다.

프레임워크

우선 파일 테이블 메커니즘이 필요합니다.또한 파일 테이블에는 그리드 내에서 (타깃/대상) 파일을 찾기 위한 메커니즘이 포함되어야 합니다.둘째, 파일 데이터를 처리하는 메커니즘이 존재해야 합니다.이 메커니즘은 파일 데이터를 요청에 사용할 수 있도록 하는 역할을 합니다.

실행

BitTorrent 기술을 사용하면 그리드 파일 시스템에 병렬을 그릴 수 있습니다. 즉, 토렌트 트래커(및 검색 엔진)가 "파일 테이블"이고 토렌트 애플리케이션(파일 전송)이 "파일 데이터" 구성 요소가 될 것입니다.파일 테이블노드는 RSS 피드라이크 메커니즘을 사용하여 테이블에 새로운 파일이 추가되는 시기를 표시하고 복제 및 기타 유사한 컴포넌트를 실행할 수 있습니다.

파일 시스템에는, 같은 테크놀로지(분산 리플리케이션, 분산 데이터 요구/실행)가 짜넣어져 있는 경우가 있습니다.

이러한 시스템(파일 테이블 및 파일 데이터)이 모두 단일 엔티티로 처리될 수 있는 경우(즉, 클러스터의 가상 노드 사용), 그리드 멤버를 사용하는 방법(파일 테이블 및 파일 검색 및/또는 파일 데이터)을 결정하는 것만으로 이러한 시스템으로의 확장을 쉽게 제어할 수 있습니다.

유용성

그리드 내에서 데이터 리플리케이션을 자율적으로 관리하는 방법(쿼터 할당 등)이 있는 경우, 손실 또는 정지에 관계없이 데이터를 고가용성(HA)으로 구성할 수 있습니다.

과제들

현재 가장 큰 문제는 데이터 업데이트를 배포하는 것입니다.토렌트는 최소한의 계층 구조(현재 토렌트 트래커에 메타데이터로 구현되거나 UI 및 기본 분류로 구현됨)를 지원합니다.여러 노드를 동시에 업데이트하면(원자성 트랜잭션이 필요하다고 가정함) 업데이트 및 추가 중에 지연이 발생하며, 일반적으로 가능하지 않을 수 있습니다.또한 그리드(네트워크 기반) 파일 시스템은 파일 시스템(일반적으로 낮은 수준, 링 0 유형의 작업)이 복잡한 TCP/IP 구현을 요구한다는 점에서 기존의 TCP/IP 패러다임을 깨뜨리고, 이러한 그리드 파일 시스템을 만드는 프로세스에 추상화 계층과 복잡성을 초래합니다.

예

고가용성 데이터의 예는 다음과 같습니다.

  • 네트워크 로드밸런싱 / CARP – 착신 요구를 여러 대의 컴퓨터로 분할합니다.보통은 동일하거나 전체적으로 구성됩니다.
  • 공유 스토리지 클러스터링/SAN – 1개의 디스크(1개 또는 복수의 물리 디스크)가 여러 대의 컴퓨터에 제시되어 착신 요구가 분할됩니다.이것은, 통상, 디스크 액세스보다 높은 처리 능력을 필요로 하는 경우에 사용됩니다.
  • 데이터 리플리케이션/미러링– 여러 대의 컴퓨터가 데이터 동기화를 시도할 수 있습니다(일반적으로 특정 시점 또는 스냅샷 기반).보고서 작성(마지막 스냅샷 기준) 또는 백업 용도로 더 자주 사용됩니다.
  • 데이터 파티셔닝 – 여러 컴퓨터 간에 데이터를 분할합니다.데이터베이스에서 데이터는 종종 테이블을 기반으로 분할됩니다(특정 테이블이 특정 컴퓨터에 존재하거나 특정 "중단점"에서 여러 컴퓨터 간에 테이블이 분할됨).일반 파일은 카테고리(카테고리 기반 폴더) 또는 위치(일반적으로 구분됨)로 분할되는 경향이 있습니다.

「 」를 참조해 주세요.

레퍼런스

  1. ^ Maad, Soha; Coghlan, Brian; Quigley, Geoff; Ryan, John; Kenny, Eamonn; o'Callaghan, David (2007). "Towards a complete grid filesystem functionality". Future Generation Computer Systems. 23: 123–131. doi:10.1016/j.future.2006.06.006.