분산 파일 시스템 비교
Comparison of distributed file systems컴퓨팅에서 분산 파일 시스템(DFS) 또는 네트워크 파일 시스템은 컴퓨터 네트워크를 통해 공유하는 여러 호스트의 파일에 액세스할 수 있는 파일 시스템입니다.이를 통해 여러 시스템의 여러 사용자가 파일 및 스토리지 리소스를 공유할 수 있습니다.
분산 파일 시스템은 성능, 콘텐츠의 가변성, 동시 쓰기 처리, 노드 또는 스토리지의 영구적 또는 일시적 손실 처리 및 콘텐츠 저장 정책에 따라 다릅니다.
로컬 관리
FOSS
고객 | 기입처 | 면허증. | 액세스 API | 하이 어베이러빌리티 | 샤즈 | 효율적인 용장성 | 용장성의 세분화 | 초기 출시 연도 | 메모리 요건(GB) |
---|---|---|---|---|---|---|---|---|---|
Alluxio(가상 분산 파일 시스템) | 자바 | Apache 라이센스 2.0 | HDFS, 퓨즈, HTTP/REST, S3 | 핫 스탠바이 | 아니요. | 레플리케이션[1] | 파일[2] | 2013 | |
쎄프 | C++ | LGPL | 라이브러리(C, C++, Python, Ruby), S3, Swift, FUSE | 네. | 네. | 플러그형 삭제[3] 코드 | 풀장[4] | 2010 | TB당 1개의 스토리지 |
코다 | C | GPL | C | 네. | 네. | 레플리케이션 | 볼륨[5] | 1987 | |
글러스터 FS | C | GPLv3 | libglusterfs, FUSE, NFS, SMB, Swift, libgfapi | 거울 | 네. | 리드솔로몬[6] | 볼륨[7] | 2005 | |
HDFS | 자바 | Apache 라이센스 2.0 | Java 및 C 클라이언트, HTTP[8], FUSE | 트랜스페어런트마스터페일오버 | 아니요. | 리드솔로몬[9] | 파일[10] | 2005 | |
IPFS | 가세요 | Apache 2.0 또는 MIT | HTTP 게이트웨이, FUSE, Go 클라이언트, Javascript 클라이언트, 명령줄 도구 | 네. | IPFS 클러스터 사용 | 레플리케이션[11] | 블록[12] | 2015년[13] | |
JuiceFS | 가세요 | Apache 라이센스 2.0 | POSIX, 퓨즈, HDFS, S3 | 네. | 네. | 리드솔로몬 | 물건 | 2021 | |
Kertish-DFS | 가세요 | GPLv3 | HTTP(REST), CLI, C# 클라이언트, Go 클라이언트 | 네. | 레플리케이션 | 2020 | |||
도마뱀 FS | C++ | GPLv3 | POSIX, FUSE, NFS-Ganesha, Ceph FSAL(libcephfs 경유) | 마스터. | 아니요. | 리드솔로몬[14] | 파일[15] | 2013 | |
러스트레 | C | GPLv2 | POSIX, NFS-Ganesha, NFS, SMB | 네. | 네. | 용장성[16][17] 없음 | 용장성[18][19] 없음 | 2003 | |
미니오 | 가세요 | AGPL3.0 | AWS S3 API | 네. | 네. | 리드솔로몬[20] | 오브젝트[21] | 2014 | |
MooseFS | C | GPLv2 | POSIX, 퓨즈 | 마스터. | 아니요. | 레플리케이션[22] | 파일[23] | 2008 | |
오픈 AFS | C | IBM Public License(IBM 퍼블릭 라이선스) | 가상 파일 시스템, 설치 가능한 파일 시스템 | 레플리케이션 | 볼륨[24] | 2000년 | |||
오픈IO[26] | C | AGPLv3 / LGPLv3 | 네이티브(Python, C, Java), HTTP/REST, S3, Swift, FUSE(POSIX, NFS, SMB, FTP) | 네. | 플러그형 삭제[27] 코드 | 오브젝트[28] | 2015 | 0.5 | |
오리[29] | C, C++ | MIT | 리보리, 퓨즈 | 레플리케이션 | 파일[30] 시스템 | 2012 | |||
퀀트캐스트 파일 시스템 | C | Apache 라이센스 2.0 | C++ 클라이언트, FUSE(C++ 서버:MetaServer와 ChunkServer는 모두 C++에 있습니다). | 마스터. | 아니요. | 리드솔로몬[31] | 파일[32] | 2012 | |
RozoFS | C, Python | GPLv2 | 퓨즈, SMB, NFS, 키/값 | 네. | 모제트[33] | 볼륨[34] | 2011년[35] | ||
미역 FS | Go, Java | Apache 라이센스 2.0 | HTTP(REST), POSIX, 퓨즈, S3, HDFS | RockleDB, 문서화되어 있지 않은 설정 필요 | 리드솔로몬[36] | 볼륨[37] | 2015 | ||
Tahoe-LAFS | 파이썬 | GNU GPL[38] | HTTP(브라우저 또는 CLI), SFTP, FTP, SSHFS 경유 FUSE, pyfilesystem | 리드솔로몬[39] | 파일[40] | 2007 | |||
XtreemFS | 자바, C++ | BSD 라이선스 | libxtreemfs(Java, C++), FUSE | 레플리케이션[41] | 파일[42] | 2009 |
독자 사양
고객 | 기입처 | 면허증. | 액세스 API |
---|---|---|---|
BeeGFS | C/C++ | FRAUNHOFER FS(FhGFS) EULA,[43] GPLv2 클라이언트 | POSIX |
객관적으로FS[44] | C | 독자 사양 | POSIX, 퓨즈 |
스펙트럼 스케일(GPFS) | C, C++ | 독자 사양 | POSIX, NFS, SMB, Swift, S3, HDFS |
MapR-FS | C, C++ | 독자 사양 | POSIX, NFS, FUSE, S3, HDFS, CLI |
PanFS | C, C++ | 독자 사양 | DirectFlow, POSIX, NFS, SMB/CIFS, HTTP, CLI |
무한대[45] | C++ | 독자 사양(오픈 [46]소스 제공) | FUSE, 설치 가능한 파일 시스템, NFS/SMB, POSIX, CLI, SDK(libinfinit) |
Isilon OneFS | C/C++ | 독자 사양 | POSIX, NFS, SMB/CIFS, HDFS, HTTP, FTP, SWIFT 객체, CLI, Rest API |
스케리티 | C | 독자 사양 | 퓨즈, NFS, 나머지, AWS S3 |
큐바이트 | 자바, C++ | 독자 사양 | POSIX, FUSE, NFS, SMB/CIFS, HDFS, AWS S3, TensorFlow 플러그인, CLI, Rest API |
리모트 액세스
이름. | 실행자 | 액세스 API |
---|---|---|
아마존 S3 | 아마존 닷컴. | HTTP(REST/SOAP) |
구글 클라우드 스토리지 | 구글 | HTTP(REST) |
SWIFT(OpenStack의 일부) | 랙스페이스, Hewlett-Packard 등 | HTTP(REST) |
Microsoft Azure | 마이크로소프트 | HTTP(REST) |
IBM 클라우드 객체 스토리지 | IBM(구 Cleversafe)[47] | HTTP(REST) |
비교
일부 연구자들은 HDFS, Ceph, Gluster, Lustre 및 이전 버전(1.6.x)의 MooseFS를 포함한 여러 분산 파일 시스템을 기능적이고 실험적으로 분석했습니다. 단, 이 문서는 2013년 문서이며 많은 정보가 오래된 것입니다(Moose 등).FS는 [48]당시 메타데이터 서버에 대한 HA가 없었습니다).
주요 벤더의 클라우드 기반 원격 분산 스토리지는 API와 일관성 [49]모델이 다릅니다.
「 」를 참조해 주세요.
레퍼런스
- ^ "Caching: Managing Data Replication in Alluxio".
- ^ "Caching: Managing Data Replication in Alluxio".
- ^ "Erasure Code Profiles".
- ^ "Pools".
- ^ Satyanarayanan, Mahadev; Kistler, James J.; Kumar, Puneet; Okasaki, Maria E.; Siegel, Ellen H.; Steere, David C. "Coda: A Highly Available File System for a Distributed Workstation Environment" (PDF).
{{cite journal}}
:Cite 저널 요구 사항journal=
(도움말) - ^ "Erasure coding implementation". GitHub. 2 November 2021.
- ^ "Setting up GlusterFS Volumes".
- ^ "MountableHDFS".
- ^ "HDFS-7285 Erasure Coding Support inside HDFS".
- ^ "Apache Hadoop: setrep".
- ^ 소거 부호화 계획: ,
- ^ "CLI Commands: ipfs bitswap wantlist".
- ^ "Why The Internet Needs IPFS Before It's Too Late".
- ^ "Configuring Replication Modes".
- ^ "Configuring Replication Modes: Set and show the goal of a file/directory".
- ^ "Lustre Operations Manual: What a Lustre File System Is (and What It Isn't)".
- ^ 리드-솔로몬 진행 중:
- ^ "Lustre Operations Manual: Lustre Features".
- ^ 파일 수준의 용장성 계획:
- ^ "MinIO Erasure Code Quickstart Guide".
- ^ "MinIO Storage Class Quickstart Guide". GitHub.
- ^ 전용 버전 4.x에서만 사용 가능
- ^ "mfsgoal(1)".
- ^ "Replicating Volumes (Creating Read-only Volumes)".
- ^ "OpenAFS".
- ^ "OpenIO SDS Documentation". docs.openio.io.
- ^ "Erasure Coding".
- ^ "Declare Storage Policies".
- ^ "Ori: A Secure Distributed File System".
- ^ Mashtizadeh, Ali Jose; Bittau, Andrea; Huang, Yifeng Frank; Mazières, David. "Replication, History, and Grafting in the Ori File System" (PDF).
{{cite journal}}
:Cite 저널 요구 사항journal=
(도움말) - ^ "The Quantcast File System" (PDF).
- ^ "qfs/src/cc/tools/cptoqfs_main.cc". GitHub. 8 December 2021.
- ^ "About RozoFS: Mojette Transform".
- ^ "Setting up RozoFS: Exportd Configuration File".
- ^ "Initial commit". GitHub.
- ^ "Erasure Coding for warm storage". GitHub.
- ^ "Replication". GitHub.
- ^ "About Tahoe-LAFS". GitHub. 24 February 2022.
- ^ "zfec -- a fast C implementation of Reed-Solomon erasure coding". GitHub. 24 February 2022.
- ^ "Tahoe-LAFS Architecture: File Encoding".
- ^ "Under the Hood: File Replication".
- ^ "Quickstart: Replicate A File".
- ^ "FRAUNHOFER FS (FhGFS) END USER LICENSE AGREEMENT". Fraunhofer Society. 2012-02-22.
- ^ "ObjectiveFS official website".
- ^ "The Infinit Storage Platform".
- ^ "Infinit's Open Source Projects". 13 August 2019.
- ^ "IBM Plans to Acquire Cleversafe for Object Storage in Cloud". www-03.ibm.com. 2015-10-05. Retrieved 2019-05-06.
- ^ Séguin, Cyril; Depardon, Benjamin; Le Mahec, Gaël. "Analysis of Six Distributed File Systems" (PDF). HAL.
- ^ "Data Consistency Models of Public Cloud Storage Services: Amazon S3, Google Cloud Storage and Windows Azure Storage". SysTutorials. 4 February 2014. Retrieved 19 June 2017.