분산 파일 시스템 비교

Comparison of distributed file systems

컴퓨팅에서 분산 파일 시스템(DFS) 또는 네트워크 파일 시스템은 컴퓨터 네트워크를 통해 공유하는 여러 호스트의 파일액세스할 수 있는 파일 시스템입니다.이를 통해 여러 시스템의 여러 사용자가 파일 및 스토리지 리소스를 공유할 수 있습니다.

분산 파일 시스템은 성능, 콘텐츠의 가변성, 동시 쓰기 처리, 노드 또는 스토리지의 영구적 또는 일시적 손실 처리 및 콘텐츠 저장 정책에 따라 다릅니다.

로컬 관리

FOSS

고객 기입처 면허증. 액세스 API 하이 어베이러빌리티 샤즈 효율적인 용장성 용장성의 세분화 초기 출시 연도 메모리 요건(GB)
Alluxio(가상 분산 파일 시스템) 자바 Apache 라이센스 2.0 HDFS, 퓨즈, HTTP/REST, S3 핫 스탠바이 아니요. 레플리케이션[1] 파일[2] 2013
쎄프 C++ LGPL 라이브러리(C, C++, Python, Ruby), S3, Swift, FUSE 네. 네. 플러그형 삭제[3] 코드 풀장[4] 2010 TB당 1개의 스토리지
코다 C GPL C 네. 네. 레플리케이션 볼륨[5] 1987
글러스터 FS C GPLv3 libglusterfs, FUSE, NFS, SMB, Swift, libgfapi 거울 네. 리드솔로몬[6] 볼륨[7] 2005
HDFS 자바 Apache 라이센스 2.0 Java 및 C 클라이언트, HTTP[8], FUSE 트랜스페어런트마스터페일오버 아니요. 리드솔로몬[9] 파일[10] 2005
IPFS 가세요 Apache 2.0 또는 MIT HTTP 게이트웨이, FUSE, Go 클라이언트, Javascript 클라이언트, 명령줄 도구 네. IPFS 클러스터 사용 레플리케이션[11] 블록[12] 2015년[13]
JuiceFS 가세요 Apache 라이센스 2.0 POSIX, 퓨즈, HDFS, S3 네. 네. 리드솔로몬 물건 2021
Kertish-DFS 가세요 GPLv3 HTTP(REST), CLI, C# 클라이언트, Go 클라이언트 네. 레플리케이션 2020
도마뱀 FS C++ GPLv3 POSIX, FUSE, NFS-Ganesha, Ceph FSAL(libcephfs 경유) 마스터. 아니요. 리드솔로몬[14] 파일[15] 2013
러스트레 C GPLv2 POSIX, NFS-Ganesha, NFS, SMB 네. 네. 용장성[16][17] 없음 용장성[18][19] 없음 2003
미니오 가세요 AGPL3.0 AWS S3 API 네. 네. 리드솔로몬[20] 오브젝트[21] 2014
MooseFS C GPLv2 POSIX, 퓨즈 마스터. 아니요. 레플리케이션[22] 파일[23] 2008
오픈 AFS C IBM Public License(IBM 퍼블릭 라이선스) 가상 파일 시스템, 설치 가능한 파일 시스템 레플리케이션 볼륨[24] 2000년
오픈IO[26] C AGPLv3 / LGPLv3 네이티브(Python, C, Java), HTTP/REST, S3, Swift, FUSE(POSIX, NFS, SMB, FTP) 네. 플러그형 삭제[27] 코드 오브젝트[28] 2015 0.5
오리[29] C, C++ MIT 리보리, 퓨즈 레플리케이션 파일[30] 시스템 2012
퀀트캐스트 파일 시스템 C Apache 라이센스 2.0 C++ 클라이언트, FUSE(C++ 서버:MetaServer와 ChunkServer는 모두 C++에 있습니다). 마스터. 아니요. 리드솔로몬[31] 파일[32] 2012
RozoFS C, Python GPLv2 퓨즈, SMB, NFS, 키/값 네. 모제트[33] 볼륨[34] 2011년[35]
미역 FS Go, Java Apache 라이센스 2.0 HTTP(REST), POSIX, 퓨즈, S3, HDFS RockleDB, 문서화되어 있지 않은 설정 필요 리드솔로몬[36] 볼륨[37] 2015
Tahoe-LAFS 파이썬 GNU GPL[38] HTTP(브라우저 또는 CLI), SFTP, FTP, SSHFS 경유 FUSE, pyfilesystem 리드솔로몬[39] 파일[40] 2007
XtreemFS 자바, C++ BSD 라이선스 libxtreemfs(Java, C++), FUSE 레플리케이션[41] 파일[42] 2009

독자 사양

고객 기입처 면허증. 액세스 API
BeeGFS C/C++ FRAUNHOFER FS(FhGFS) EULA,[43]

GPLv2 클라이언트

POSIX
객관적으로FS[44] C 독자 사양 POSIX, 퓨즈
스펙트럼 스케일(GPFS) C, C++ 독자 사양 POSIX, NFS, SMB, Swift, S3, HDFS
MapR-FS C, C++ 독자 사양 POSIX, NFS, FUSE, S3, HDFS, CLI
PanFS C, C++ 독자 사양 DirectFlow, POSIX, NFS, SMB/CIFS, HTTP, CLI
무한대[45] C++ 독자 사양(오픈 [46]소스 제공) FUSE, 설치 가능한 파일 시스템, NFS/SMB, POSIX, CLI, SDK(libinfinit)
Isilon OneFS C/C++ 독자 사양 POSIX, NFS, SMB/CIFS, HDFS, HTTP, FTP, SWIFT 객체, CLI, Rest API
스케리티 C 독자 사양 퓨즈, NFS, 나머지, AWS S3
큐바이트 자바, C++ 독자 사양 POSIX, FUSE, NFS, SMB/CIFS, HDFS, AWS S3, TensorFlow 플러그인, CLI, Rest API

리모트 액세스

이름. 실행자 액세스 API
아마존 S3 아마존 닷컴. HTTP(REST/SOAP)
구글 클라우드 스토리지 구글 HTTP(REST)
SWIFT(OpenStack의 일부) 랙스페이스, Hewlett-Packard HTTP(REST)
Microsoft Azure 마이크로소프트 HTTP(REST)
IBM 클라우드 객체 스토리지 IBM( Cleversafe)[47] HTTP(REST)

비교

일부 연구자들은 HDFS, Ceph, Gluster, Lustre 및 이전 버전(1.6.x)의 MooseFS를 포함한 여러 분산 파일 시스템을 기능적이고 실험적으로 분석했습니다. 단, 이 문서는 2013년 문서이며 많은 정보가 오래된 것입니다(Moose 등).FS는 [48]당시 메타데이터 서버에 대한 HA가 없었습니다).

주요 벤더의 클라우드 기반 원격 분산 스토리지는 API와 일관성 [49]모델이 다릅니다.

「 」를 참조해 주세요.

레퍼런스

  1. ^ "Caching: Managing Data Replication in Alluxio".
  2. ^ "Caching: Managing Data Replication in Alluxio".
  3. ^ "Erasure Code Profiles".
  4. ^ "Pools".
  5. ^ Satyanarayanan, Mahadev; Kistler, James J.; Kumar, Puneet; Okasaki, Maria E.; Siegel, Ellen H.; Steere, David C. "Coda: A Highly Available File System for a Distributed Workstation Environment" (PDF). {{cite journal}}:Cite 저널 요구 사항 journal=(도움말)
  6. ^ "Erasure coding implementation". GitHub. 2 November 2021.
  7. ^ "Setting up GlusterFS Volumes".
  8. ^ "MountableHDFS".
  9. ^ "HDFS-7285 Erasure Coding Support inside HDFS".
  10. ^ "Apache Hadoop: setrep".
  11. ^ 소거 부호화 계획: ,
  12. ^ "CLI Commands: ipfs bitswap wantlist".
  13. ^ "Why The Internet Needs IPFS Before It's Too Late".
  14. ^ "Configuring Replication Modes".
  15. ^ "Configuring Replication Modes: Set and show the goal of a file/directory".
  16. ^ "Lustre Operations Manual: What a Lustre File System Is (and What It Isn't)".
  17. ^ 리드-솔로몬 진행 중:
  18. ^ "Lustre Operations Manual: Lustre Features".
  19. ^ 파일 수준의 용장성 계획:
  20. ^ "MinIO Erasure Code Quickstart Guide".
  21. ^ "MinIO Storage Class Quickstart Guide". GitHub.
  22. ^ 전용 버전 4.x에서만 사용 가능
  23. ^ "mfsgoal(1)".
  24. ^ "Replicating Volumes (Creating Read-only Volumes)".
  25. ^ "OpenAFS".
  26. ^ "OpenIO SDS Documentation". docs.openio.io.
  27. ^ "Erasure Coding".
  28. ^ "Declare Storage Policies".
  29. ^ "Ori: A Secure Distributed File System".
  30. ^ Mashtizadeh, Ali Jose; Bittau, Andrea; Huang, Yifeng Frank; Mazières, David. "Replication, History, and Grafting in the Ori File System" (PDF). {{cite journal}}:Cite 저널 요구 사항 journal=(도움말)
  31. ^ "The Quantcast File System" (PDF).
  32. ^ "qfs/src/cc/tools/cptoqfs_main.cc". GitHub. 8 December 2021.
  33. ^ "About RozoFS: Mojette Transform".
  34. ^ "Setting up RozoFS: Exportd Configuration File".
  35. ^ "Initial commit". GitHub.
  36. ^ "Erasure Coding for warm storage". GitHub.
  37. ^ "Replication". GitHub.
  38. ^ "About Tahoe-LAFS". GitHub. 24 February 2022.
  39. ^ "zfec -- a fast C implementation of Reed-Solomon erasure coding". GitHub. 24 February 2022.
  40. ^ "Tahoe-LAFS Architecture: File Encoding".
  41. ^ "Under the Hood: File Replication".
  42. ^ "Quickstart: Replicate A File".
  43. ^ "FRAUNHOFER FS (FhGFS) END USER LICENSE AGREEMENT". Fraunhofer Society. 2012-02-22.
  44. ^ "ObjectiveFS official website".
  45. ^ "The Infinit Storage Platform".
  46. ^ "Infinit's Open Source Projects". 13 August 2019.
  47. ^ "IBM Plans to Acquire Cleversafe for Object Storage in Cloud". www-03.ibm.com. 2015-10-05. Retrieved 2019-05-06.
  48. ^ Séguin, Cyril; Depardon, Benjamin; Le Mahec, Gaël. "Analysis of Six Distributed File Systems" (PDF). HAL.
  49. ^ "Data Consistency Models of Public Cloud Storage Services: Amazon S3, Google Cloud Storage and Windows Azure Storage". SysTutorials. 4 February 2014. Retrieved 19 June 2017.