BeeGFS

BeeGFS
BeeGFS
BeeGFS-Logo.png
개발자ThinkParQ Fraunhofer ITWM,
안정된 릴리스
7[1].3.0 / 2022년 4월
운영 체제리눅스
유형분산 파일 시스템
면허증.서버: 전용, 클라이언트: GPL v2
웹 사이트beegfs.io

BeeGFS(이전의 FhGFS)는 고성능 컴퓨팅용으로 개발 및 최적화된 병렬 파일 시스템입니다.BeeGFS에는 확장성과 유연성을 위해 분산 메타데이터 아키텍처가 포함되어 있습니다.가장 많이 사용되고 널리 알려진 측면은 데이터 스루풋입니다.

BeeGFS는 독일 Fraunhofer Center for High Performance Computing에서 개발되었습니다.Sven [2]Breuner는 2014년에 BeeGFS를 유지하고 프로페셔널 서비스를 제공하기 위해 설립된 분사 회사인 ThinkParQ(2014-2018)의 CEO가 되었습니다.

꿀벌 커뮤니티 에디션이GFS는 무료로 다운로드하여 사용할 수 있습니다.Enterprise Edition은 프로페셔널 지원 서브스크립션 [3]계약에 따라 사용해야 합니다.

이력 및 사용방법

BeeGFS는 2005년에 Fraunhofer Center for HPC의 사내 개발로 시작되어 연구소의 새로운 컴퓨팅 클러스터 상의 기존 파일 시스템을 대체하고 운영 환경에서 사용되었습니다.

2007년에는 독일 드레스덴의 ISC07에서 소프트웨어의 첫 번째 베타 버전이 발표되었고, NV, 리노의 SC07에서 일반에 소개되었습니다.그리고 1년 후, 최초의 안정된 메이저 릴리스가 공개되었습니다.

2014년에 Fraunhofer는 BeeGFS를 위한 ThinkParQ라는 새로운[4] 회사를 분사하기 시작했습니다.이 과정에서 FhGFS의 이름이 변경되어 BeeGFS®[5]가 되었습니다.ThinkParQ는 소프트웨어를 유지보수하고 프로페셔널 서비스를 제공하지만, 향후의 기능 개발은 ThinkParQ와 Fraunhofer의 협력 하에 계속됩니다.

BeeGFS는 무료이기 때문에 몇 개의 활성 설치가 있는지 알 수 없습니다.그러나 2014년 씽크파르Q와 프라운호퍼의 상업적 지원을 받아 BeeGFS를 이용한 고객은 이미 전 세계적으로 100여명에 달했다.그 중에는 대학이나 연구 시설등의[6] 학술 유저나, 금융이나 석유 가스 산업등의 분야의 상업 기업도 포함되어 있다.

주목할 만한 설치로는 독일 프랑크푸르트 대학의 Loewe-CSC[7] 클러스터(설치 시 #22), 오스트리아 빈 대학의 비엔나 과학 클러스터[8](설치 시 #56), 노르웨이 오슬로 대학의 아벨 클러스터[9](설치 시 #96) 등의 TOP500 컴퓨터가 있습니다.

주요 개념 및 기능

Fraunhofer는 BeeGFS를 개발할 때 확장성, 유연성 및 사용성에 초점을 맞춘 소프트웨어 개발을 목표로 했습니다.

BeeGFS는 모든 Linux 머신에서 실행되며 클라이언트, 메타데이터 서버 및 스토리지 서버용 서비스를 포함하는 여러 구성 요소로 구성됩니다.또한 관리 호스트용 서비스뿐만 아니라 그래픽 관리 및 모니터링 시스템용 서비스도 있습니다.

  • BeeGFS System Overview

    BeeGFS 시스템 개요

[10]

BeeGFS를 실행하려면 메타데이터 서버와 스토리지 서버의 인스턴스가 하나 이상 필요합니다.하지만 벌GFS를 사용하면 각 서비스의 여러 인스턴스에서 다수의 클라이언트로부터의 부하를 분산할 수 있습니다.각 컴포넌트의 scalability에 의해 시스템 자체의 scalability가 보증됩니다.

파일 컨텐츠는 스트라이핑을 사용하여 여러 스토리지 서버에 배포됩니다.즉, 각 파일은 지정된 크기의 청크로 분할되고 이러한 청크는 기존 스토리지 서버에 배포됩니다.이러한 청크의 크기는 파일 시스템 관리자가 정의할 수 있습니다.또, 메타데이터는 디렉토리 레벨의 복수의 메타데이터 서버에 배포되어 각 서버는 완전한 파일 시스템 트리의 일부를 격납합니다.이 방법을 사용하면 데이터에 빠르게 액세스할 수 있습니다.

클라이언트와 메타데이터 또는 스토리지 서버를 다운타임 없이 기존 시스템에 추가할 수 있습니다.클라이언트 자체는 커널 패치가 필요 없는 경량 커널 모듈입니다.서버는 기존 로컬파일 시스템 상에서 실행됩니다.POSIX를 지원하는 한 기본 파일 시스템의 유형에 제한이 없습니다. 메타데이터 서버에는 ext4를, 스토리지 서버에는 XFS를 사용하는 것이 좋습니다.두 서버 모두 사용자 공간에서 실행됩니다.

또한 개별 서비스 전용 하드웨어에 대한 엄격한 요구사항은 없습니다.이 설계를 통해 파일 시스템 관리자는 특정 시스템 집합에서 원하는 조합으로 서비스를 시작하고 나중에 확장할 수 있습니다.BeeGFS 사용자가 이를 활용하는 일반적인 방법은 메타데이터 서버와 스토리지 서버를 동일한 머신에 결합하는 것입니다.

BeeGFS는 이더넷 또는 Infiniband와 같은 동적 페일오버를 통해 다양한 네트워크 상호 연결과 다양한 Linux 배포 및 커널(2.6.16부터 최신 바닐라까지)을 지원합니다.소프트웨어에는 init 스크립트를 사용한 간단한 셋업과 기동 메커니즘이 있습니다.명령줄보다 그래피컬인터페이스를 선호하는 사용자는 Java 기반의 GUI(AdMon)를 사용할 수 있습니다.GUI는 BeeGFS 상태를 감시하고 시스템 설정을 관리합니다.이 툴은 BeeGFS 설치 관리 및 관리 외에도 시스템 내에서 성능 문제를 식별하는 데 도움이 되는 몇 가지 모니터링 옵션도 제공합니다.

BeeOND(BeeGFS 온디맨드)

BeeOND(BeeGFS 온디맨드)를 사용하면 단일 명령줄로 노드 세트에 BeeGFS 파일 시스템 인스턴스를 생성할 수 있습니다.툴의 사용 예는 다양합니다.그 중 일부는 클러스터 작업(버스트 버퍼링이라고도 함), 클라우드 컴퓨팅 또는 테스트를 위한 빠르고 쉬운 임시 셋업 전용 병렬 파일 시스템을 설정하는 것입니다.

BeeGFS 및 컨테이너

CSI(Open Source Container Storage Interface) 드라이버는 Bee를 활성화합니다.GFS는 [11]Kubernetes와 같은 컨테이너 오케스트레이터와 함께 사용됩니다.이 드라이버는 Kubernetes에서 실행되는 컨테이너와 기존 HPC 워크로드 매니저에서 실행되는 작업이 동일한 BeeGFS 파일 시스템에 대한 액세스를 공유해야 하는 환경을 지원하도록 설계되었습니다.드라이버에 의해 유효하게 되는 워크플로우는, 다음의 2개가 있습니다.

  • 정적 프로비저닝을 통해 관리자는 BeeGFS의 기존 디렉토리에 대한 컨테이너 액세스 권한을 부여할 수 있습니다.
  • 동적 프로비저닝을 통해 컨테이너는 BeeGFS 스토리지를 온디맨드 방식으로 요청할 수 있습니다(새 디렉토리로 표시됨).

파일 시스템에 대한 컨테이너 액세스 및 가시성은 의도한 디렉토리로 제한됩니다.동적 프로비저닝은 BeeGFS에서 해당 디렉토리를 생성할 때 스토리지 풀 및 스트라이핑을 포함한 BeeGFS 기능을 고려합니다.POSIX 파일 시스템의 일반적인 기능(새로운 디렉토리에 대한 권한 지정 기능 등)도 공개되어 글로벌 공유 스토리지와 컨테이너의 통합이 용이해집니다.이를 통해 BeeGFS [12]쿼터를 사용하여 공유 파일 시스템의 컨테이너 사용을 추적하고 제한할 수 있습니다.

벤치마크

Fraunhofer Seislab은 [13]25개의 노드(20개의 컴퓨팅 + 5개의 스토리지)와 3개의 계층 메모리를 갖춘 Fraunhofer ITWM의 테스트 및 실험 클러스터입니다.1 TB RAM, 20 TB SSD, 120 TB HDD.Bee를 사용하지 않는 로컬 파일 시스템의 싱글 노드 퍼포먼스GFS는 1,332 MB/s(쓰기) 및 1,317 MB/s(읽기)입니다.

노드는 인텔 Xeon X5660 x 2 、 48 GB RAM 、 Intel 510 시리즈 SSD ( RAID 0 )x 4 、 Ext 4, QDR Infiniband 를 탑재하고 있으며 Scientific Linux 6.3, 커널 2.6.32-279 및 FhGFS 2012.10 - beta 1 을 실행합니다.

  • Read/Write Throughput

    읽기/쓰기 스루풋

  • File Creates

    파일 작성

  • IOPS

    IOPS

BeeGFS 및 Exascale

Fraunhofer ITWM은 유럽연합의 [14]DEEP-ER(Dynamic-Exascale Entry Platform-Extended Reach) 프로젝트에 참여하고 있습니다.이 프로젝트에서는 컴퓨팅 속도와 I/O 대역폭 간의 격차 증가 및 대규모 시스템의 내장해성 문제에 대처하고 있습니다.

BeeGFS 개발자가 이 프로젝트의 범위 내에서 작업하고 있는 몇 가지 측면은 다음과 같습니다.

  • 계층형 스토리지 지원,
  • POSIX 인터페이스 확장,
  • 폴트 톨러런스 및 고가용성(HA) 및
  • 감시 및 진단 툴의 개선.

이 계획은 하위 호환성을 위해 POSIX 인터페이스를 유지할 뿐만 아니라 API 확장을 통해 파일 시스템이 데이터 배치 및 일관성 등의 작업을 처리하는 방법을 애플리케이션이 더 잘 제어할 수 있도록 하는 것입니다.

「 」를 참조해 주세요.

레퍼런스

  1. ^ "Latest stable BeeGFS release". April 2022.
  2. ^ "FhGFS: A Fast and Scalable Parallel Filesystem FileSystems Columns". www.clustermonkey.net. Retrieved 2019-01-13.
  3. ^ "BeeGFS End-User License Agreement (EULA)". Fraunhofer ITWM. February 22, 2012. Retrieved March 15, 2014.
  4. ^ "ThinkParQ website". Retrieved March 17, 2014.
  5. ^ Rich Brueckner (March 13, 2014). "Fraunhofer to Spin Off Renamed BeeGFS File System". insideHPC. Retrieved March 17, 2014.
  6. ^ "FraunhoferFS High-Performance Parallel File System". ClusterVision eNews. November 2012. Archived from the original on March 17, 2014. Retrieved March 17, 2014.
  7. ^ "... And Fraunhofer". StorageNewsletter.com. June 18, 2010. Retrieved March 17, 2014.
  8. ^ "VSC-2". Top500 List. June 20, 2011. Retrieved March 17, 2014.
  9. ^ "Abel". Top500 List. June 18, 2012. Retrieved March 17, 2014.
  10. ^ "BeeGFS - The Leading Parallel Cluster File System". BeeGFS. Retrieved 2017-12-07.
  11. ^ "Drivers - Kubernetes CSI Developer Documentation".
  12. ^ "BeeGFS CSI Driver". GitHub. 11 October 2021.
  13. ^ Christian, Mohrbacher (September 24, 2015). "BeeGFS - Not only for HPC" (PDF).
  14. ^ "DEEP-ER Project Website". Retrieved March 17, 2014.