Lustre(파일 시스템)

Lustre (file system)
"클러스터 파일 시스템"은 여기서 리디렉션됩니다.일반 용어는 클러스터된 파일 시스템을 참조하십시오.프로그래밍 언어에 대해서는 Lustre(프로그래밍 언어)를 참조하십시오.
러스트레
Lustre file system logo.gif
초기 릴리즈2003년 12월 16일, 18년 전(2003-12-16)[1]
안정된 릴리스
2.15.0(메이저릴리즈 제외),

2.12.9(유지보수 릴리스 추가),

/ 2022년 6월 17일, 51일 전(2022-06-17)
저장소
기입처C
운영 체제Linux 커널
유형분산 파일 시스템
면허증.GPL v2 LGPL
웹 사이트www.lustre.org Edit this at Wikidata
클러스터 파일 시스템즈, Inc.
유형사적인
설립.2001
설립자피터 J. 브람
본사
콜로라도 주
주요 인물
Andreas Dilger, Eric Barton(HPC), Phil Schwan
상품들러스트 파일 시스템
러스트레
소개했다2003년 12월 Linux 사용
구조물들
디렉토리 내용2.7 이상의 DNE를 사용한 해시, 인터리브 해시
파일 형식파일, 디렉토리, 하드링크, 심볼링크, 블록스페셜, 문자스페셜, 소켓, FIFO
부터블아니요.
한계
최소 볼륨 크기32 MB
최대 볼륨 크기700PB(실가동),[4] 16EB(이론) 이상
최대 파일 크기32 PB(ext4), 16 EB(ZFS)
파일 크기 정밀도4 KB
최대 파일 수메타데이터 대상별(MDT): 40억 개의 파일(ldiskfs 백엔드), 256조 개의 파일(ZFS [5]백엔드), 파일 시스템당 최대 128 개의 MDT
최대 파일 이름 길이255 바이트
최대 dirname 길이255 바이트
최대 디렉터리 깊이4096 바이트
파일 이름에 허용되는 문자NUL('\0') 및 '/' 및 특수 파일 이름 "." 및 "..을 제외한 모든 바이트입니다."
특징들
기록된 날짜변경(mtime), 속성 변경(ctime), 액세스(atime), 삭제(dtime), 생성(crtime)
날짜 범위2^34비트(ext4), 2^64비트(ZFS)
날짜 해결1초
포크아니요.
특성32bitapi, acl, 체크섬, flock, lruresize, noacl, nochecksum, noflock, nolazystatfs, nolruresize, nouser_path, nouser_xatr, user_path, user_xatr
파일 시스템 권한POSIX, POSIX.1e ACL, SELinux
투과적 압축있음(ZFS만 해당)
투과적 암호화있음(네트워크, 스토리지(ZFS 0.8+, fscrypt(Lustre 2.14.0+))
데이터 중복 배제있음(ZFS만 해당)
카피 온 라이트있음(ZFS만 해당)
다른.
지원되는 운영 체제Linux 커널

Lustre는 병렬 분산 파일 시스템의 일종으로 일반적으로 대규모 클러스터 컴퓨팅에 사용됩니다.Lustre라는 이름은 Linux와 [6]클러스터에서 파생된 포트만토어입니다.Lustre 파일 시스템 소프트웨어는 GNU General Public License(버전 2만)에 따라 제공되며 소규모 워크그룹 클러스터에서 대규모 멀티사이트 시스템에 이르기까지 다양한 크기의 컴퓨터 클러스터에 고성능 파일 시스템을 제공합니다.2005년 6월 이후 Lustre는 세계 톱10의 절반 이상, 2020년 6월 세계 [7][8][9]톱500 슈퍼컴퓨터 1위, Fugaku [10]및 타이탄과 세쿼이아 [12]등 세계[11] 톱100 슈퍼컴퓨터 60대 이상에서 꾸준히 사용되고 있습니다.

Lustre 파일 시스템은 확장성이 뛰어나며 수만 개의 클라이언트 노드, 수백 대의 서버 상에 있는 수십 페타바이트(PB)의 스토리지 및 1TB/s 이상의 총 I/O 처리량을 [13][14]갖춘 여러 컴퓨터 클러스터의 일부가 될 수 있습니다.따라서 Lustre 파일 시스템은 기상, 시뮬레이션,[15] 석유 및 가스, 생명과학, 리치 미디어, 금융 등의 [16]업계를 포함한 대규모 데이터 센터를 보유한 기업에게 인기 있는 선택지가 됩니다.Lustre의 I/O 퍼포먼스는 이러한 애플리케이션에 광범위한 영향을 미쳐 폭넓은 [17][18][19][20]주목을 받고 있습니다.

역사

Lustre 파일 시스템 아키텍처는 1999년 당시 카네기 멜론 대학(CMU) 직원이었던 Peter J. Braam에 의해 연구 프로젝트로 시작되었습니다.Bram은 2001년 [21][22]CMU의 Coda 프로젝트의 InterMezzo 파일 시스템에 관한 작업을 시작으로 독자적인 회사 Cluster File Systems를 설립했습니다.Lustre는 Hewlett-Packard와 [23]인텔이 출자한 미국 에너지부의 Accelerated Strategic Computing Initiative Path Forward 프로젝트에서 개발되었습니다.2007년 9월, Sun Microsystems는 Cluster File Systems Inc.의 「지적 재산」[24][25]을 포함한 자산을 취득했습니다.Sun은 Sun의 ZFS 파일 시스템과 Solaris 운영 체제에 Lustre 기술을 도입하기 위해 고성능 컴퓨팅 하드웨어 제품에 Lustre를 포함시켰습니다.2008년 11월, Bram은 Sun Microsystems를 떠나 Eric Barton과 Andreas Dilger가 프로젝트를 관리하게 되었습니다.2010년 Oracle Corporation은 Sun 인수를 통해 Lustre를 관리 및 출시하기 시작했습니다.

2010년 12월 Oracle은 Lustre 2.x 개발을 중단하고 Lustre 1.8을 유지보수 전용 지원에 포함시키겠다고 발표했습니다.이것에 의해, 향후의 파일 [26]시스템의 개발은 불투명하게 됩니다.이 발표 이후 Whamcloud,[27] Open Scalable File Systems, Inc.(OpenSFS), EOFS(유럽 오픈 파일 시스템) 등 오픈 커뮤니티 개발 모델에서 지원과 개발을 제공하기 위해 여러 새로운 조직이 출범했습니다.2010년 말까지 대부분의 Lustre 개발자는 Oracle을 떠났습니다.Bram과 몇몇 동료들은 ClusterStor의 [28][29]자산을 인수했을 때 하드웨어 중심의 Xyratex에 합류했고, Barton, Dilger 등은 소프트웨어 스타트업인 Whamcloud를 설립하여 [30]Lustre를 계속 연구했습니다.

2011년 8월 OpenSFS는 Whamcloud에 [31]Lustre 기능 개발 계약을 체결했습니다.이 계약에서는 Lustre가 멀티코어 메타데이터 서버를 보다 효과적으로 활용할 수 있는 싱글 서버 메타데이터 퍼포먼스 확장, 온라인 Lustre Distributed Filesystem Check(LFSCK; 분산 파일 시스템 체크) 등의 기능의 완료를 대상으로 하고 있습니다.Lustre Distributed Filesystem Check(LFSCK)는 데이터 서버와 메타데이터 서버 간의 분산 파일 시스템 상태를 검증할 수 있는파일 시스템이 마운트되어 사용되고 있습니다.또, DNE(Distributed Namespace Environment)를 사용하면, Lustre 메타데이터를 복수의 서버에 분산할 수 있습니다.또한 Lawrence Livermore National [12]Laboratory의 ZFS 기반 백엔드 객체 스토리지에 대한 개발도 계속되었습니다.이러한 기능은 Lustre 2.2~2.4 커뮤니티 릴리즈 [32]로드맵에 기재되어 있습니다.2011년 11월에는 새로운 기능을 [33]개발하는 동안 Lustre 코드가 충분한 테스트와 버그 수정을 받을 수 있도록 하기 위해 Whamcloud와 별도로 Lustre 2.x 소스 코드를 유지 보수하는 계약이 체결되었습니다.

2012년 7월 Whamcloud가 FastForward DOE 계약을 따낸 후,[36] 2012년 7월, Whamcloud는 인텔에 [34][35]인수되었습니다.그 후 OpenSFS는 Lustre 개발 계약을 인텔로 이관했습니다.

2013년 2월 Xyratex Ltd는 Oracle로부터 [28]원본 Lustre 상표, 로고, 웹 사이트 및 관련 지적 재산을 취득했다고 발표했습니다.2013년 6월 Intel은 [37]Hadoop 내 등 기존 HPC를 넘어 Lustre 사용을 확대하기 시작했습니다.2013년 전체적으로 OpenSFS는 Lustre 기능 개발, 병렬 파일 시스템 툴, Lustre 기술 부채 해결 및 병렬 파일 시스템 [38]인큐베이터에 대한 제안 요청(RFP)을 발표했습니다.OpenSFS는 또한 Lustre 커뮤니티 포털을 설립했습니다.이 포털은 Lustre 오픈 소스 커뮤니티를 지원하기 위한 참조 및 가이던스를 제공하기 위해 한 영역에서 정보와 문서 모음을 제공하는 기술 사이트입니다.2014년 4월 8일, Ken Claffey는 Xyratex/Seagate가 lustre.org 도메인을 [39]사용자 커뮤니티에 기부한다고 발표했으며, 이는 2015년 3월에 완료되었습니다.

2018년 6월에 DDN에 의해 Lustre 팀과 자산이 인텔로부터 인수되었습니다.DDN은 새로운 인수를 독립 사업부로 조직하여 새로운 [40]사업부의 Whamcloud라는 이름을 부활시켰습니다.

2019년 11월 OpenSFS와 EOFS는 SC19 Lustre BOF에서 Lustre 상표가 Seagate에서 [41]공동으로 이전되었다고 발표했습니다.

릴리스 이력

Lustre 파일 시스템은 2003년 3월 당시 [43]가장 큰 슈퍼컴퓨터 중 하나인 Lawrence Livermore [42]National Laboratory의 MCR Linux 클러스터에 처음 설치되었습니다.

Lustre 1.0.0은 2003년 [1]12월에 출시되었으며 서버 페일오버 및 복구 등 기본적인 Lustre 파일 시스템 기능을 제공합니다.

2004년 3월에 출시된 Lustre 1.2.0은 Linux 커널 2.6에서 동작하며 쓰기 처리 중인 파일 및 클라이언트 측 데이터 쓰기 캐시 계정(grant)에 대한 잠금 해제를 방지하는 "사이즈 슬림" 기능을 갖추고 있습니다.

2004년 11월에 출시된 Lustre 1.4.0은 버전 간 프로토콜 호환성을 제공하며 InfiniBand 네트워크를 사용할 수 있으며 ldiskfs on-disk 파일 시스템의 익스텐트/mballoc을 이용할 수 있습니다.

2007년 4월에 출시된 Lustre 1.6.0에서는 마운트 구성("mountconf")을 통해 서버를 "mkfs" 및 "mount"로 구성할 수 있으며 오브젝트 스토리지 타깃(OST)을 동적으로 추가할 수 있으며 대칭 멀티프로세서(SMP) 서버에서의 Lustre Distributed Lock Manager(LDLM) 확장성이 실현되어 모든 오브젝트에 대한 빈 공간 관리가 가능해졌습니다.opations.

2009년 5월에 출시된 Lustre 1.8.0은 OSS Read Cache를 제공하고 여러 장애 발생 시 복구를 개선하며 OST 풀, 적응형 네트워크 타임아웃 및 버전 기반 복구를 통한 기본적인 이기종 스토리지 관리를 추가했습니다.이행 릴리스로 Lustre 1.6 [44]및 Lustre 2.0과 상호 운용이 가능했습니다.

2010년 8월에 출시된 Lustre 2.0은 아키텍처의 주요 진전에 대비하기 위해 내부적으로 대폭 재구성된 코드를 기반으로 합니다.Lustre 2.x 클라이언트는 1.8 이전 서버와 상호 운용할 수 없습니다.단, Lustre 1.8.6 이후의 클라이언트는 Lustre 2.0 이후의 서버와 상호 운용할 수 있습니다.메타데이터 타겟(MDT) 및 OST 온디스크 포맷은 파일 시스템을 다시 포맷할 필요 없이 1.8에서 2.0 이후로 업그레이드할 수 있습니다.

2011년 9월에 출시된 Lustre 2.1은 Oracle이 Lustre 2.x [45]릴리즈 개발을 중단한 것에 대한 대응으로 커뮤니티 전체의 이니셔티브였습니다.Red Hat Linux 6 상에서 서버를 실행할 수 있는 기능이 추가되어 ext4 기반의 최대 OST 사이즈가 24TB에서 [46]128TB로 확대되었으며 퍼포먼스와 안정성이 대폭 향상되었습니다.Lustre 2.1 서버는 1.8.6 이후 클라이언트와 상호 운용 가능한 상태로 유지되었습니다.

2012년 3월에 출시된 Lustre 2.2는 메타데이터 성능 향상과 새로운 [47]기능을 제공하는 데 초점을 맞췄습니다.병행 디렉토리 조작을 추가해, 복수의 클라이언트가 1개의 큰 디렉토리를 동시에 트래버스 및 변경할 수 있게 되어, 서버 장해로부터의 신속한 리커버리, 1개의 파일의 스트라이프 수(최대 2000 OST)의 증가, 및 1개의 클라이언트 디렉토리 트래버설 퍼포먼스의 향상이 가능하게 되었습니다.

2012년 10월에 출시된 Lustre 2.3은 CPU 코어가 많은 노드(16개 이상)의 내부 잠금 병목 현상을 제거하기 위해 메타데이터 서버 코드를 지속적으로 개선했습니다.오브젝트 스토어는 백업파일 시스템으로 ZFS를 사용하는 예비 기능을 추가했습니다.Lustre File System ChecK(LFSCK) 기능은 파일시스템 사용 중, 파일레벨의 백업/복원 후 또는 MDS가 파손되었을 때 MDS Object Index(OI; 오브젝트인덱스)를 검증 및 복구할 수 있습니다.서버측 IO 통계는 SLURM 등의 배치 작업 스케줄러와의 통합으로 작업별 통계를 추적할 수 있도록 확장되었습니다.클라이언트 측 소프트웨어는 버전 3.0까지 Linux 커널에서 작동하도록 업데이트되었습니다.

2013년 5월에 출시된 Lustre 2.4에는 많은 주요 기능이 추가되어 있으며, 대부분은 OpenSFS를 통해 직접 자금을 조달하고 있습니다.분산 네임스페이스 환경(DNE)은 단일 네임스페이스의 서브 디렉토리 트리를 별도의 MDT에 배치할 수 있도록 함으로써 2.4 클라이언트의 수평 메타데이터 용량 및 성능 확장을 가능하게 합니다.이제 ZFS를 MDT와 OST 스토리지의 백업 파일 시스템으로 사용할 수 있게 되었습니다.LFSCK 기능은 MDT FID 및 링크의 내부 일관성을 스캔하고 확인하는 기능을 추가했습니다.EA 어트리뷰트NRS(Network Request[48] Scheduler)는 디스크 순서 또는 공정성을 위해 클라이언트 요청 처리를 최적화하는 정책을 추가합니다.클라이언트는 옵션으로 최대 4MB의 벌크 RPC를 전송할 수 있습니다.클라이언트 측 소프트웨어는 Linux 커널에서 버전 3.6까지 작동하도록 업데이트되었으며, 여전히 1.8 클라이언트와 상호 운용할 수 있습니다.

2013년 10월에 출시된 Lustre 2.5에는 매우 기대되는 기능인 계층형 스토리지 관리(HSM)가 추가되었습니다.HSM은 엔터프라이즈 환경의 핵심 요건입니다.HSM을 사용하면 고객은 운영 환경에 계층형 스토리지 솔루션을 쉽게 구현할 수 있습니다.이 릴리스는 Lustre의 [50][51][52][53]OpenSFS 지정 Maintenance Release 브랜치입니다.최신 유지 보수 버전은 2.5.3이며 2014년 [54]9월에 출시되었습니다.

2014년 [55]7월에 출시된 Lustre 2.6은 보다 완만한 릴리스 기능으로, OST에서 로컬 일관성 검사 및 MDT와 OST 개체 간의 일관성 검사를 수행하는 LFSCK 기능을 추가했습니다.NRS 토큰버킷[56] 필터(TBF) 정책이 추가되었습니다.단일 클라이언트 [57]IO 성능이 이전 릴리스보다 향상되었습니다.이 릴리스에서는 DNE 스트라이프 디렉토리의 프리뷰도 추가되어 단일 대형 디렉토리를 여러 MDT에 저장할 수 있게 되어 퍼포먼스와 확장성이 향상되었습니다.

2015년 [58]3월에 출시된 Lustre 2.7은 여러 MDT 간에 원격 및 스트라이프 디렉토리의 DNE 일관성을 검증하는 LFSCK 기능을 추가했습니다.Dynamic LNet Config에는 런타임에 LNet 네트워크인터페이스, 루트 및 라우터를 설정 및 변경하는 기능이 추가되었습니다.관리 도메인이 다른 클라이언트의 UID/GID 매핑을 위한 새로운 평가 기능과 DNE 스트라이프 디렉토리 기능이 개선되었습니다.

2016년 [59]3월에 출시된 Lustre 2.8은 MDT 간의 디렉토리 마이그레이션과 교차 MDT 하드 링크 및 이름 변경을 포함한 DNE 스트라이프 디렉토리 기능을 완료했습니다.또한 클라이언트에서의 Security-Enhanced Linux(SELinux) 지원 향상, 네트워크상의 Kerberos 인증 및 RPC 암호화, LFSCK의 퍼포먼스 향상 등도 포함되어 있습니다.

Lustre 2.9는 2016년 12월에[60] 출시되었으며 보안 및 성능과 관련된 많은 기능을 포함하고 있습니다.Shared Secret Key 보안 플레이버는 Kerberos와 동일한 GSSAPI 메커니즘을 사용하여 클라이언트 및 서버 노드 인증 및 RPC 메시지 무결성 및 보안(암호화)을 제공합니다.Nodemap 기능을 사용하면 클라이언트노드를 그룹으로 분류한 후 해당 클라이언트의 UID/GID를 매핑할 수 있습니다.이로 인해 리모트 관리 대상 클라이언트는 모든 클라이언트노드에 대해 단일 세트의 UID/GID 없이 공유 파일시스템을 투과적으로 사용할 수 있습니다.서브디렉토리 마운트 기능을 통해 클라이언트는 MDS에서 파일 시스템 네임스페이스의 서브셋을 마운트할 수 있습니다.또, 이 릴리스에서는, 디스크에 보다 효율적인 I/O를 송신하기 위해서, 최대 16 MiB 의 RPC 의 서포트가 추가되어 있습니다.ladvise클라이언트가 서버에 I/O 힌트를 제공하여 파일 데이터를 서버 캐시로 프리페치하거나 서버 캐시에서 파일 데이터를 플러시할 수 있도록 합니다.파일 시스템 전체의 기본 OST 풀 지정 지원이 향상되었으며 다른 파일 레이아웃 매개 변수와 함께 OST 풀의 상속이 향상되었습니다.

Lustre 2.10은 2017년 7월에[61] 출시되었으며 몇 가지 중요한 개선 사항이 있습니다.LNet Multi-Rail(LMR; LNet 멀티레일) 기능을 사용하면 클라이언트 및 서버에서 여러 네트워크 인터페이스(InfiniBand, Omni-Path 및/또는 이더넷)를 결합하여 집약 I/O 대역폭을 늘릴 수 있습니다.개별 파일에서는 여러 컴포넌트로 구성된 복합 파일 레이아웃을 사용할 수 있습니다. 이 컴포넌트는 파일 오프셋에 기반한 파일 영역이며 스트라이프 수, OST 풀/스토리지 유형 등의 다양한 레이아웃 매개 변수를 사용할 수 있습니다.PFL(Progressive File Layout)은 컴포지트 레이아웃을 사용하는 첫 번째 기능이지만 미러링이나 소거 코딩 등의 다른 파일 레이아웃과 함께 사용할 수 있도록 구현이 유연합니다.NRS Token Bucket Filter(TBF) 서버 측 스케줄러는 RPC 유형의 스케줄링과 작업 등의 여러 파라미터를 지정하는 기능을 포함한 새로운 규칙 유형을 구현했습니다.규칙 매칭용 ID 및 NID.MDT 및 OST ZFS 스냅샷을 별도의 Lustre 마운트 포인트로 생성, 마운트 및 관리하기 위해 Lustre 파일 시스템의 ZFS 스냅샷을 관리하는 도구가 추가되었습니다.

Lustre 2.11은 2018년 4월에[62] 출시되었으며 두 가지 중요한 신기능과 몇 가지 작은 기능을 포함하고 있습니다.파일 레벨 용장성(FLR) 기능은 2.10 PFL 구현으로 확장되며, 스토리지 또는 서버 장애 시 미러된 파일 레이아웃을 지정하여 가용성을 향상하거나 동시 읽기를 통한 성능을 향상할 수 있습니다.Data-on-MDT(DoM; 데이터 온 MDT) 기능을 사용하면 MDT에 소규모(소량의 MiB) 파일을 저장할 수 있으므로 OST에서 사용되는 일반적인 HDD RAID-6 스토리지 대신 일반적인 플래시 기반 RAID-10 스토리지를 활용하여 지연 시간을 단축하고 IO 경합을 줄일 수 있습니다.또, LNet 다이나믹 검출 기능을 사용하면, LNet 네트워크를 공유하는 피어간에 LNet 멀티 레일을 자동적으로 설정할 수 있습니다.LDLM Lock Ahead 기능을 사용하면 적절하게 변경된 응용 프로그램 및 라이브러리가 OST에서 파일의 DLM 익스텐트 잠금을 프리페치할 수 있습니다.이것에 의해, 이 파일 익스텐트가 가까운 장래에 변경되는 것을 알고 있는(또는 예측하고 있는) 경우, 같은 파일에 쓰는 복수의 클라이언트의 잠금 경합이 경감됩니다.

Lustre 2.12는 2018년 12월[63] 21일에 출시되었으며 Lustre 2.11에 FLR 및 DoM 기능의 성능 및 기능 개선과 더불어 NRS TBF, HSM 및 JobStats에 대한 작은 변경 사항을 포함하여 Lustre의 사용 편의성과 안정성을 개선하는 데 중점을 두고 있습니다.Lustre 2.10의 LNet Multi-Rail 기능을 통해 노드에 여러 네트워크인터페이스가 있는 경우 네트워크 장애를 보다 효율적으로 처리할 수 있도록 LNet Network Health가 추가되었습니다.Lazy Size on[64] MDT(LSOM) 기능을 사용하면 정책 엔진, 파일시스템스캐너 및 기타 관리툴에서 사용할 수 있도록 MDT 상의 파일사이즈 견적을 저장할 수 있습니다.이것에 의해, OST 에 문의할 필요 없이, 완전 정확한 파일사이즈나 블록수를 보다 효율적으로 판단할 수 있습니다.또, 이 릴리스에서는, 복수의 MDT간에 기존의 디렉토리를 수동으로 재스트라이프 하는 기능도 추가되어 다수의 파일을 가지는 디렉토리를 이행해, 복수의 MDS 노드의 용량과 퍼포먼스를 사용할 수 있게 되었습니다.Lustre RPC 데이터 체크섬을 통해 클라이언트에서 커널 블록층, SCSI 호스트 어댑터 및 T10[65] 지원 하드 드라이브에 SCSI T10-PI 통합 데이터 체크섬이 추가되었습니다.

러스터 2.1312월 5일 2019[66]에 세계적인 파일 시스템 네임 스페이스의 파일 부분을 클라이언트 노드에 NVMe과 NVRAM 저장의 직접적인 사용을 허용하는 파일을 하나의 OST에 여러개의 줄무늬가 저장할 수 있는 새로운 성능 관련 기능 지속 ClientCache[67](PCC),와 OSTOverstriping[68] 덧붙였다 풀려났다. 더 유티로고속 OSS 하드웨어를 사용합니다.또한 LNet 멀티레일네트워크 헬스 기능은 LNet RDMA 라우터 노드에서 동작하도록 개선되었습니다.PFL 기능은 Self-Extending[69] Layouts(SEL)로 확장되어 파일컴포넌트를 동적으로 사이징할 수 있게 되어 같은 파일 시스템 내의 디스크 OST보다 훨씬 작은 플래시 OST를 보다 효율적으로 처리할 수 있게 되었습니다.또한 MDT 전체에서 DNE 리모트디렉토리 작성의 밸런스 조정, "lfs find"의 오버헤드를 경감하기 위한 Lazy-size on-MDT, ldiskfs의 샤드당 10M 파일이 있는 디렉토리, 최대 64MB의 [70]벌크 RPC 크기 등 다수의 작은 개선도 포함되어 있습니다.

Lustre 2.14는 2021년 2월[71] 19일에 출시되었으며 3가지 주요 기능을 포함하고 있습니다.클라이언트 데이터 암호화는 OST 및 MDT 상의 네트워크 전송 및 영속적인 스토리지 전에 클라이언트 상에서 파일 데이터를 암호화할 수 있도록 fscrypt를 구현합니다.OST 풀 쿼터는 OST 스토리지 풀에 따라 할당량을 할당 및 적용할 수 있도록 쿼터 프레임워크를 확장합니다.DNE 자동 재스트립은 디렉토리의 Progressive File Layouts와 마찬가지로 관리자가 정의한 크기 임계값을 기반으로 큰 디렉토리가 스트라이핑되는 MDT 수를 조정할 수 있습니다.

Lustre 2.15는 2022년 6월[2] 16일에 출시되었으며 3가지 주요 기능을 포함하고 있습니다.Client디렉터리 Encryption[72]은fscrypt 데이터 암호화의 2.14자료에서 또한 및/또는 파일 및 디렉터리 이름 이 인스턴스를 클라이언트가 MicrosoftDeploymentToolkit. 돈 레이 원자력 연구소 산악 여름 시간 공간 순차 순환 대기 방식에서 파일 시스템에서 MDTs을 가로질러 자동으로balances 새로운 디렉터리 창조 균형에서 네트워크 전송 및 영구 저장소 이전에 기초한 암호화될 수 있도록 늘어난다.a사용 가능한 inode와 공간을 통해 MDT를 통해 클라이언트 메타데이터 워크로드를 보다 균등하게 분산할 수 있습니다.NVIDIA GPU Direct Storage Interface(GDS)를 사용하는 애플리케이션의 경우 Lustre 클라이언트는 스토리지 서버에서 GPU 메모리에 직접 RDMA 읽기 및 쓰기를 제로 카피하여 CPU 메모리에서 추가 데이터 복사 및 처리 [73]오버헤드를 방지할 수 있습니다.User Defined Selection Policy(UDSP; 사용자 정의 선택 정책)를 사용하면 여러 네트워크인터페이스를 가진 노드의 인터페이스 선택 정책을 설정할 수 있습니다.

아키텍처

Lustre 파일시스템에는 다음 3가지 주요 기능 유닛이 있습니다.

  • 파일명, 디렉토리, 액세스 권한, 파일 레이아웃 등의 네임스페이스 메타데이터를 저장하는 Lustre 파일시스템별로 1개 또는 복수의 메타데이터 타깃(MDT) 디바이스를 가진 MDS 노드.MDT 데이터는 로컬 디스크 파일 시스템에 저장됩니다.그러나 메타데이터 서버가 모든 블록 할당을 제어하는 GPFS 및 PanFS와 같은 블록 기반 분산 파일 시스템과 달리 Lustre 메타데이터 서버는 경로 이름 및 권한 확인에만 관여하고 파일 I/O 작업에는 관여하지 않으므로 메타데이터 서버의 I/O 확장성의 병목 현상을 방지할 수 있습니다.단일 파일 시스템에 여러 MDT를 보유할 수 있는 기능은 Lustre 2.4의 신기능으로 디렉토리 서브트리를 세컨더리 MDT에 배치할 수 있으며, 2.7 이후로는 대규모 단일 디렉토리를 여러 MDT에 분산할 수도 있습니다.
  • 파일 데이터를 1개 또는 복수의 오브젝트 스토리지 타깃(OST) 디바이스에 저장하는1개 또는 복수의 오브젝트 스토리지 서버(OSS) 노드.서버의 하드웨어에 따라 OSS는 보통 2개에서 8개의 OST를 지원하며 각 OST는 단일 로컬 디스크 파일 시스템을 관리합니다.Lustre 파일 시스템의 용량은 OST가 제공하는 용량의 합계입니다.
  • 데이터에 액세스하여 사용하는 클라이언트.Lustre는 모든 클라이언트에 표준 POSIX 시멘틱스를 사용하여 파일 시스템 내의 모든 파일과 데이터에 대해 통합된 네임스페이스를 제공하고 파일 시스템 내의 파일에 대한 동시적이고 일관성 있는 읽기 및 쓰기 액세스를 허용합니다.

MDT, OST 및 클라이언트는 같은 노드(통상은 테스트용)에 있는 경우가 있습니다만, 통상적인 실가동 설치에서는, 이러한 디바이스는 네트워크를 개입시켜 통신하는 다른 노드상에 있습니다.각 MDT 및 OST는 단일 파일 시스템의 일부일 수 있지만, 단일 노드에 여러 MDT 또는 OST가 서로 다른 파일 시스템의 일부일 수 있습니다.Lustre Network(LNet) 레이어에서는 네이티브 InfiniBand 동사, Omni-Path, RoCE 및 OFED 경유 iWARP, TCP/IP on Ethernet 및 기타 독자적인 네트워크 테크놀로지(Cray Gemini 인터커넥트 등)를 사용할 수 있습니다.Lustre 2.3 이전 버전에서는 Myrinet, Quadrics, Cray SeaStar 및 RapidArray 네트워크도 지원되었지만 이러한 네트워크 드라이버가 상용화되지 않아 Lustre 2.8에서는 지원이 완전히 해제되었습니다.Lustre는 이용 가능한 경우 리모트 다이렉트 메모리 액세스(RDMA) 전송을 이용하여 throughput을 향상시키고 CPU 사용률을 낮춥니다.

MDT 및 OST 백업 파일 시스템에 사용되는 스토리지는 일반적으로 하드웨어 RAID 장치에 의해 제공되지만, 모든 블록 장치에서 작동합니다.Lustre 2.4 이후 MDT 및 OST는 ext4 외에 백업 파일 시스템에도 ZFS를 사용할 수 있으므로 하드웨어 RAID 장치 대신 JBOD 스토리지를 효과적으로 사용할 수 있습니다.Lustre OSS 및 MDS 서버는 백업 파일시스템에 의해 강제된 형식으로 데이터를 읽고 쓰고 수정하여 이 데이터를 클라이언트에 반환합니다.이를 통해 Lustre는 ZFS의 압축 및 데이터 체크섬과 같은 기본 파일 시스템의 향상된 기능과 기능을 활용할 수 있습니다.클라이언트는 기본 스토리지에 직접 액세스할 수 없으므로 오작동하거나 악의적인 클라이언트가 파일 시스템 구조를 손상시키지 않습니다.

OST는 읽기/쓰기 작업을 위해 인터페이스를 바이트 범위의 파일 객체에 내보내는 전용 파일 시스템이며 데이터 일관성을 보호하기 위해 익스텐트 잠금을 사용합니다.MDT는 inode, 디렉토리, POSIX 및 확장 파일 속성을 저장하고 파일 액세스 권한/ACL을 제어하며 각 일반 파일을 구성하는 개체의 레이아웃을 클라이언트에 알려주는 전용 파일 시스템입니다.MDT 및 OST는 현재 ldiskfs라고 하는 확장 버전의 ext4 또는 ZFS/DMU를 백엔드 데이터 스토리지에 사용하여 오픈 소스 ZFS-on-Linux [75]포트를 사용하여 파일/오브젝트를[74] 저장합니다.

클라이언트는 클라이언트를 서버에 접속하는 Linux 커널용 VFS 드라이버를 사용하여 Lustre 파일시스템을 로컬에 마운트합니다.초기 마운트 시 클라이언트는 마운트 포인트의 루트 디렉토리에 대한 파일 식별자(FID)를 제공합니다.클라이언트가 파일에 액세스 하면, MDS 로 파일명의 룩업을 실행합니다.MDS 파일명의 룩업이 완료해, 유저와 클라이언트의 파일명의 액세스권이나 작성권한이 있는 경우, 클라이언트에 기존의 파일의 레이아웃이 반환되거나, 클라이언트 대신에 새로운 파일이 작성됩니다.읽기 또는 쓰기 작업의 경우 클라이언트는 논리 객체 볼륨(LOV) 계층의 파일 레이아웃을 해석합니다.LOV 계층은 파일의 논리적 오프셋과 크기를 하나 이상의 개체에 매핑합니다.그런 다음 클라이언트는 작업 중인 파일 범위를 잠그고 데이터 개체를 유지하는 OSS 노드에 대해 하나 이상의 병렬 읽기 또는 쓰기 작업을 직접 수행합니다.이 방법을 사용하면 클라이언트와 OSS 간 통신의 병목 현상이 해소되므로 클라이언트가 데이터를 읽고 쓸 수 있는 총 대역폭은 파일 시스템 내의 OST 수에 따라 거의 선형적으로 확장됩니다.

파일 레이아웃의 초기 룩업 후에는 모든 블록 할당 및 데이터 IO가 OST에 의해 내부적으로 관리되기 때문에 MDS는 일반적으로 파일 IO 작업에 관여하지 않습니다.클라이언트는 OST 파일시스템상의 오브젝트 또는 데이터를 직접 수정하지 않고 OSS 노드에 이 작업을 위임합니다.이 접근방식은 대규모 클러스터와 슈퍼컴퓨터의 확장성을 확보하고 보안과 신뢰성을 향상시킵니다.반면 GPFS 및 OCFS와 같은 공유 블록 기반 파일 시스템에서는 파일 시스템 내의 모든 클라이언트가 기본 스토리지에 직접 액세스할 수 있습니다. 따라서 모든 클라이언트에 대규모 백엔드 SAN을 연결해야 하며 잘못된 동작 또는 결함 있는 클라이언트로 인한 파일 시스템 손상 위험이 증가합니다.

실행

Linux 클라이언트에 대한 일반적인 Lustre 설치에서는 Lustre 파일 시스템 드라이버 모듈이 커널에 로드되고 파일 시스템이 다른 로컬 또는 네트워크 파일 시스템과 같이 마운트됩니다.클라이언트 애플리케이션은 수만 대에서 수천 대의 개별 서버와 MDT/OST 파일 시스템으로 구성될 수 있지만 단일 통합 파일 시스템을 인식합니다.

일부 MPP(Massively Parallel Processor) 설치에서는 컴퓨팅 프로세서가 I/O 요청을 Lustre 클라이언트로 구성된 전용 I/O 노드로 수정하여 Lustre 파일 시스템에 액세스할 수 있습니다.이 접근방식은 Lawrence Livermore National Laboratory의 Blue Gene 설치에[76] 사용됩니다.

Lustre 초기 몇 년 동안 사용된 또 다른 접근법은 Cray XT3의 liblustre 라이브러리로, Sandia Red [77]Storm과 같은 시스템에서 Catamount 운영 체제를 사용하여 사용자 공간 애플리케이션에 직접 파일 시스템 액세스를 제공합니다.Liblustre는 계산 프로세서가 Lustre 파일 시스템을 마운트하여 클라이언트로 사용할 수 있는 사용자 수준의 라이브러리입니다.liblustre를 사용하면 작업이 시작된 서비스 노드가 Linux 클라이언트가 아니더라도 계산 프로세서가 Lustre 파일 시스템에 액세스할 수 있습니다.Liblustre는 커널을 통해 데이터를 복사하지 않고 애플리케이션 공간과 Lustre OSS 간에 직접 데이터를 이동할 수 있도록 하여 제한된 운영 환경에서 컴퓨팅 프로세서에서 직접 Lustre 파일 시스템에 액세스할 수 있도록 했습니다.Liblustre 기능은 Lustre 2.6.0 이후 비활성화되어 Lustre 2.7.0에서 삭제되었으며 Lustre 2.3.0 이후 테스트되지 않았습니다.

Linux 커널 버전 4.18에서는 개발 및 새로운 [78]커널로의 이식 속도를 높이기 위해 Lustre 클라이언트의 불완전한 포트가 커널 스테이징 영역에서 삭제되었습니다.RHEL, SLES 및 Ubuntu distro 커널 및 바닐라 커널에서는 트리 외 Lustre 클라이언트 및 서버를 계속 사용할 수 있습니다.

데이터 객체 및 파일 스트라이핑

기존의 Unix 디스크 파일 시스템에서 inode 데이터 구조에는 각 파일에 대한 기본 정보(예를 들어 파일에 포함된 데이터가 저장되는 위치)가 포함됩니다.Lustre 파일 시스템도 inode를 사용하지만 MDT의 inode는 데이터 블록이 아닌 파일과 관련된 하나 이상의 OST 개체를 가리킵니다.이러한 오브젝트는 OST 상의 파일로 구현됩니다.클라이언트가 파일을 열면 파일오픈 조작에 의해 오브젝트 ID와 그 레이아웃이 MDS에서 클라이언트로 전송되므로 클라이언트는 오브젝트가 저장되어 있는OSS 노드와 직접 대화할 수 있습니다.이를 통해 클라이언트는 MDS와 더 이상 통신하지 않고 파일 내의 모든 OST 개체에 대해 병렬로 I/O를 수행할 수 있습니다.

MDT inode에 관련된 OST 객체가 1개뿐인 경우 해당 객체에는 Lustre 파일의 모든 데이터가 포함됩니다.파일에 여러 개체가 관련되어 있는 경우 파일 내의 데이터는 일반적으로 1MB 이상의 청크로 RAID 0과 유사한 OST 개체 간에 라운드 로빈 방식으로 청크로 "스트라이핑"됩니다.하나의 파일을 여러 OST 개체에 스트라이핑하면 하나의 대용량 파일에 대한 고대역폭 액세스가 필요한 경우 상당한 성능 이점을 얻을 수 있습니다.스트라이핑을 사용할 경우 최대 파일 크기는 단일 대상의 크기로 제한되지 않습니다.용량 및 집약 I/O 대역폭은 파일이 스트라이핑된 OST 수에 따라 확장됩니다.또, 각 오브젝트의 잠금은 OST 마다 개별적으로 관리되기 때문에, 스트라이프(OST 마다 1개)를 추가하면, 파일의 I/O 잠금 용량이 비례적으로 확대됩니다.파일 시스템에 작성된 각 파일은 스트라이프 수(그 파일을 구성하는 OST 객체의 수), 스트라이프 크기(다음 파일로 이동하기 전에 각 OST에 저장된 데이터의 단위) 및 OST 선택과 같은 다른 레이아웃 파라미터를 지정하여 각 파일에 대해 최적의 퍼포먼스와 용량을 조정할 수 있다.많은 응용 프로그램스레드가 병렬로 파일을 읽거나 쓸 때는 응용 프로그램이 자체 병렬 처리를 제공하기 때문에 파일당 하나의 스트라이프를 사용하는 것이 가장 좋습니다.하나의 대용량 파일을 동시에 읽거나 쓰는 스레드가 여러 개 있는 경우 각 OST에 스트라이프를 하나씩 배치하여 해당 파일의 성능과 용량을 극대화하는 것이 가장 좋습니다.

Lustre 2.10 릴리즈에서는 컴포지트 레이아웃을 지정하는 기능이 추가되어 파일의 영역별로 다른 레이아웃 파라미터를 가질 수 있게 되었습니다.Progressive File Layout(PFL; 프로그레시브 파일 레이아웃) 기능은 복합 레이아웃을 사용하여 광범위한 워크로드에서 파일 IO 성능을 향상시키고 사용 및 관리를 단순화합니다.예를 들어, 작은 PFL 파일은 액세스 오버헤드를 줄이기 위해 플래시 상에 단일 스트라이프를 가질 수 있지만, 큰 파일은 높은 집약 대역폭과 더 나은 OST 로드 밸런싱을 위해 많은 스트라이프를 가질 수 있습니다.컴포지트 레이아웃은 파일 레벨 용장성(FLR) 기능을 통해 2.11 릴리즈에서 더욱 확장되었습니다.이 기능을 사용하면, 파일에 복수의 겹치는 레이아웃을 설정할 수 있기 때문에, RAID 0+1 의 용장성은 물론, 읽기 퍼포먼스의 향상을 실현할 수 있습니다.Lustre 2.11 릴리스에는 Inode를 사용하여 MDT에 직접 PFL 파일의 첫 번째 구성요소를 저장할 수 있는 Data-on-Metadata(DoM; 데이터 온-메타데이터) 기능도 추가되었습니다.따라서 공간 사용량(OST 개체 불필요) 및 네트워크 사용량(데이터 액세스에 필요한 RPC 수 감소) 측면에서 작은 파일에 액세스하기 위한 오버헤드를 줄일 수 있습니다.또한 MDT가 SSD 기반인 경우 DoM은 작은 파일의 성능을 향상시키고 OST는 디스크 기반입니다.Lustre 2.13에서는 OST 오버스트라이핑 기능을 통해 1개의 컴포넌트에 여러 개의 스트라이프를 설정할 수 있습니다.또, 자기 확장 레이아웃 기능을 사용하면, 기입시에 컴포넌트의 사이즈를 동적으로 할 수 있기 때문에, 파일 시스템 전체의 용량이 부족하기 전에(플래시) OST에 대응할 수 있습니다.

메타데이터 오브젝트 및 DNE 리모트 또는 스트라이프 디렉토리

클라이언트가 파일 시스템을 처음 마운트할 때 마운트포인트 루트 디렉토리의 128비트 Lustre 파일 식별자(FID, 64비트 시퀀스 번호, 32비트 객체 ID 및 32비트 버전으로 구성됨)가 제공됩니다.파일명을 검색할 때 클라이언트는 부모 디렉토리 FID 시퀀스 번호를 FID Location Database(FLDB; FID 위치 데이터베이스)를 통해 특정 MDT에 매핑하여 각 경로명 컴포넌트의 룩업을 수행하고 부모 FID 및 파일명을 사용하여 이 MDT를 관리하는 MDS 상에서 룩업을 수행합니다.MDS는 요청된 경로 이름 컴포넌트의 FID를 DLM 잠금과 함께 반환합니다.마지막 부모 디렉토리의 MDT가 결정되면 (스트라이핑되지 않은 디렉토리에 대한) 추가 디렉토리 조작이 MDT에서만 이루어지며 MDT 간의 경합을 방지합니다.DNE 스트라이프 디렉토리의 경우 부모 디렉토리에 저장되어 있는 디렉토리 단위의 레이아웃에 의해 해시 함수와 디렉토리가 배포되는 MDT 디렉토리 FID 목록이 제공됩니다.클라이언트의 Logical Metadata Volume(LMV; 논리 메타데이터 볼륨)는 파일 이름을 해시하고 특정 MDT 디렉토리 샤드에 매핑합니다.이 경우 해당 파일에 대한 추가 작업이 스트라이프되지 않은 디렉토리와 동일한 방식으로 처리됩니다.readdir() 동작의 경우 각 디렉토리 샤드의 엔트리가 로컬 MDT 디렉토리 해시 순서로 정렬된 클라이언트에 반환되고 클라이언트는 단일 64비트 쿠키를 사용하여 디렉토리 내의 현재 오프셋을 판별할 수 있도록 파일 이름을 해시 순서로 인터리브하는 머지 정렬을 수행합니다.

잠금

OpenVMS 스타일로 구현된 Lustre 분산 잠금 관리자(LDLM)는 각 파일의 데이터와 메타데이터의 무결성을 보호합니다.Lustre 파일의 액세스와 변경은 모든 클라이언트에서 완전히 캐시에 일관됩니다.메타데이터 잠금은 FID를 리소스 이름으로 사용하여 파일의 inode를 저장하는 MDT에 의해 관리됩니다.메타데이터 잠금은 파일 검색(파일 소유자 및 그룹, 권한과 모드, Access Control List(ACL; 접근컨트롤 리스트), inode 상태(디렉토리 크기, 디렉토리 내용, 링크 수, 타임스탬프), 레이아웃(Lustre 2.4 이후 파일 스트라이핑) 및 확장 속성(xats, Lustre 2.5 이후)을 보호하는 개별 비트로 분할됩니다.클라이언트는 단일 RPC 요청을 사용하여 단일 inode에 대해 여러 메타데이터 잠금 비트를 가져올 수 있지만, 현재는 inode에 대한 읽기 잠금만 허용됩니다.MDS는 잠금자원 경합을 피하기 위해 inode에 대한 모든 변경을 관리합니다.이 노드는 현재 inode에 대한 쓰기 잠금을 갖는 유일한 노드입니다.

파일 데이터 잠금은 파일의 각 개체가 스트라이핑된 OST에 의해 바이트 범위 익스텐트 잠금을 사용하여 관리됩니다.클라이언트는 파일의 일부 또는 전체에 대해 중복된 읽기 익스텐트 잠금을 부여할 수 있으며, 동일한 파일의 여러 동시 판독기를 허용하거나 파일의 독립 영역에 대해 중복되지 않는 쓰기 익스텐트 잠금을 허용할 수 있습니다.이것에 의해, 많은 Lustre 클라이언트는, 1 개의 파일에 동시에 액세스 해, 파일 I/O시의 보틀 넥을 회피할 수 있습니다.실제로 Linux 클라이언트는 데이터 캐시를 페이지 단위로 관리하기 때문에 클라이언트는 항상 페이지 크기(대부분 클라이언트의 경우 4096바이트)의 정수 배수를 갖는 잠금을 요구합니다.클라이언트가 익스텐트 잠금을 요구할 때 OST는 클라이언트의 잠금 요청 수를 줄이기 위해 원래 요구보다 더 큰 범위의 잠금을 허용할 수 있습니다.허용된 잠금의 실제 크기는 해당 개체에 대해 현재 허용된 잠금의 수, 요청된 잠금 익스텐트에 대해 충돌하는 쓰기 잠금이 있는지 여부 및 해당 개체에 대해 보류 중인 잠금 요청의 수 등 여러 요인에 따라 달라집니다.허용된 잠금은 원래 요청된 범위보다 작지 않습니다.OST 익스텐트잠금은 잠금 리소스 이름으로 객체의 Lustre FID를 사용합니다.익스텐트 잠금서버의 수는 파일시스템 내의 OST 수에 따라 확장되므로 파일시스템 및 여러 OST에 스트라이핑되어 있는 경우 단일 파일의 집약 잠금 퍼포먼스도 확장됩니다.

네트워킹

Lustre 클라이언트와 서버 간의 통신은 Lustre Networking(LNet; Lustre 네트워킹)을 사용하여 구현됩니다.LNet은 원래 Sandia Portals 네트워크 프로그래밍 애플리케이션 프로그래밍 인터페이스를 기반으로 합니다.디스크 스토리지는 클라이언트 대 서버 네트워크에 의존하지 않는 직접 접속 스토리지(SAS, FC, iSCSI) 또는 기존 SAN(Storage Area Network) 기술을 사용하여 Lustre MDS 및 OSS 서버 노드에 연결됩니다.

LNet은 InfiniBand 및 TCP(공통 이더넷) 네트워크 등 일반적으로 사용되는 많은 네트워크 유형을 사용할 수 있으며 여러 네트워크 유형 간에 루팅을 통해 동시에 사용할 수 있습니다.Remote Direct Memory Access(RDMA)는 InfiniBand, RoCE, iWARP, Omni-Path 등의 기본 네트워크와 Cray Aries, Gemini, Atos BXI 등의 자체 고속 네트워크에서 제공되는 노드 간 데이터 및 메타데이터 전송에 사용됩니다.고가용성 및 복구 기능을 통해 페일오버 서버와 함께 투과적인 복구가 가능합니다.

Lustre 2.10 이후 LNet Multi-Rail(MR; 멀티레일) 기능을[79] 통해 클라이언트와 서버 간에 여러 네트워크인터페이스의 링크를 집약하여 대역폭을 향상시킬 수 있습니다.LNet 인터페이스 타입은 같은 네트워크 타입일 필요는 없습니다.2.12에서는 피어간에 복수의 네트워크 인터페이스를 사용할 수 있는 경우의 폴트 톨러런스를 향상시키기 위해 멀티 레일이 확장되었습니다.

LNet은 100MB/[80]s를 초과하는 기가비트 이더넷 네트워크를 통한 엔드 투 엔드 스루풋, InfiniBand Enhanced Data Rate(EDR; 확장 데이터 레이트) 링크를 사용한 최대 11GB/s의 스루풋 및 100기가비트 이더넷 인터페이스에서의 11GB/[81]s 이상의 스루풋을 제공합니다.

하이 어베이러빌리티

Lustre 파일 시스템의 고가용성 기능에는 강력한 페일오버 및 복구 메커니즘이 포함되어 있어 서버 장애 및 재부팅을 투과적으로 수행할 수 있습니다.Lustre 소프트웨어의 후속 마이너 버전 간의 버전 상호 운용성을 통해 서버를 오프라인으로 전환(또는 스탠바이 서버로 페일오버)하여 업그레이드한 후 재시작할 수 있습니다.모든 활성 작업은 계속 실행되며 백업 서버가 스토리지를 인계받는 동안 지연이 발생합니다.

Lustre MDS는 단일 MDT를 내보내는 액티브/패시브 쌍 또는 DNE를 내보내는1개 이상의 액티브/액티브 MDS 쌍으로 설정되며, OSS는 일반적으로 별도의 OST를 내보내는 액티브/액티브 구성으로 배치되어 추가적인 시스템 오버헤드 없이 용장성을 제공합니다.싱글 MDT 파일시스템에서는 1개의 파일시스템의 스탠바이 MDS는 MGS 또는 모니터링 노드 또는 다른 파일시스템의 액티브 MDS가 되므로 클러스터 내에서 아이돌 상태가 되는 노드는 없습니다.

HSM(계층형 스토리지 관리)

Lustre는 단일 파일 시스템 네임스페이스 내에 여러 스토리지 계층을 가질 수 있는 기능을 제공합니다.기존의 HSM 기능을 사용하면 프라이머리 파일 시스템에서 세컨더리 아카이브 스토리지 계층으로 파일을 카피(아카이브)할 수 있습니다.아카이브 계층은 일반적으로 테이프 기반 시스템으로, 디스크 캐시에 의해 정면이 형성되는 경우가 많습니다.파일이 아카이브되면 메인 파일시스템에서 해방되어 아카이브 복사본을 참조하는 stub만 남습니다.릴리스된 파일이 열리면 코디네이터는 열린 파일을 차단하고 복원 요청을 복사 도구에 보낸 다음 복사 도구가 파일 복원을 완료하면 열기를 완료합니다.

외부 스토리지 계층화와 더불어 단일 파일 시스템 네임스페이스 내에 여러 스토리지 계층을 포함할 수 있습니다.다른 타입의 OST(HDD 나 SSD 등)는, 이름 있는 스토리지 풀로 선언할 수 있습니다.파일 레이아웃을 지정할 때 OST 풀을 선택할 수 있으며 단일 PFL 파일 레이아웃 내에서 서로 다른 풀을 사용할 수 있습니다.파일은 수동으로 또는 정책 엔진의 제어 하에 스토리지 계층 간에 마이그레이션할 수 있습니다.Lustre 2.11 이후 FLR 파일 레이아웃을 사용하여 파일을 다른 OST 풀에 미러링할 수도 있습니다.예를 들어 컴퓨팅 작업을 위해 파일을 플래시에 프리스테이지하는 것도 가능합니다.

HSM에는 프라이머리 파일시스템과 아카이브 사이의 인터페이스를 관리하기 위한 추가 Lustre 컴포넌트가 포함되어 있습니다.

  • 코디네이터: 아카이브 및 복원 요청을 수신하여 에이전트 노드에 디스패치합니다.
  • 에이전트: copytool을 실행하여 primary 스토리지에서 아카이브로 데이터를 복사합니다.
  • Copytool: 데이터 모션 및 메타데이터 업데이트를 처리합니다.다른 아카이브 시스템과 인터페이스하기 위한 다양한 복사 도구가 있습니다.범용 POSIX 복사 도구는 POSIX와 같은 프론트 엔드 인터페이스를 제공하는 아카이브에 사용할 수 있습니다.복사 도구는 HPSS(High Performance[82] Storage System), Tivoli Storage[83] Manager(TSM), Amazon S3 [84]및 Google Drive에서도 사용할 [85]수 있습니다.
  • 정책 엔진: 파일 시스템 Changelogs에서 아카이브할 새 파일을 감시하고, 사용 기간 또는 공간 사용량에 따라 파일을 릴리스하는 정책을 적용하여 MDT 및 코디네이터와 통신합니다.정책 엔진은 또한 마이그레이션, 제거 및 제거와 같은 작업을 트리거할 수 있습니다.가장 일반적으로 사용되는 정책 엔진은 RobinHood이지만 다른 정책 엔진도 사용할 수 있습니다.

HSM 에서는, 다음과 같은 파일의 새로운 상태도 정의됩니다.

  • 존재: 일부 복사본이 HSM에 불완전할 수 있습니다.
  • 아카이브: HSM의 아카이브 측에 완전한 복사가 존재합니다.
  • 더티: 파일의 기본 복사본이 수정되었으며 아카이브된 복사본과 다릅니다.
  • 발매일 :MDT에 stub inode가 존재하지만 데이터 객체가 제거되고 아카이브에 유일한 복사본이 존재합니다.
  • 손실: 파일의 아카이브 복사본이 손실되어 복원할 수 없습니다.
  • 릴리스 없음: 파일을 파일 시스템에서 릴리스하면 안 됩니다.
  • 보관 없음: 파일을 보관하지 마십시오.

도입

Lustre는 TOP500 슈퍼컴퓨터 및 대규모 멀티클러스터 사이트에서 많이 사용되고 있습니다.상위 10대 중 6대와 상위 100대 중 60대 이상이 Lustre 파일 시스템을 사용하고 있습니다.여기에는 700이 포함됩니다.TB 5GB/s 오리온 파일 시스템의 프론티어 슈퍼 컴퓨터에서 오크리지 국립 연구소(오크리지 국립 연구소)[4]Fugaku, KComputer[12]에서 이화학 연구소 고급 연구소의 전산 과학, 톈허-1가 국립 컴퓨팅 센터에 중국 톈진, LUMI에 중앙 인사위, 재규어 그리고 Aston흰털 발제비에게 타이탄에서 오크리지 국립 연구소, 블루 워터스 대학을 일리노이, 그리고 세쿼이아고.블루 GLawrence Livermore National Laboratory(LLNL)의 ene/L.

또한 국립 에너지 연구 과학 컴퓨팅 센터, 퍼시픽 노스웨스트 국립 연구소, 텍사스 고급 컴퓨팅 센터, 브라질의 국립 연구소 과학 Computing,[87]과 NASA[88]북 아메리카에서는, 아시아에서 도쿄 연구소 Technology,[89]에서 유럽에서 CEA,[90][91]에 많은 다른 사람들에게 큰 러스터 특화고 있다..

상용 기술 지원

Lustre에 대한 상용 기술 지원은 벤더가 판매하는 컴퓨팅 시스템 또는 스토리지 하드웨어와 함께 번들로 제공되는 경우가 많습니다.일부 벤더에는 델, Hewlett-Packard (HP StorageWorks Scalable File Share, 2004~[93]2008년 경)[92]및 [94]Fujitsu의 Groupe Bull이 있습니다.번들된 Lustre 지원 스토리지 하드웨어를 판매하는 벤더에는 Hitachi Data Systems,[95] DataDirect Networks(DDN),[96] NetApp 등이 있습니다.또한 Whamcloud를 [97]비롯한 일부 공급업체로부터 Lustre 파일 시스템에 대한 소프트웨어 전용 지원을 받을 수도 있습니다.

Amazon Web Services는 완전히 관리되는 서비스인 Amazon FSX for Lustre를 [98]제공하므로 클라우드에서 비용 효율적으로 고성능 파일 시스템을 시작하고 실행할 수 있습니다.

「 」를 참조해 주세요.

레퍼런스

  1. ^ a b Corbet, Jonathon (December 17, 2003). "Lustre 1.0 released". Linux Weekly News. LWN.net. Retrieved March 15, 2015.
  2. ^ a b "Release 2.15.0". Lustre Wiki. OpenSFS. June 16, 2022. Retrieved June 17, 2022.
  3. ^ "Lustre 2.12.9 released". Lustre.org. June 17, 2022. Retrieved June 17, 2022.
  4. ^ a b "Frontier supercomputer debuts as world's fastest, breaking exascale barrier". Oak Ridge National Laboratory. May 30, 2022.
  5. ^ Oracle Corporation / Intel Corporation (August 4, 2002). "Lustre* Software Release 2.x Operations Manual" (PDF). Instruction Manual. Intel. Retrieved May 19, 2015.
  6. ^ "Lustre Home". Archived from the original on March 31, 2001. Retrieved September 23, 2013.
  7. ^ "Lustre File System, Version 2.4 Released". Open Scalable File Systems. Retrieved 2014-10-18.
  8. ^ "Open-source Lustre gets supercomputing nod". Retrieved 2014-10-18.
  9. ^ "Xyratex Captures Oracle's Lustre". HPCWire. 21 February 2013. Retrieved 2014-10-18.
  10. ^ "Post-K (Fugaku) Information". Fujitsu. Retrieved 2020-06-23.
  11. ^ "Titan System Overview". Oak Ridge National Laboratory. Archived from the original on 2018-02-13. Retrieved 2013-09-19.
  12. ^ a b c Brian Behlendorf. "ZFS on Linux for Lustre" (PDF). Lawrence Livermore National Laboratory. Archived from the original (PDF) on 2014-10-31. Retrieved 2020-06-23.
  13. ^ "Spider Center-Wide File System". Oak Ridge Leadership Computing Facility. Archived from the original on 2016-03-04. Retrieved 2012-02-02.
  14. ^ "Rock-Hard Lustre: Trends in Scalability and Quality" (PDF). Nathan Rutman, Xyratex. Retrieved 2012-02-02.
  15. ^ Wang, Teng; Byna, Suren; Dong, Bin; Tang, Houjun (Sep 2018). "UniviStor: Integrated Hierarchical and Distributed Storage for HPC". 2018 IEEE International Conference on Cluster Computing (CLUSTER). IEEE. pp. 134–144. doi:10.1109/CLUSTER.2018.00025. ISBN 978-1-5386-8319-4. S2CID 53235423.
  16. ^ Lustre File System 프레젠테이션, 2007년 11월 YouTube By Peter Bram, 2007년 11월 10일
  17. ^ Wang, Teng; Byna, Suren; Lockwood, Glenn K.; Snyder, Shane; Carns, Philip; Kim, Sunggon; Wright, Nicholas J. (May 2019). "A Zoom-in Analysis of I/O Logs to Detect Root Causes of I/O Performance Bottlenecks". 2019 19th IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing (CCGRID). IEEE. pp. 102–111. doi:10.1109/CCGRID.2019.00021. ISBN 978-1-7281-0912-1. S2CID 195832257.
  18. ^ "Comparative I/O workload characterization of two leadership class storage clusters" (PDF). ACM. Nov 2015.
  19. ^ Wang, Teng; Snyder, Shane; Lockwood, Glenn; Carns, Philip; Wright, Nicholas; Byna, Suren (Dec 2018). "IOMiner: Large-Scale Analytics Framework for Gaining Knowledge from I/O Logs". 2018 IEEE International Conference on Cluster Computing (CLUSTER). IEEE. pp. 466–476. doi:10.1109/CLUSTER.2018.00062. ISBN 978-1-5386-8319-4. S2CID 53235850.
  20. ^ Saini, Subhash; Rappleye, Jason; Chang, Johnny; Barker, David; Mehrotra, Piyush; Biswas, Rupak (Dec 2012). "I/O performance characterization of Lustre and NASA applications on Pleiades". 2012 19th International Conference on High Performance Computing. IEEE. pp. 1–10. doi:10.1109/HiPC.2012.6507507. hdl:2060/20130001600. ISBN 978-1-4673-2371-0. S2CID 14323627.
  21. ^ "Company". old web site. Cluster File Systems, Inc. Archived from the original on August 12, 2007.{{cite web}}: CS1 maint: bot: 원래 URL 상태를 알 수 없습니다(링크).
  22. ^ Peter J. Braam (August 4, 2002). "Lustre, The Inter-Galactic File System" (PDF). Presentation slides. Lawrence Livermore National Laboratory. Retrieved September 23, 2013.
  23. ^ R. Kent Koeninger (June 2003). "The Ultra-Scalable HPTC Lustre Filesystem" (PDF). Slides for presentation at Cluster World 2003. Retrieved September 23, 2013.
  24. ^ Britta Wülfing (September 13, 2007). "Sun Assimilates Lustre Filesystem". Linux Magazine. Retrieved September 23, 2013.
  25. ^ "Sun Microsystems Expands High Performance Computing Portfolio with Definitive Agreement to Acquire Assets of Cluster File Systems, Including the Lustre File System". Press release. Sun Microsystems. September 12, 2007. Archived from the original on October 2, 2007. Retrieved September 23, 2013.
  26. ^ "Oracle has Kicked Lustre to the Curb". Inside HPC. 2011-01-10.
  27. ^ J. Leidel (August 20, 2010). "Whamcloud aims to make sure Lustre has a future in HPC". Inside HPC. Retrieved September 23, 2013.
  28. ^ a b "Xyratex Advances Lustre® Initiative, Assumes Ownership of Related Assets". Press release. Xyratex. February 19, 2013. Archived from the original on September 7, 2016. Retrieved September 18, 2013.
  29. ^ Rich Brueckner (November 9, 2010). "Bojanic & Braam Getting Lustre Band Back Together at Xyratex". Inside HPC. Retrieved September 23, 2013.
  30. ^ Rich Brueckner (January 4, 2011). "Whamcloud Staffs up for Brighter Lustre". Inside HPC. Retrieved September 18, 2013.
  31. ^ "Whamcloud Signs Multi-Year Lustre Development Contract With OpenSFS". Press release. HPC Wire. August 16, 2011. Archived from the original on January 25, 2013. Retrieved September 23, 2013.
  32. ^ Galen Shipman (November 18, 2011). "OpenSFS Update" (PDF). Slides for Supercomputing 2011 presentation. Open Scalable File Systems. Retrieved September 23, 2013.
  33. ^ Whamcloud (November 15, 2011). "OpenSFS and Whamcloud Sign Lustre Community Tree Development Agreement". Press release. Archived from the original on April 27, 2012. Retrieved September 23, 2013.
  34. ^ Joab Jackson (2012-07-16). "Intel Purchases Lustre Purveyor Whamcloud". PC World.
  35. ^ Timothy Prickett Morgan (2012-07-16). "Intel gobbles Lustre file system expert Whamcloud". The Register.
  36. ^ Timothy Prickett Morgan (2012-07-11). "DOE doles out cash to AMD, Whamcloud for exascale research". The Register.
  37. ^ Nicole Hemsoth (June 12, 2013). "Intel Carves Mainstream Highway for Lustre". HPC Wire. Retrieved September 23, 2013.
  38. ^ Brueckner, Rich (21 February 2013). "With New RFP, OpenSFS to Invest in Critical Open Source Technologies for HPC". insideHPC. Retrieved 1 October 2013.
  39. ^ "Seagate Donates Lustre.org Back to the User Community". Retrieved 9 September 2014.
  40. ^ Daniel Robinson (June 27, 2018). "DDN Breathes New Life Into Lustre File System".
  41. ^ "Lustre Trademark Released to User Community". InsideHPC. November 24, 2019. Retrieved December 5, 2019.
  42. ^ "Lustre Helps Power Third Fastest Supercomputer". DSStar. Archived from the original on 2013-02-03.
  43. ^ "MCR Linux Cluster Xeon 2.4 GHz – Quadrics". Top500.Org.
  44. ^ Peter Bojanic (June 15, 2008). "Lustre Roadmap and Future Plans" (PDF). Presentation to Sun HPC Consortium. Sun Microsystems. Retrieved September 23, 2013.
  45. ^ "OpenSFS Announces Collaborative Effort to Support Lustre 2.1 Community Distribution". Open Scalable File Systems. February 8, 2011. Archived from the original on May 23, 2011. Retrieved December 13, 2016.
  46. ^ "Lustre 2.1 Released". Retrieved 2012-02-02.
  47. ^ "Lustre 2.2 Released". Yahoo! Finance. Retrieved 2012-05-08.
  48. ^ "A Novel Network Request Scheduler for a Large Scale Storage System" (PDF). Lustre Wiki. OpenSFS. June 2009.
  49. ^ "A Novel Network Request Scheduler for a Large Scale Storage System". Lustre Wiki. OpenSFS. June 2009.
  50. ^ Prickett Morgan, Timothy (5 November 2013). "OpenSFS Announces Availability of Lustre 2.5". EnterpriseTech.
  51. ^ Brueckner, Rich. "Video: New Lustre 2.5 Release Offers HSM Capabilities". Inside Big Data. Retrieved 11 December 2013.
  52. ^ Hemsoth, Nicole. "Lustre Gets Business Class Upgrade with HSM". HPCwire. Archived from the original on 17 December 2013. Retrieved 11 December 2013.
  53. ^ "Lustre 2.5". Scientific Computing World. 12 November 2013. Retrieved 11 December 2013.
  54. ^ Jones, Peter (September 9, 2014). "Lustre 2.5.3 released". HPDD-discuss mailing list archive. Retrieved October 21, 2014. Morrone, Chris (Dec 7, 2015). "Retired Release Terminology". Lustre Wiki. Retrieved January 18, 2016.
  55. ^ "Lustre 2.6.0 released". HPDD-discuss mailing list archive. July 30, 2014. Retrieved October 21, 2014.
  56. ^ Ihara, Shuichi (2014-10-14). "Lustre QoS Based on NRS Policy of Token Bucket Filter" (PDF).
  57. ^ Uselton, Andrew. "Demonstrating the Improvement in the Performance of a Single Lustre Client from Version 1.8 to Version 2.6" (PDF). Retrieved 2014-10-18.
  58. ^ Jones, Peter (March 13, 2015). "Lustre 2.7.0 released". HPDD-discuss mailing list archive. Retrieved March 15, 2015.
  59. ^ Jones, Peter (March 16, 2016). "Lustre 2.8.0 released". Lustre-announce mailing list archive. OpenSFS. Retrieved March 28, 2016.
  60. ^ "Lustre 2.9.0 Changelog". Lustre Wiki. OpenSFS. December 7, 2016. Retrieved December 8, 2016.
  61. ^ "Lustre 2.10.0 Changelog". Lustre Wiki. OpenSFS. July 13, 2017. Retrieved October 3, 2017.
  62. ^ "Release 2.11.0". Lustre Wiki. OpenSFS. April 3, 2018. Retrieved April 4, 2018.
  63. ^ "Release 2.12.0". Lustre Wiki. OpenSFS. December 21, 2018. Retrieved February 11, 2019.
  64. ^ Li Xi, DDN (June 2018). "Lazy Size on MDS" (PDF). Lustre Wiki. Retrieved December 5, 2019.
  65. ^ Shuichi Ihara, DDN (June 2018). "T10PI End-to-End Data Integrity Protection for Lustre" (PDF). Lustre Wiki. Retrieved December 5, 2019.
  66. ^ "Release 2.13.0". Lustre Wiki. OpenSFS. December 5, 2019. Retrieved December 5, 2019.
  67. ^ Li Xi, Whamcloud (June 2018). "Lustre Persistent Client Cache" (PDF). Lustre Wiki. Retrieved December 5, 2019.
  68. ^ Patrick Farrell, Whamcloud (April 2019). "Overstriping: Extracting Maximum Shared File Performance" (PDF). Lustre Wiki. Retrieved December 5, 2019.
  69. ^ Patrick Farrell, Cray (March 15, 2019). "Spillover Space: Self-Extending Layouts HLD" (PDF). Retrieved December 5, 2019.
  70. ^ "Lustre 2.13.0 Changelog". Lustre Wiki. December 5, 2019.
  71. ^ "Release 2.14.0". Lustre Wiki. OpenSFS. February 19, 2021. Retrieved February 19, 2021.
  72. ^ Sébastien Buisson (May 11, 2022). "Client Data Encryption" (PDF). Lustre Wiki. OpenSFS. Retrieved June 17, 2022.
  73. ^ "NVIDIA Magnum IO GPUDirect Storage Overview Guide". NVIDIA. Retrieved June 17, 2022.
  74. ^ "Lustre to run on ZFS". Government Computer News. 2008-10-26.
  75. ^ "ZFS on Lustre". 2011-05-10. Archived from the original on 2011-12-05. Retrieved 2011-11-25.
  76. ^ "DataDirect Selected As Storage Tech Powering BlueGene/L". HPC Wire. October 15, 2004. Archived from the original on June 14, 2013. Retrieved May 9, 2012.
  77. ^ Suzanne M. Kelly (2006). "Catamount Software Architecture with Dual Core Extensions" (PDF). Retrieved 2016-02-16.
  78. ^ "Linux Kernel 4.18rc1 release notes".
  79. ^ Shehata, Amir. "Multi-Rail LNet for Lustre" (PDF). Lustre User Group, April 2016.
  80. ^ Lafoucrière, Jacques-Charles. "Lustre Experience at CEA/DIF" (PDF). HEPiX Forum, April 2007. Archived from the original (PDF) on 2012-02-08.
  81. ^ Caldwell, Blane (March 9, 2016). "Lustre Networking Technologies: Ethernet vs. Infiniband" (PDF). OLCF Lustre Center of Excellence. Retrieved December 6, 2019.
  82. ^ Aurélien Degrémont (September 17, 2013). "LUSTRE/HSM BINDING IS THERE!" (PDF).
  83. ^ Thomas Stibor (September 20, 2016). "TSM Copytool for Lustre HSM" (PDF).
  84. ^ Robert Read (March 24, 2015). "Lustre HSM in the Cloud" (PDF).
  85. ^ Stéphane Thiell (11 April 2021). "Lustre/HSM Google Drive copytool". GitHub.
  86. ^ Aurélien Degrémont; Thomas Leibovici (April 16, 2009). "Lustre HSM Project—Lustre User Advanced Seminars" (PDF). Archived (PDF) from the original on May 25, 2010. Retrieved May 5, 2018.
  87. ^ "LNCC – Laboratório Nacional de Computação Científica". Lncc.br. Retrieved 2015-05-27.
  88. ^ "Pleiades Supercomputer". www.nas.nasa.gov. 2008-08-18.
  89. ^ "TOP500 List – November 2006". TOP500.Org.
  90. ^ "TOP500 List – June 2006". TOP500.Org.
  91. ^ "French Atomic Energy Group Expands HPC File System to 11 Petabytes". HPCwire.com. 2012-06-15. Archived from the original on 2012-02-04. Retrieved 2012-06-15.
  92. ^ "Dell HPC Solutions". 2015-04-14.
  93. ^ "HP StorageWorks Scalable File Share". Hewlett-Packard. Archived from the original on June 12, 2008. Retrieved December 13, 2016.
  94. ^ "Fujitsu Releases World's Highest-Performance File System – FEFS scalable file system software for advanced x86 HPC cluster systems". 2015-06-13.
  95. ^ "High Throughput Storage Solutions with Lustre". 2015-04-14.
  96. ^ "Exascaler: Massively Scalable, High Performance, Lustre File System Appliance". 2015-04-14.
  97. ^ "Lustre Support". 2018-11-27.
  98. ^ "Amazon FSx for Lustre". 2019-06-11.

외부 링크

정보 Wiki

커뮤니티 기반

하드웨어/소프트웨어 벤더

  1. ^ Black, Doug (28 July 2017). "Cray Moves to Acquire the Seagate ClusterStor Line". HPCWire. HPCWire. Retrieved 2017-12-01.