스토리지 리소스 관리자

Storage Resource Manager

스토리지 리소스 관리(SRM) 기술은 LBNL(Lawrence Berkeley National Laboratory)의 Scientific Data Management Group에 의해 시작되었으며 다양한 스토리지 시스템에서 대규모 데이터셋을 관리해야 하는 증가하는 요구에 따라 개발되었습니다.

동적 스토리지 관리는 다음을 보장하기 위해 필수적입니다.

  1. 데이터 손실 방지,
  2. 데이터 복제 오류율 감소 및
  3. 분석 작업을 완료할 수 있는 스토리지 공간을 확보함으로써 분석 시간을 단축할 수 있습니다.

스토리지 리소스 관리자(SRM)는 스토리지 할당 조정, 사이트 간 데이터 스트리밍 및 스토리지 시스템에 대한 보안 인터페이스 적용(즉, 홈 기관에서 각 스토리지 시스템의 특별한 보안 요구 사항 처리)을 통해 문제를 해결합니다.실가동 환경에서 SRM을 사용하면 STAR 프로젝트에서 대규모 복제 오류율이 1%에서 0.02%로 감소했습니다.또한 SRM은 작업 실패를 방지할 수 있습니다.클러스터에서 작업을 실행할 때 작업이 완료되기 전에 일부 로컬 디스크가 채워져 생산성이 저하되고 따라서 분석이 지연됩니다.이 문제는 공간이 동적으로 할당되지 않고 이전에 불필요한 파일이 제거되지 않았기 때문에 발생합니다.컴퓨팅 및 네트워크 리소스를 동적으로 할당하는 도구가 있지만 SRM은 동적 공간 예약, 평생 지원으로 안전한 파일 가용성 보장 및 스토리지 시스템 막힘을 방지하는 자동 가비지 수집을 제공하는 데 사용할 수 있는 유일한 도구입니다.

SRM 규격은 국제 표준으로 발전하여 많은 프로젝트들이 특히 ATLAS 및 CMS를 지원하는 Worldwide Large Hardron Collider(LHC) Computing Grid(WLCG)와 같은 HEP 커뮤니티에서 이 기술을 사용하는 데 주력하고 있습니다.SRM 접근법은 다양한 기관의 여러 구현을 상호 운용할 수 있는 통일된 표준 인터페이스를 개발하는 것입니다.이 방법을 사용하면 단일 구현에 대한 종속성이 제거되고 여러 그룹이 특정 스토리지 리소스에 대한 SRM 시스템을 개발할 수 있습니다.따라서 대량의 데이터를 효율적이고 안전하게 관리하고 배포해야 하는 대규모 프로젝트를 위한 스토리지 시스템의 상호 운용에 있어 매우 중요한 요소가 되었습니다.이러한 통합 기술이 없으면 이러한 프로젝트는 확장될 수 없고 실패할 수밖에 없습니다.이 문제는 컴퓨팅 설비가 페타스케일 체제로 이행함에 따라 시간이 지남에 따라 커집니다.

SRM이 해결하는 또 다른 중요한 문제는 스토리지 막힘입니다.대규모 공유 스토리지 시스템에서는 사용 후 파일 제거가 자동화되지 않기 때문에 스토리지 막힘이 심각한 문제입니다.이로 인해 스토리지 비용이 증가하고 분석 및 검색 프로세스가 느려집니다.SRM은 액세스된 파일의 수명 관리를 제공하여 임시 스토리지 시스템의 로그 해제를 지원합니다.이 기능은 비용 제약 조건 하에서 스토리지를 효율적으로 사용하는 데 매우 중요합니다.

SRM은 데이터 액세스를 보호하는 게이트웨이 역할도 합니다.표준 SRM 인터페이스를 통해 모든 스토리지 시스템에 대한 외부 액세스를 제한함으로써 인증된 액세스뿐만 아니라 파일에 대한 인증된 액세스의 적용도 보장할 수 있습니다.SRM 기술은 SciDAC-1에서 매우 성공적이었으며 현재 여러 대규모 협업에서 프로덕션 작업에 사용되고 있습니다.상호 운용 가능한 SRM 실장은 LBNL, FNAL 및 TJNAF 및 유럽의 여러 사이트에서 개발되었습니다.또한 이 기술은 스토리지 관리, 강력한 데이터 이동 및 다양한 스토리지 사이트의 보안 요구 사항 처리와 같은 지루하고 시간이 많이 걸리는 작업을 제거하여 과학자의 생산성을 향상시킵니다.

LBNL 팀은 여러 기관과 협력하여 SRM 표준 개발을 주도할 뿐만 아니라 HPSS를 포함한 디스크 스토리지 및 대용량 스토리지 시스템으로 SRM 시스템을 개발했습니다.이러한 SRM은 SDM 센터의 여러 프로젝트, Earth System Grid, STAR 실험 및 Open Science Grid(OSG)를 포함한 여러 애플리케이션 도메인에서 사용되고 있습니다.데이터 세트가 계속 증가하고 복잡해짐에 따라 이러한 프로젝트는 LBNL의 SRM 구현에 대한 지속적인 개발과 지원에 의존합니다.SciDAC-1의 성공을 활용하여 SRM 기술에 의존하는 현재 프로젝트를 유지하고, 추가 프로젝트 및 애플리케이션 도메인에 SRM을 더욱 개선 및 배포하고, SRM 표준을 지속적으로 발전시키는 것이 중요합니다.구체적으로는, 과거의 경험에 근거해, 한층 더 개발과 조정이 필요한 중요한 특징을 특정했습니다.여기에는 성능 평가, 권한 부여 적용, SRM의 할당량 사용을 강제하기 위한 회계 추적 및 보고에 사용할 수 있는 리소스 모니터링의 정교한 측면이 포함됩니다. 또 다른 측면으로는 멀티 컴포넌트 스토리지 시스템을 위한 SRM이 있습니다.페타스케일 컴퓨팅으로 관리해야 하는 데이터의 양이 기하급수적으로 증가함에 따라 여러 Disk 어레이, 병렬 파일 시스템 및 아카이브 스토리지의 조합으로 구성된 이러한 시스템은 점점 더 보편화되고 있습니다.

실제 애플리케이션에서의 SRM 사용

SRM 인터페이스는 미국과 유럽에서 공동으로 정의되었으며 여러 구현이 개발되었습니다.LBNL은 개념을 도입하여 커뮤니티 기반 공통 인터페이스를 정의하는 공동 노력을 주도했다.HEP, HENP, ESG를 비롯한 다양한 애플리케이션과 Fusion 시뮬레이션, 생물학 등의 새로운 애플리케이션 도메인에 여러 구현이 구현되었습니다.현재까지 SRM 사용량에 대한 몇 가지 세부 사항은 다음과 같습니다.

  • LBNL의 SRM은 지난 몇 년 동안 운영 환경에 사용되어 매주 약 10,000개의 파일(약 1TB)의 속도로 BNL에서 NERSC 간에 집중적인 강력한 데이터 이동을 자동화하고 있습니다.이를 통해 STAR 프로젝트에서 오류율이 1%에서 0.02%로 50배 감소했습니다.
  • GridCollector라고 불리는 한 애플리케이션에서 SRM은 STAR의 분석 속도를 크게 높이기 위해 효율적인 인덱싱 방법과 함께 사용되었습니다.과학자들이 관련 데이터를 걸러내기 위해 몇 달 동안 기다렸던 이전의 노력에 비해 몇 가지 경우 분석 작업이 하루 만에 수행되었다.이 작품은 ISC'05에서 베스트 페이퍼 어워드로 인정받았습니다.
  • SRM 협업이 LBNL, FNAL 및 BNL, 그리고 이후 CERN과 RAL 간의 풀뿌리 활동으로 성장했습니다.그 결과, 공통 인터페이스가 개발되어 이 활동은 현재도 계속되고 있습니다.이 표준은 WLCG 콜라보레이션에 의해 채택되었습니다.
  • SRM은 BNL, NERSC, FNAL, CERN, TJNAF, ORNL 및 NCAR 등 여러 시설과 유럽 및 아시아 지역의 기타 시설에서 운용에 사용되고 있습니다.
  • 성공적인 전개의 또 다른 예로는 FNAL에서 개발된dCache가 있습니다.CMS 프로젝트에서 사용하기 위해 널리 배포되며 CERN의 SRM-Castor와 상호 운용됩니다.이 작업에서는 Castor에서 FNAL dCache 및 테이프에 대한 SRM-to-SRM 관리 전송이 40~60 MB/s의 속도로 지속적으로 이루어짐으로써 SRM의 유용성을 입증했습니다.
  • SRM은 JASMine 대용량 스토리지 시스템에 대한 원격 액세스와 함께 CLAS 및 Ratis QCD 협업을 제공하기 위해 TJNAF에 의해 사용됩니다.이러한 접근을 통해 연구자들은 대학 및 기타 협업 기관의 컴퓨팅 리소스를 활용하여 TJNAF 컴퓨팅 리소스만 사용하는 경우보다 몇 주 또는 몇 개월 더 빨리 데이터를 처리하고 분석할 수 있게 되었습니다.
  • LBNL의 SRM은 ESG(Earth Systems Grid) 프로젝트에서 운영 환경에 사용되어 HPSS 및 NCAR-MSS를 포함한 NERSC, NCAR, ORNL, LLNL 및 LANL의 여러 원격 스토리지 시스템에서 투과적인 액세스를 제공합니다.SG의 디스크 버전은 ESG에서 사용되었습니다.ts를 클릭합니다.
  • 대규모 강력한 데이터 이동을 위한 CPES 융합 프로젝트에 SRM을 사용하는 것은 SDM 센터 활동의 일부로 워크플로우 엔진에 통합됩니다.

Storage Resource Manager 소프트웨어 목록:

  • APTARE 스토리지 콘솔
  • BMC MAINVIEW 스토리지 리소스 매니저
  • Computer Associates BrightStor 스토리지 리소스 매니저
  • CreekPath Acuity(스토리지 리소스 관리자는 Acuity의 구성 요소)
  • EMC Control Center
  • 불 칼립소
  • Engenio 스토리지 퍼포먼스 분석기(OEM 애플리케이션)IQ 저장소Authority Suite)
  • HDS HiCommand 스토리지 서비스 매니저(OEM 애플리케이션)IQ 저장소Authority Suite)
  • HP SANworks
  • HP Storage Essentials (구 App)IQ 저장소Authority Suite)
  • IBM TotalStorage Productivity Center for Data(이전의 IBM Tivoli Storage Resource Manager)
  • SGI 무한 스토리지 리소스 매니저(OEM App)IQ 저장소Authority Suite)
  • Sun StorEdge Enterprise Storage Manager(OEM 애플리케이션)IQ 저장소Authority Suite)
  • 스토리지 리소스 관리자 인터페이스의 Fermilab SRM Fermilab 구현
  • Berkeley Storage Manager Berkeley Lab 스토리지 리소스 관리자 인터페이스 구현
  • Symantec의 Veritas 명령어 센트럴 스토리지

「 」를 참조해 주세요.