계층적 스토리지 관리

Hierarchical storage management

계층형 스토리지 관리(HSM)는 고비용 및 저비용 스토리지 미디어 간에 데이터를 자동으로 이동하는 데이터 스토리지 기법이다.HSM 시스템은 솔리드 스테이트 드라이브 어레이와 같은 고속 저장 장치가 하드 디스크 드라이브, 광 디스크, 마그네틱 테이프 드라이브와 같은 느린 장치보다 (저장된 바이트당) 더 비싸기 때문에 존재한다.모든 데이터를 항상 고속 기기에서 사용할 수 있는 것이 이상적이지만, 이것은 많은 조직에게 엄청나게 비싸다.대신에 HSM 시스템은 기업 데이터의 대부분을 느린 장치에 저장한 다음, 필요할 때 더 빠른 디스크 드라이브에 데이터를 복사한다.실제로 HSM은 빠른 디스크 드라이브를 느린 대용량 저장 장치를 위한 캐시로 전환한다.HSM 시스템은 데이터가 사용되는 방식을 모니터링하여 어떤 데이터가 느린 장치로 안전하게 이동될 수 있는지, 어떤 데이터가 빠른 장치에 남아 있어야 하는지 가장 잘 추측한다.null

장기간 보관을 위해 보다 강력한 스토리지를 사용할 수 있는 경우에도 HSM을 사용할 수 있지만, 이는 접근 속도가 느리다.이는 건물 화재에 대한 보호를 위해 외부 백업처럼 간단할 수 있다.null

HSM은 상업적 데이터 처리의 초기부터 거슬러 올라가는 오랜 기간 동안 확립된 개념이다.그러나 새로운 기술이 보급됨에 따라 스토리지와 대용량 데이터 세트의 장거리 통신에 모두 사용 가능함에 따라 기법이 크게 변화하였다.'규모', '접근시간' 등 대책의 규모가 확연히 달라졌다.그럼에도 불구하고, 비록 훨씬 더 크거나 더 빠른 규모일지라도, 많은 기본 개념들은 몇 년이 지난 후 계속 선호로 돌아간다.[1]null

실행

일반적인 HSM 시나리오에서 자주 사용되는 데이터 파일은 디스크 드라이브에 저장되지만, 일반적으로 몇 개월 동안 사용하지 않으면 결국 테이프로 마이그레이션된다.[i]사용자가 테이프에 있는 파일을 재사용할 경우 자동으로 디스크 저장소로 다시 이동된다.저장된 데이터의 총량이 사용 가능한 디스크 스토리지의 용량보다 훨씬 더 클 수 있다는 장점이 있지만, 거의 사용되지 않는 파일만 테이프에 있기 때문에 대부분의 사용자는 대개 어떤 속도 저하도 알아차리지 못할 것이다.null

HSM을 계층형 스토리지라고도 한다.[1]null

계층적 스토리지 관리자(HSM, 당시 DFHSM 및 최종 DFSMShsm)는 MVS가 데이터 저장 비용을 절감하고 느린 미디어로부터의 데이터 검색을 단순화하기 위해 1978년 3월 31일 IBM에 의해 처음[citation needed] 구현되었다.사용자는 데이터가 저장된 위치와 데이터를 복구하는 방법을 알 필요가 없다. 컴퓨터는 데이터를 자동으로 검색한다.사용자에게 유일한 차이점은 데이터가 반환되는 속도였다.HSM은 원래 데이터셋을 IBM 3850 Mass Storage Facility의 디스크 볼륨과 가상 볼륨에만 마이그레이션할 수 있었지만, 후자 릴리스에서는 마이그레이션 레벨 2(ML2)에 대해 자기 테이프 볼륨을 지원했다.null

나중에 IBM은 HSM을 AIX 운영 체제에 포팅한 다음 Solaris, HP-UX, Linux와 같은 다른 유닉스 운영 체제에 포팅했다.null

CSIRO 오스트레일리아의 컴퓨팅 연구 부서는 1960년대에 DAD(Drums and Display) 운영체제에 HSM을 구현했으며, 문서 사본은 7트랙 테이프에 기록되고 문서에 접근할 때 자동으로 검색되었다.null

HSM은 또한 DEC VAX/VMS 시스템과 알파/VMS 시스템에서도 구현되었다.첫 번째 구현 날짜는 VMS 시스템 구현 매뉴얼 또는 VMS 제품 설명 브로셔에서 쉽게 결정해야 한다.null

최근 직렬 ATA(SATA) 디스크의 개발로 3단계 HSM에 대한 중요한 시장이 형성되었다. 즉, 파일은 고성능 파이버 채널 스토리지 영역 네트워크 장치에서 총 수 테라바이트 이상에 달하는 다소 느리지만 훨씬 저렴한 SATA 디스크 어레이로 마이그레이션되었다가 결국 SATA 디스크에서 테이프로 마이그레이션된다.null

HSM의 가장 최근의 개발은 하드 디스크 드라이브와 플래시 메모리를 가지고 있으며 플래시 메모리는 디스크보다 30배 이상 빠르지만 디스크는 상당히 저렴하다.null

개념적으로 HSM은 매우 빠른 속도로 실행되는 소량의 고가의 SRAM 메모리가 자주 사용되는 데이터를 저장하는 데 사용되는 대부분의 컴퓨터 CPU에서 발견되는 캐시와 유사하지만, 가장 최근에 사용된 데이터는 새로운 데이터를 로드해야 할 때 느리지만 훨씬 더 큰 메인 DRAM 메모리로 제거된다.null

In practice, HSM is typically performed by dedicated software, such as IBM Tivoli Storage Manager, Oracle's SAM-QFS, Versity Storage Manager, Quantum, Novell's Dynamic Storage Technology (DST) on Open Enterprise Server (OES) Linux Platform, HPE Data Management Framework (DMF, formerly SGI Data Migration Facility), StorNext, or EMC Legato OTG DiskXt종말을 고하다

파일을 하위 수준(예: 광학 매체)으로 이동한 후 더 높은 수준의 계층(예: 자기 디스크)에서 파일을 삭제하는 것을 파일 정비라고 부르기도 한다.[2]null

사용 사례

HSM은 종종 낮은 비용으로 장기간 보관되는 데이터의 깊은 보관 저장에 사용된다.자동화된 테이프 로봇은 낮은 전력 소비로 대량의 데이터를 효율적으로 격리할 수 있다.null

일부 HSM 소프트웨어 제품은 사용자가 데이터 파일의 일부를 고속 디스크 캐시에 저장하고 나머지는 테이프에 저장할 수 있도록 한다.이는 인터넷을 통해 비디오를 스트리밍하는 애플리케이션에서 사용된다. 즉, 동영상의 초기 부분은 로봇이 파일의 나머지를 찾고, 마운트하고, 최종 사용자에게 스트리밍하는 동안 디스크에서 즉시 전송된다.이러한 시스템은 대용량 콘텐츠 제공 시스템의 디스크 비용을 크게 절감한다.null

알고리즘

HSM의 핵심 요인은 시스템의 파일 전송을 제어하는 데이터 마이그레이션 정책이다.보다 정확히 말하면, 전체 스토리지 시스템이 잘 정리되고 요청에 대한 응답 시간이 가장 짧을 수 있도록 어떤 계층에 파일을 저장해야 하는지를 결정하는 정책이다.LRU(Lest Recently Used Replacement, [3]LRU), STP(Size- Temperative Replacement), 휴리스틱 임계값(STEP)[4] 등 이 프로세스를 실현하는 여러 알고리즘이 있다.최근 몇 년간의 연구에서는, 머신러닝 기술을 이용한 지능적인 정책도 나오고 있다.null

계층형 스토리지

계층형 스토리지는 데이터 범주를 다양한 데이터 저장 매체에 할당해 전반적인 스토리지 비용, I/O 성능, 신뢰성, 가용성 및 서비스 가능성을 줄이는 컴퓨터 데이터 저장 방식이다.[1][5]데이터는 시스템 중요성과 미션 크리티컬 특성을 바탕으로 다양한 매체로 계층화되므로 시스템 소프트웨어와 비즈니스 애플리케이션이 우선시된다.[6]높은 I/O 성능을 요구하는 애플리케이션은 솔리드 스테이트 드라이브에 데이터를 보관하는 반면, 중간 성능의 데이터와 중요하지 않은 데이터가 필요한 애플리케이션은 각각 SAS 10k 또는 10K RPM과 7.2K RPM HHD 드라이브와 같은 니어라인 스토리지 미디어에 보관된다.[7]기본적인 아이디어는 높은 I/O 성능을 활용하기 위해 미션 크리티컬하고 높은 액세스 또는 "핫" 데이터를 SSD와 같은 값비싼 매체에 저장하며, 니어라인 또는 거의 액세스하지 않거나 "콜드" 데이터는 저렴한 HHD와 테이프와 같은 니어라인 저장 매체에 저장한다는 것이다.[8]따라서 "데이터 온도" 또는 활동 수준에 따라 기본 스토리지 계층이 결정된다.[9]null

예:

  • 디스크 및 테이프: 네 가지 정의 속성의 차이로 식별되는 두 개의 개별 스토리지 계층
  • 이전 기술 Disk 및 신기술 Disk: 하나 이상의 속성의 차이로 식별되는 두 개의 개별 스토리지 계층
  • 고성능 Disk 스토리지 및 동일한 용량과 기능을 갖춘 덜 비싸고 느린 Disk: 두 개의 개별 계층
  • RAID 레벨 또는 복제와 같은 다양한 기능을 활용하도록 구성된 동일한 엔터프라이즈급 디스크: 각 고유한 기능셋에 대해 별도의 스토리지 계층.

참고: 스토리지 계층은 가격, 성능, 용량 및 기능에 분명한 변화를 가져오는 경우를 제외하고 벤더, 아키텍처 또는 기하학적 구조의 차이로 설명되지 않는다.null

구현

참고 항목

참조

  1. ^ 2000년경부터 지금까지도 테이프가 인기를 잃으면서 구식인 것처럼 보이는 예가 있다.
  1. ^ a b c Larry Freeman. "What's Old Is New Again - Storage Tiering" (PDF).
  2. ^ Patrick M. Dillon; David C. Leonard (1998). Multimedia and the Web from A to Z. ABC-CLIO. p. 116. ISBN 978-1-57356-132-7.
  3. ^ O'Neil, Elizabeth J.; O'Neil, Patrick E.; Weikum, Gerhard (1993-06-01). "The LRU-K page replacement algorithm for database disk buffering". ACM SIGMOD Record. 22 (2): 297–306. doi:10.1145/170036.170081. ISSN 0163-5808.
  4. ^ Verma, A.; Pease, D.; Sharma, U.; Kaplan, M.; Rubas, J.; Jain, R.; Devarakonda, M.; Beigi, M. (2005). "An Architecture for Lifecycle Management in Very Large File Systems". 22nd IEEE / 13th NASA Goddard Conference on Mass Storage Systems and Technologies (MSST'05). Monterey, CA, USA: IEEE: 160–168. doi:10.1109/MSST.2005.4. ISBN 978-0-7695-2318-7. S2CID 7082285.
  5. ^ Winnard & Biondo 2016, 페이지 1-4.
  6. ^ Winnard & Biondo 2016, 페이지 2.
  7. ^ Winnard & Biondo 2016, 페이지 3.
  8. ^ Winnard & Biondo 2016, 페이지 5.
  9. ^ Winnard & Biondo 2016, 페이지 6.
  10. ^ IBM Corporation. "Abstract for DFSMS/VM Planning Guide". ibm.com. Retrieved Sep 16, 2021.
  11. ^ [SAM/QFS OpenSolaris.org [1]
  12. ^ Rand Morimoto; Michael Noel; Omar Droubi; Ross Mistry; Chris Amaris (2008). Windows Server 2008 Unleashed. Sams Publishing. p. 938. ISBN 978-0-13-271563-8.
  13. ^ "ITPro Today: IT News, How-Tos, Trends, Case Studies, Career Tips, More".