응용 프로그램 체크 포인트

Application checkpointing

체크포인팅은 컴퓨팅 시스템에 폴트 톨러런스를 제공하는 기술입니다.기본적으로 애플리케이션 상태의 스냅샷을 저장하여 장애 발생 시 해당 시점부터 애플리케이션을 재시작할 수 있도록 합니다.이는 장애가 발생하기 쉬운 컴퓨팅 시스템에서 실행되는 장기 실행 애플리케이션에 특히 중요합니다.

분산 시스템에서의 체크 포인트 설정

분산 컴퓨팅 환경에서 체크포인팅은 장기 실행 중인 애플리케이션을 처음부터 재시작해야 하는 장애를 허용하는 기술입니다.체크포인팅을 구현하는 가장 기본적인 방법은 애플리케이션을 정지하고 메모리에서 필요한 모든 데이터를 신뢰성 높은 스토리지(예: 병렬 파일 시스템)로 복사한 후 실행을 [1]계속하는 것입니다.장애가 발생했을 경우, 애플리케이션을 재기동했을 때에, 처음부터 시작할 필요는 없습니다.안정적인 스토리지에서 최신 상태("체크포인트")를 읽고 이 상태로부터 실행됩니다.분산 컴퓨팅 시스템에서 체크포인트가 주요 I/O 워크로드인지에 대한 논란이 계속되고 있지만 체크포인트가 주요 I/O 워크로드 [2][3]중 하나라는 데는 일반적으로 의견이 일치합니다.

분산 컴퓨팅 시스템의 체크 포인트에는 주로 2가지 접근법이 있습니다.즉, 협조 체크 포인트와 비협조 체크 포인트입니다.조정된 체크포인트 접근법에서 프로세스는 체크포인트가 일관성이 있는지 확인해야 합니다.이것은 보통 일종의 2상 커밋 프로토콜 알고리즘에 의해 달성됩니다.비협조 체크 포인트에서는 각 프로세스가 자신의 상태를 개별적으로 체크 포인트 합니다.단순히 프로세스가 일정 시간 간격으로 상태를 체크하도록 강제하는 것만으로는 글로벌 정합성을 확보하기에 충분하지 않다는 점을 강조해야 합니다.일관성 있는 상태(즉, 누락된 메시지나 중복된 메시지가 없음)를 확립해야 하기 때문에 다른 프로세스가 체크포인트로 롤백될 수 있습니다.그 결과 다른 프로세스가 더 오래된 체크포인트로 롤백될 수 있습니다.또한 가장 극단적인 경우에는 발견된 유일한 일관성 있는 상태가 초기 상태(so-call)일 수 있습니다.ed Domino 효과).[4][5]

응용 프로그램 구현

상태 저장

애플리케이션 체크포인트의 최초이자 가장 일반적인 수단 중 하나는 인터랙티브 애플리케이션의 "상태 저장" 기능입니다.이 기능을 통해 애플리케이션 사용자는 사용 중인 모든 변수 및 기타 데이터의 상태를 스토리지 미디어에 저장하고 작업을 계속하거나 애플리케이션을 종료한 후 나중에 정지할 수 있습니다.응용 프로그램을 작성하고 저장된 상태를 복원합니다.이는 응용 프로그램의 "저장" 명령 또는 메뉴 옵션을 통해 구현되었습니다.대부분의 경우 응용 프로그램을 종료할 때 저장되지 않은 작업이 있는지 여부를 사용자에게 물어본 후 작업을 저장해야 하는지 묻는 것이 일반적인 관례가 되었습니다.

이러한 기능은 특정 작업을 한 번에 완료할 수 없는 애플리케이션(예: 수십 시간이 소요될 것으로 예상되는 비디오 게임을 플레이하거나 수백, 수천 페이지에 이르는 책이나 장문의 문서를 작성하는 등)에서 매우 중요했습니다.e: 스프레드시트의 행과 같은 문서에 데이터를 입력할 수 있습니다.

저장 상태의 문제는 프로그램 운영자가 저장을 요청해야 한다는 것입니다.자동화 또는 배치 처리 워크로드를 포함한 비인터랙티브 프로그램의 경우 이러한 애플리케이션을 체크포인트하는 기능도 자동화해야 했습니다.

체크포인트/재시작

배치 애플리케이션이 수만에서 수십만 건의 트랜잭션을 처리하기 시작함에 따라, 각 트랜잭션이 하나의 파일에서 여러 개의 서로 다른 파일에 대한 하나의 레코드를 처리할 수 있게 되면서, 어느 시점에서는 전체 작업을 처음부터 다시 실행할 필요 없이 애플리케이션을 재시작할 수 있어야 했습니다.따라서 다수의 트랜잭션이 처리된 후 애플리케이션 상태를 "스냅샷" 또는 "체크포인트"할 수 있는 "체크포인트/재시작" 기능이 탄생했습니다.응용 프로그램이 다음 체크포인트 전에 실패한 경우 체크포인트 정보와 트랜잭션이 성공적으로 완료된 트랜잭션 파일의 마지막 위치를 응용 프로그램에 제공하여 응용 프로그램을 재시작할 수 있습니다.그 시점에서 애플리케이션을 재기동할 수 있습니다.

체크포인트는 비용이 많이 드는 경향이 있기 때문에 일반적으로 모든 레코드에 대해 이루어지는 것은 아니지만 체크포인트 비용과 레코드 배치를 재처리하는 데 필요한 컴퓨터 시간의 값 사이에 어느 정도 타협이 있었습니다.따라서 각 체크포인트에서 처리되는 레코드 수는 비용 요인, 애플리케이션의 상대적 복잡성 및 응용 프로그램을 정상적으로 재시작하기 위해 필요한 리소스에 따라 25 ~200의 범위에서 발생할 수 있습니다.

Fault Tolerance 인터페이스(FTI)

FTI는 컴퓨터 과학자들에게 확장 가능한 [6]방식으로 체크포인트/재시작을 쉽게 수행하는 방법을 제공하는 것을 목표로 하는 라이브러리입니다.FTI는 로컬 스토리지와 여러 복제 및 삭제 기술을 활용하여 여러 수준의 신뢰성과 성능을 제공합니다.FTI는 효율성을 향상시키고 공간, 시간 및 에너지 낭비를 방지하기 위해 사용자가 보호할 데이터를 선택할 수 있는 애플리케이션 수준의 체크포인트를 제공합니다.사용자가 파일 및/또는 디렉토리 이름을 처리할 필요가 없도록 직접 데이터 인터페이스를 제공합니다.모든 메타데이터는 사용자에 대해 투과적인 방법으로 FTI에 의해 관리됩니다.필요에 따라 노드당 1개의 프로세스를 사용하여 폴트 톨러런스 워크로드와 과학적 계산을 오버랩할 수 있으므로 포스트 체크포인트 작업이 비동기적으로 실행됩니다.

버클리 랩 체크포인트/재시작(BLCR)

Lawrence National Laboratories의 Future Technologies Group은 BLCR이라고 불리는 체크포인트/재시작의 하이브리드 커널/사용자 구현을 개발하고 있습니다.이 회사의 목표는 [7]애플리케이션 코드를 변경할 필요 없이 다양한 애플리케이션을 체크하는 견고한 프로덕션 품질 구현을 제공하는 것입니다.BLCR은 MPI를 통해 통신하는 병렬 애플리케이션의 체크포인트 작성과 SciDAC Scalable Systems Software ISIC에서 제작한 소프트웨어 스위트와의 호환성에 중점을 두고 있습니다.이 작업은 크게 4가지 영역으로 나뉩니다.Linux용 체크포인트/재시작(CR), 체크포인트 가능 MPI 라이브러리, 리소스 관리 인터페이스와 체크포인트/재시작 및 프로세스 관리 인터페이스 개발.

DMTCP

DMTCP(Distributed MultiThreaded Checkpointing)는 여러 기계에 분산되어 [8]소켓으로 연결된 임의의 프로그램 그룹의 상태를 투과적으로 체크하기 위한 도구입니다.사용자의 프로그램이나 운영체제는 수정하지 않습니다.DMTCP에서 지원되는 애플리케이션으로는 Open MPI, Python, Perl 및 많은 프로그래밍 언어 및 셸 스크립팅 언어가 있습니다.Tight VNC를 사용하면 X Window 응용 프로그램이 확장 기능(예: OpenGL 또는 비디오 없음)을 사용하지 않는 한 체크포인트 및 재시작이 가능합니다.DMTCP에서 지원되는 Linux 기능으로는 오픈파일 기술자, 파이프, 소켓, 신호 핸들러, 프로세스 ID 및 스레드 ID 가상화(재시작 시 오래된 pid 및 tid가 계속 기능하는지 확인), ptys, fifos, 프로세스 그룹 ID, 세션 ID, 터미널 속성 및 mmap/mprotect(mmap 기반 공유 메모리 포함)가 있습니다.DMTCP는 실험적으로 [9]InfiniBand용 OFED API를 지원합니다.

콜라보레이션 체크 포인트

일부 최신 프로토콜은 체크포인트 조각을 인근 [10]노드에 저장하여 협업 체크포인트를 수행합니다.이는 병렬 파일 시스템에 저장되는 비용(대규모 시스템의 경우 종종 병목 현상이 발생함)을 방지하고 보다 가까운 스토리지를 사용하기 때문에 유용합니다.이는 특히 대규모 슈퍼컴퓨팅 클러스터에서 사용되고 있습니다.문제는 장애로부터 회복할 때 체크포인트가 필요할 때 체크포인트의 fragment를 가진 인근 노드를 사용할 수 있도록 하는 것입니다.

도커

도커와 그 기반이 되는 테크놀로지에는 체크 포인트와 restore [11]메카니즘이 포함되어 있습니다.

크리우

CRIU는 사용자 공간 체크포인트 라이브러리입니다.

임베디드 디바이스 및 ASIC 디바이스 구현

기념품

Mementos는 정전 등 자주 중단되는 플랫폼을 위해 범용 태스크를 인터럽트 가능한 프로그램으로 변환하는 소프트웨어 시스템입니다.RFID 태그나 스마트 카드 등 주변 배경 소스에서 에너지를 수집하는 배터리 없는 임베디드 기기용으로 설계되었습니다.Mementos는 시스템에서 사용 가능한 에너지를 자주 감지하여 전원 손실로 인한 프로그램 체크포인트와 지속적인 계산 여부를 결정합니다.체크포인팅의 경우 데이터는 비휘발성 메모리에 저장됩니다.재부팅하기에 충분한 에너지가 되면 데이터는 비휘발성 메모리에서 검색되고 프로그램은 저장된 상태에서 계속됩니다.Mementos는 MSP430 마이크로컨트롤러 패밀리에 구현되어 있습니다.메멘토스는 크리스토퍼 놀란의 [12]메멘토에서 이름을 따왔다.

이데틱

Idetic은 애플리케이션 고유의 집적회로(ASIC) 개발자가 체크포인트를 설계에 자동으로 포함시킬 수 있도록 지원하는 자동 도구 세트입니다.상위 수준의 합성 도구를 대상으로 레지스터-전송 수준(Verilog 코드)에 체크포인트를 추가합니다.동적 프로그래밍 방식을 사용하여 설계의 상태 기계에서 낮은 오버헤드 점을 찾습니다.하드웨어 레벨에서의 체크 포인팅에는 의존 레지스터의 데이터를 비휘발성 메모리에 송신하는 것이 포함되므로 최적 포인트는 저장할 레지스터의 최소 수를 가져야 합니다.Idetic은 에너지 하베스트 RFID 태그 [13]디바이스에 배치되어 평가됩니다.

「 」를 참조해 주세요.

레퍼런스

  1. ^ 플랭크, J.S., 벡, M., 킹슬리, G. & 리, K. (1994)libckpt:unix에서의 투과적인 체크 포인트.컴퓨터 공학부입니다.
  2. ^ Wang, Teng; Snyder, Shane; Lockwood, Glenn; Carns, Philip; Wright, Nicholas; Byna, Suren (Sep 2018). "IOMiner: Large-Scale Analytics Framework for Gaining Knowledge from I/O Logs". 2018 IEEE International Conference on Cluster Computing (CLUSTER). IEEE. pp. 466–476. doi:10.1109/CLUSTER.2018.00062. ISBN 978-1-5386-8319-4. S2CID 53235850.
  3. ^ "Comparative I/O workload characterization of two leadership class storage clusters Logs" (PDF). ACM. Nov 2015.
  4. ^ B., B., Lemarinier, P., K. 크라우지크 및 카펠로, F.(2003년, 12월).폴트 톨러런스 MPI의 체크 포인트와 메시지로그 조정「클러스터 컴퓨팅」, 2003.의사진행동.2003 IEEE 국제회의 (242-250페이지)IEEE.
  5. ^ Elnozahy, E. N., Alvisi, L., Wang, Y. M. 및 Johnson, D. B. (2002)메시지 전달 시스템의 롤백 복구 프로토콜에 대한 조사입니다.ACM 컴퓨팅 조사, 34(3), 375-408.
  6. ^ Bautista-Gomez, L., Tsuboi, S., Komatitsch, D., 카펠로, F., N. 마루야마, S. (2011, 11)FTI: 하이브리드 시스템을 위한 고성능 폴트 톨러런스 인터페이스.하이 퍼포먼스 컴퓨팅, 네트워킹, 스토리지 및 분석을 위한 2011 국제 회의의 진행(p.32)ACM.
  7. ^ 하그로브, P. H., & Duell, J. C. (2006, 9월)Linux 클러스터용 버클리 랩 체크포인트/재시작(blcr)물리학 저널:콘퍼런스 시리즈 (제46권, 제1호, 페이지 494)IOP 퍼블리싱
  8. ^ 앤젤, J., 아리아, K., & 쿠퍼맨, G. (2009년, 5월)DMTCP: 클러스터 계산 및 데스크톱에 대한 투과적인 체크 포인트 처리.병행 및 분산 처리, 2009년.IPDPS 2009IEEE 국제 심포지엄 (1-12페이지)IEEE.
  9. ^ "GitHub - DMTCP/DMTCP: DMTCP: Distributed MultiThreaded CheckPointing". 2019-07-11.
  10. ^ Walters, J. P.; Chaudhary, V. (2009-07-01). "Replication-Based Fault Tolerance for MPI Applications". IEEE Transactions on Parallel and Distributed Systems. 20 (7): 997–1010. CiteSeerX 10.1.1.921.6773. doi:10.1109/TPDS.2008.172. ISSN 1045-9219. S2CID 2086958.
  11. ^ "Docker - CRIU".
  12. ^ 벤자민 랜스포드, 제이콥 소버, 케빈 푸, 2011년.메모: RFID 스케일 디바이스에서 장기간 실행되는 계산을 위한 시스템 지원.ACM SIGPLAN 통지 47, 4 (2011년 3월), 159-170.DOI=10.1145/22487.150386 http://doi.acm.org/10.1145/2248487.1950386
  13. ^ 미르호세이니, A., 송호리, 코산파, F. "이데틱:일시적으로 파워가 공급되는 ASIC에서 장시간 연산을 가능하게 하는 고도의 통합 접근법", PerCom, 2013 IEEE International Conference on, vol., no., pp.216,224, 2013년 3월 18-22 URL: http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=6526735&isnumber=6526701

추가 정보

  • Yibei Ling, Jie Mi, Shiaola Lin: 최적의 체크포인트 배치를 위한 변분적 접근법.IEEE 트랜스컴퓨터 50(7): 699-708 (2001)
  • R.E. Ahmed, R.C. Frazier 및 P.N. Marinos, "공유 메모리 멀티프로세서 시스템용 캐시 지원 롤백 오류 복구(CARER) 알고리즘", IEEE 제20회 폴트 톨러런트 컴퓨팅 국제 심포지엄(FTC, New캐슬 20),

외부 링크