어스 시뮬레이터
Earth Simulator |
지구 시뮬레이터(Earth Simulator)는 일본 정부의 이니셔티브인 지구 시뮬레이터 프로젝트(Earth Simulator Project)에 의해 개발된 지구 온난화의 영향과 고체 지구물리학의 문제를 평가하기 위한 지구 기후 모델을 실행하기 위한 고도의 병렬 벡터 슈퍼 컴퓨터 시스템이다.이 시스템은 1997년 일본항공우주개발기구, 일본원자력연구소, 일본해양과학기술센터(JAMSTEC)를 위해 개발됐다.1999년 10월에 착공하여 2002년 3월 11일에 정식으로 문을 열었다.그 프로젝트에는 600억엔이 들었다.
NEC가 구축한 ES는 SX-6 아키텍처를 기반으로 했습니다.640개의 노드로 구성되어 있으며, 각 노드에는 8개의 벡터 프로세서와 16기가바이트의 컴퓨터 메모리가 있으며, 총 5120개의 프로세서와 10테라바이트의 메모리가 있습니다.1m × 1.4m × 2m 캐비닛당 2개의 노드가 설치되었다.각 캐비닛은 20kW의 전력을 소비했습니다.이 시스템에는 700테라바이트의 디스크 스토리지(시스템용 450개, 사용자용 250개)와 1.6페타바이트의 대용량 스토리지가 테이프 드라이브에 포함되어 있었습니다.그것은 분해능 10km까지 대기와 해양 모두에서 지구 기후에 대한 전체적인 시뮬레이션을 실행할 수 있었다.LINPACK 벤치마크에서 성능은 35.86 TFLOPS로 이전에 가장 빠른 슈퍼컴퓨터 ASCI White보다 거의 5배 빨랐다.2020년 현재 4대의 Nvidia A100 GPU를 사용하여 각각 9.746개의 FP64 TFlops를 [1]구현하면 동등한 성능을 얻을 수 있습니다.
ES는 2002년부터 2004년까지 세계에서 가장 빠른 슈퍼컴퓨터였다.2004년 9월 29일 IBM의 Blue Gene/L 프로토타입이 용량을 초과했습니다.
ES는 2009년 [2]3월에 Earth Simulator 2(ES2)로 대체되었습니다.ES2는 NEC SX-9/E 시스템으로 노드 수가 각각 12.8배(클럭 속도 3.2배, 노드당 처리 리소스 4배)로 최대 131 TFLOPS의 성능을 발휘합니다.122.4 [3]TFLOPS의 LINPACK 성능을 제공하는 ES2는 당시 세계에서 가장 효율적인 슈퍼컴퓨터였습니다.2010년 11월 NEC는 ES2가 HPC 챌린지 어워드의 척도 중 하나인 Global FFT에서 퍼포먼스 수 11.876 [4]TFLOPS로 1위를 차지했다고 발표했습니다.
ES2는 2015년 3월에 Earth Simulator 3(ES3)으로 대체되었다.ES3는 5120노드로 퍼포먼스가 1.3PFLOPS인 [5]NEC SX-ACE 시스템입니다.
ES3는 2017년부터 2018년까지 최대 19개의 PFLOPS를 달성할 수 있는 몰입 냉각 기능을 갖춘 슈퍼 컴퓨터인 Gyoukou와 함께 운영되었습니다.
시스템 개요
하드웨어
Earth Simulator(ES의 줄임말)는 일본 국립우주개발기구(NASDA), 일본원자력연구소(JAERI), 일본해양과학기술센터(JAMSTEC) 등 3개 정부기관에 의해 국책사업으로 개발됐다.ES는 Earth Simulator Building(약 50m × 65m × 17m)에 수용됩니다.Earth Simulator 2(ES2)는 NEC의 SX-9E 노드 160개를 사용합니다.Earth Simulator의 업그레이드는 2015년 3월에 완료되었습니다.Earth Simulator 3(ES3) 시스템은 NEC의 SX-ACE 5120 노드를 사용합니다.
시스템 구성
ES는 분산 메모리 타입의 고병렬 벡터 슈퍼컴퓨터 시스템으로 Fat-Tree Network에 의해 연결된 160개의 프로세서노드로 구성되어 있습니다.각 프로세서 노드는 공유 메모리를 갖춘 시스템으로, 128GB의 메인 메모리 시스템인 8개의 벡터 타입의 연산 프로세서로 구성됩니다.각 산술 프로세서의 피크 퍼포먼스는 102.4입니다.Gflops. 따라서 ES는 전체적으로 1280개의 연산 프로세서와 20TB의 메인 메모리와 131Tflops의 이론적인 성능을 갖추고 있습니다.
CPU의 구조
각 CPU는 1개의 LSI 칩 상에 4방향 슈퍼스칼라 유닛(SU), 벡터 유닛(VU) 및 메인 메모리 액세스 제어 유닛으로 구성되어 있다.CPU는 3.2GHz의 클럭 주파수로 동작합니다.각 VU에는 72개의 벡터 레지스터가 있으며, 각 레지스터에는 256개의 벡터 요소가 있으며, 덧셈 / 쉬프트, 곱셈, 나눗셈, 논리 연산, 마스킹 및 로드/스토어 등 6가지 유형의 벡터 파이프라인이 8세트 있습니다.동일한 유형의 벡터 파이프라인이 단일 벡터 명령에 의해 함께 작동하며 다른 유형의 파이프라인이 동시에 작동할 수 있습니다.
프로세서 노드(PN)
프로세서 노드는 8개의 CPU와 10개의 메모리 모듈로 구성되어 있습니다.
상호접속 네트워크(IN)
RCU는 크로스바 스위치에 직접 접속되어 데이터 송수신 쌍방향 전송 레이트를 64GB/s로 노드간 데이터 통신을 제어합니다.따라서 노드 간 네트워크의 총 대역폭은 약 10TB/s입니다.
프로세서 노드(PN) 캐비닛
프로세서 노드는 1개의 캐비닛으로 구성된 2개의 노드로 구성되며 전원장치 8개의 메모리 모듈과 8개의 CPU 모듈을 갖춘 PCI 박스로 구성됩니다.
소프트웨어
아래는 ES2의 운영 체제, 작업 스케줄링 및 프로그래밍 환경에서 사용되는 소프트웨어 기술에 대한 설명입니다.
운영 체제
ES에서 실행되는 운영 체제인 "Earth Simulator Operating System"은 ES를 구성하는 NEC SX 슈퍼컴퓨터에 사용되는 NEC의 SUPER-UX의 커스텀 버전입니다.
대용량 저장 파일 시스템
640 PN에서 실행되는 대규모 병렬 작업이 PN에 설치된 하나의 디스크에서 읽거나 쓸 경우 각 PN이 순차적으로 디스크에 액세스하여 성능이 크게 저하됩니다.각 PN이 자체 디스크에서 읽거나 디스크에 쓰는 로컬 I/O는 문제를 해결하지만 이렇게 많은 수의 부분 파일을 관리하는 것은 매우 어렵습니다.그 후 ES는 고속 I/O 성능을 제공하는 스테이징 및 글로벌 파일 시스템(GFS)을 채택합니다.
작업 스케줄링
ES는 기본적으로 배치 작업 시스템입니다.배치 작업을 관리하기 위해 Network Queuing System II(NQSII)가 도입되었습니다.어스 시뮬레이터의 큐 구성.ES에는 2종류의 큐가 있습니다.S 배치 큐는 단일 노드 배치 작업용으로 설계되었으며 L 배치 큐는 멀티 노드 배치 큐용입니다.2종류의 큐가 있습니다.하나는 L 배치 큐이고 다른 하나는 S 배치 큐입니다.S 배치 큐는 대규모 배치 작업(초기 데이터 작성, 시뮬레이션 및 기타 프로세스 처리 결과 작성)의 사전 실행 또는 사후 실행을 목적으로 하며 L 배치 큐는 프로덕션 실행을 위한 것입니다.사용자는 자신의 작업에 적합한 큐를 선택합니다.
- 배치 작업에 할당된 노드는 해당 배치 작업에만 사용됩니다.
- 배치 작업은 CPU 시간이 아닌 경과 시간을 기준으로 예약됩니다.
전략(1)은 작업 종료 시간을 예측하고 다음 배치 작업에 노드를 할당하기 쉽게 한다.전략(2)은 효율적인 업무 수행에 기여한다.작업은 노드를 배타적으로 사용할 수 있으며 각 노드의 프로세스를 동시에 실행할 수 있습니다.그 결과, 대규모 병렬 프로그램을 효율적으로 실행할 수 있다.충분한 디스크 I/O 성능을 보장하기 위해 L-시스템의 PN은 사용자 디스크에 액세스할 수 없습니다.따라서 배치 작업에 사용되는 파일은 작업 실행 전에 사용자 디스크에서 작업 디스크로 복사됩니다.이 프로세스를 "스테이지인"이라고 합니다.작업 예약에는 이 준비 시간을 숨기는 것이 중요합니다.작업 스케줄의 주요 단계는 다음과 같이 요약됩니다.
- 노드 할당
- 스테이지인(사용자 디스크에서 작업 디스크로 파일을 자동으로 복사)
- 작업 에스컬레이션(가능한 경우 빠른 예상 시작 시간으로 일정 변경)
- 작업의 실행
- 스테이지 아웃(작업 디스크에서 사용자 디스크로 파일을 자동으로 복사)
새로운 배치 작업이 송신되면 스케줄러는 사용 가능한 노드를 검색합니다(스텝 1).노드 및 예상 시작 시간이 배치 작업에 할당되면 스테이지인 프로세스가 시작된다(스텝.2).작업은 스테이징인 프로세스가 완료된 후 예상 시작 시간까지 대기합니다.스케줄러는 예상 시작 시간보다 빠른 시작 시간을 발견한 경우 새 시작 시간을 배치 작업에 할당합니다.이 프로세스를 「작업 에스컬레이션」(3단계)이라고 부릅니다.예상 시작 시간이 도달하면 스케줄러는 배치 작업을 실행합니다(스텝.4).스케줄러는 작업 실행이 완료되거나 선언된 경과시간이 종료된 후 배치 작업을 종료하고 스테이징아웃 프로세스를 시작합니다(스텝.5).배치 작업을 실행하기 위해 사용자는 로그인 서버에 로그인하여 배치스크립트를 ES로 전송합니다.그리고 사용자는 작업 실행이 완료될 때까지 기다립니다.그 동안 사용자는 기존의 웹 브라우저 또는 사용자 명령을 사용하여 배치 작업의 상태를 볼 수 있습니다.노드 스케줄링, 파일 스테이징 및 기타 처리는 배치 스크립트에 따라 시스템에 의해 자동으로 처리됩니다.
프로그래밍 환경
ES에서의 프로그래밍 모델
ES 하드웨어에는 AP에서의 벡터 처리, PN에서의 공유 메모리를 사용한 병렬 처리, IN을 통한 PN 간의 병렬 처리 등 3가지 병렬 처리 계층이 있습니다.ES의 고성능을 최대한 끌어내기 위해서는 이러한 병렬화를 최대한 활용하는 병렬 프로그램을 개발해야 합니다.ES의 3단계 병렬화 계층은 각각 하이브리드와 플랫 병렬화라고 불리는 두 가지 방법으로 사용될 수 있다.하이브리드 병렬화에서는 노드 간 병렬화는 HPF 또는 MPI로 표현되며 노드 내 병렬화는 마이크로태스킹 또는 OpenMP로 표현되므로 프로그램 작성 시 계층적 병렬화를 고려해야 합니다.평면 병렬화에서는 노드 간 병렬화와 노드 내 병렬화는 모두 HPF 또는 MPI로 나타낼 수 있으므로 이러한 복잡한 병렬화를 고려할 필요는 없습니다.일반적으로 하이브리드 병렬화는 플랫보다 성능이 우수하고 프로그래밍이 용이합니다.MPI 라이브러리와 HPF 런타임은 하이브리드 병렬화와 플랫 병렬화 모두에서 가능한 한 잘 수행되도록 최적화되어 있습니다.
언어들
Fortran 90, C 및 C++용 컴파일러를 사용할 수 있습니다.모두 자동 벡터화 및 마이크로태스킹의 고도의 기능을 갖추고 있습니다.마이크로태스킹은 Cray의 슈퍼컴퓨터에 동시에 제공되는 일종의 멀티태스킹으로 ES에서의 노드 내 병렬화에도 사용됩니다.마이크로태스킹은 소스 프로그램에 명령어를 삽입하거나 컴파일러의 자동 병렬화를 사용하여 제어할 수 있습니다.(OpenMP는 노드 내 병렬화를 위해 Fortran 90 및 C++에서도 사용할 수 있습니다).
병렬화
메시지 전달 인터페이스(MPI)
MPI는 MPI-1 및 MPI-2 표준에 기반한 메시지 전달 라이브러리로 IXS 및 공유 메모리의 기능을 최대한 활용하는 고속 통신 기능을 제공합니다.노드내 및 노드간 병행화에 모두 사용할 수 있습니다.MPI 프로세스는 플랫 병렬화에서는 AP에 할당되거나 하이브리드 병렬화에서는 마이크로태스크 또는 OpenMP 스레드를 포함하는 PN에 할당됩니다.MPI 라이브러리는 양쪽 병행화 방식으로 ES 아키텍처에서 최고의 통신 성능을 달성하도록 신중하게 설계 및 최적화되어 있습니다.
하이 퍼포먼스 Fortrans (HPF
ES의 주요 사용자는 병렬 프로그래밍에 익숙하지 않거나 오히려 이를 싫어하는 자연 과학자로 간주됩니다.따라서 더 높은 수준의 병렬 언어가 요구됩니다.HPF/SX는 ES에서 쉽고 효율적인 병렬 프로그래밍을 제공하여 수요를 충족시킵니다.HPF2.0의 사양, 승인된 확장 기능, HPF/JA 및 ES의 고유한 확장 기능을 지원합니다.
도구들
- 통합개발환경(PSUITE)
통합개발환경(PSUITE)은 SUPER-UX에서 운영하는 프로그램을 개발하기 위한 다양한 툴을 통합한 것입니다.PSUITE는 GUI에서 다양한 툴을 사용할 수 있다고 가정하고 툴 간 연계 기능을 갖추고 있기 때문에 과거의 프로그램 개발 방법보다 효율적이고 쉽게 프로그램을 개발할 수 있게 되었습니다.
- 디버깅 지원
SUPER-UX에서는 프로그램 개발을 지원하기 위한 강력한 디버깅 지원 기능으로 다음과 같은 것들이 준비되어 있습니다.
시설.
Earth Simulator 건물의 특징
자연재해로부터의 보호
Earth Simulator Center에는 자연재해나 발생으로부터 컴퓨터를 보호하는 데 도움이 되는 몇 가지 특별한 기능이 있습니다.건물 위에는 번개로부터 보호하는 철조망이 걸려 있다.둥지 자체는 고압 차폐 케이블을 사용하여 번개 전류를 지상으로 방출합니다.특수 광전파 시스템은 차폐된 기계실 벽 외부에 설치된 할로겐 램프를 사용하여 컴퓨터에 자기 간섭이 도달하는 것을 방지합니다.이 건물은 지진 시 건물을 보호하는 고무 지지대로 구성된 지진 격리 시스템 위에 지어졌다.
낙뢰 방지 시스템
3가지 기본 기능:
- Earth Simulator 빌딩 양쪽에 있는 4개의 기둥은 건물을 낙뢰로부터 보호하기 위해 철조망을 형성한다.
- 특수 고전압 차폐 케이블은 접지에 번개 전류를 방출하는 유도 와이어에 사용됩니다.
- 그라운드 플레이트는 건물에서 10미터 정도 떨어져 있습니다.
일루미네이션
조명 : 튜브 내 광전파 시스템 (직경 255mm, 길이 44m(49yd, 튜브 19개) 광원 : 1kW 조명 : 바닥 평균 300lx 차폐 기계실 벽면에 설치된 광원
면진 시스템
11개의 아이솔레이터(높이 1피트, 직경 3.3피트, ES 건물 바닥을 지탱하는 20층 고무)
성능
LIN 팩
2009년 3월에 가동하기 시작한 새로운 Earth Simulator 시스템(ES2)은 LINPACK 벤치마크(*1)에서 122.4 TFLOPS의 지속적인 성능과 93.38%의 컴퓨팅 효율성(*2)을 달성했습니다.
- 1. LINPACK 벤치마크
LINPACK 벤치마크는 컴퓨터 성능을 측정하는 지표로, 컴퓨터 시스템을 TOP500 프로젝트에서 순위를 매기기 위한 표준 벤치마크로 사용됩니다.LINPACK은 컴퓨터에서 수치 선형 대수를 수행하기 위한 프로그램입니다.
- 2.컴퓨팅효율
컴퓨팅 효율은 피크시 컴퓨팅 퍼포먼스에 대한 지속 퍼포먼스의 비율입니다.여기서, 이것은 122.4의 비율이다.TFLOPS ~131.072TFLOPS
Earth Simulator에서의 WRF 연산성능
 |
WRF(Weather Research and Forecasting Model)는 국립대기연구센터(NCAR)와 국립환경예측센터(NCEP) 등 미국 기관들이 공동으로 개발한 중규모 기상 시뮬레이션 코드다.JAMSTEC은 2009년에 갱신된 Earth Simulator(ES2)에서 연산 성능 측정을 통해 WRFV2를 최적화했습니다.그 결과 WRFV2가 ES2 상에서 뛰어난 지속적 퍼포먼스로 동작할 수 있다는 것이 증명되었습니다.
수치 기상 시뮬레이션은 Nature Run 모델 조건으로 지구 반구에 대한 지구 시뮬레이터의 WRF를 사용하여 수행되었다.모델 공간 분해능은 수평으로 4486 x 4486이며 그리드 간격은 5km이고 수직은 101단계입니다.대부분 단열 조건이 6초의 시간 적분 단계로 적용되었습니다.Earth Simulator에서 고해상도 WRF를 위해 매우 높은 성능을 달성했습니다.사용되는 CPU 코어의 수는 Oak Ridge National Laboratory의 세계 최고 속도 시스템 Jaguar(CRAY XT5)에 비해 1%에 불과하지만, Earth Simulator에서 얻을 수 있는 지속 성능은 Jaguar 시스템에서 측정된 성능의 거의 50%에 달합니다.Earth Simulator의 피크 성능 비율도 22.2%로 사상 최고입니다.
「 」를 참조해 주세요.
레퍼런스
- ^ "NVIDIA A100 SXM4 40 GB Specs".
- ^ "Japan's Earth Simulator 2 open for business". 1 March 2009.
- ^ "Earth Simulator update breaks efficiency record". 5 June 2009.
- ^ ""Earth Simulator" Wins First Place in the HPC Challenge Awards". 17 November 2010.
- ^ CEIST, JAMSTEC. "EARTH SIMULATOR". www.jamstec.go.jp.
- Sato, Tetsuya (2004). "The Earth Simulator: Roles and Impacts". Nuclear Physics B: Proceedings Supplements. 129: 102–108. Bibcode:2004NuPhS.129..102S. doi:10.1016/S0920-5632(03)02511-8.
외부 링크
- 공식 웹사이트
- 어린이용 ES
- Grossman, Lev (18 November 2002). "2002 Best Inventions". Time. Robots & Tech. Archived from the original on 6 March 2014.
- "Ultrastructure Simulations". Krell Institute. 15 July 2009. Archived from the original on 22 July 2011.
The U.S. faces a major challenge in scientific computation, the foundation of scientific discovery in the 21st century
