인피니밴드

InfiniBand
인피니밴드 무역협회
형성1999
유형산업통상그룹
목적InfiniBand 홍보하기
본사미국 오리건주 비버턴
웹사이트infinibandta.org

InfiniBand(IB)는 고성능 컴퓨팅에 사용되는 컴퓨터 네트워킹 통신 표준으로, 매우 높은 처리량과 매우 낮은 지연 시간을 특징으로 합니다.이것은 컴퓨터 간 및 컴퓨터 내의 데이터 상호 연결에 사용됩니다.InfiniBand는 서버와 스토리지 시스템 간의 직접 또는 스위치드 인터커넥트, 스토리지 시스템 간의 인터커넥트로도 사용됩니다.확장 가능하도록 설계되었으며 스위치드 패브릭 네트워크 토폴로지를 사용합니다.2014년까지 약 2016년까지 슈퍼컴퓨터 TOP500 목록에서 가장 많이 사용된 인터커넥트였습니다.[1]

Mellanox(Nvidia 인수)는 InfiniBand 호스트 버스 어댑터 및 네트워크 스위치를 제조하며, 이는 대형 컴퓨터 시스템 및 데이터베이스 공급업체에서 제품군에 사용합니다.[2]컴퓨터 클러스터 인터커넥트로서 IB는 이더넷, 파이버 채널 및 Intel Omni-Path와 경쟁합니다.이 기술은 인피니밴드 무역협회에 의해 추진됩니다.

역사

InfiniBand는 1999년에 두 개의 경쟁적인 디자인의 합병으로 탄생했습니다.미래 I/O 및 차세대 I/O(NGIO).NGIO는 1998년에 출시된 사양으로 인텔이 주도했으며 [3]썬 마이크로시스템즈와 델이 합류했습니다.미래 I/O는 Compaq, IBM 및 Hewlett-Packard가 지원했습니다.[4]이로 인해 InfiniBand Trade Association(IBTA)이 결성되었는데, 이 협회에는 Microsoft와 같은 소프트웨어 공급업체뿐만 아니라 하드웨어 공급업체 세트도 포함되어 있었습니다.당시에는 PCI-X와 같은 업그레이드에도 불구하고 일부 더 강력한 컴퓨터가 PCI 버스의 상호 연결 병목 현상에 접근하는 것으로 여겨졌습니다.[5]InfiniBand Architecture Specification 버전 1.0은 2000년에 출시되었습니다.처음에 IB용 IBTA 비전은 I/O의 PCI, 기계실의 이더넷, 클러스터 인터커넥트 및 파이버 채널을 동시에 대체하는 것이었습니다.IBTA는 또한 IB 패브릭에서 서버 하드웨어를 분해하는 것을 고려했습니다.

Mellanox는 NGIO 기술을 개발하기 위해 1999년에 설립되었지만 2001년까지 InfiniBand 제품군인 InfiniBridge를 10기가비트/초의 속도로 출하했습니다.[6]닷컴 버블의 붕괴 이후, 업계에서는 이러한 광범위한 기술 개발에 투자하는 것에 주저하고 있습니다.[7]2002년까지 인텔은 IB 집적 회로("칩")를 출시하는 대신 PCI 익스프레스 개발에 주력할 것이라고 발표했고 마이크로소프트는 이더넷 확장을 위해 IB 개발을 중단했습니다.썬 마이크로시스템즈와 히타치는 계속해서 IB를 지원했습니다.[8]

2003년 버지니아 공대에서 만들어진 시스템 X 슈퍼컴퓨터는 그 당시 세계에서 세 번째로 큰 컴퓨터로 추정되는 InfiniBand를 사용했습니다.[9]디 오픈IB Alliance(나중에 OpenFabrics Alliance로 개명)는 리눅스 커널을 위한 오픈 소프트웨어 세트를 개발하기 위해 2004년에 설립되었습니다.2005년 2월, 이 지원은 2.6.11 리눅스 커널에 받아들여졌습니다.[10][11]2005년 11월 마침내 Engenio와 같은 공급업체로부터 InfiniBand를 사용하여 스토리지 장치가 출시되었습니다.[12]

2009년 상위 500대 슈퍼컴퓨터 중 기가비트 이더넷은 InfiniBand를 사용한 181대에 비해 259대의 설치에서 내부 인터커넥트 기술이었습니다.[13]2010년 시장 선두 업체인 Mellanox와 Voltaire가 합병하면서 주로 파이버 채널 벤더인 QLogic이라는 또 다른 IB 벤더만 남게 되었습니다.[14]2011년 국제 슈퍼컴퓨팅 컨퍼런스에서는 초당 약 56기가비트(FDR로 알려짐, 아래 참조)로 실행되는 링크를 발표하고 무역 박람회의 부스를 연결하여 시연했습니다.[15]2012년 인텔은 QLogic의 InfiniBand 기술을 인수하여 단 한 개의 독립적인 공급업체만 남게 되었습니다.[16]

2014년까지 InfiniBand는 슈퍼컴퓨터를 위한 가장 대중적인 내부 연결 기술이었지만 2년 만에 10기가비트 이더넷이 대체하기 시작했습니다.[1]2016년에는 오라클(Mellanox의 투자자)이 자체 InfiniBand 하드웨어를 개발할 수 있다고 보고되었습니다.[2]2019년 엔비디아는 인피니밴드 제품의 마지막 독립 공급업체인 멜라녹스를 인수했습니다.[17]

사양

명세서는 인피니밴드 무역협회에서 발행합니다.

성능

속도에 대한 원래 이름은 아래에 주어진 것처럼 단일 데이터 속도(SDR), 이중 데이터 속도(DDR) 및 쿼드 데이터 속도(QDR)였습니다.[12]그 후 더 높은 데이터 전송률을 위해 다른 세 글자 두문자어가 추가되었습니다.[18]

InfiniBand 데이터 전송률
연도[19] 라인코드 신호 전송 속도(기가비트/초) 처리량(Gb/s)[20] 어댑터 지연 시간( µ)
1배 4배 8배의 12배
SDR 2001, 2003 NRZ 8b/10b[22] 2.5 2 8 16 24 5
DDR 2005 5 4 16 32 48 2.5
QDR 2007 10 8 32 64 96 1.3
FDR10 2011 64b/66b 10.3125[23] 10 40 80 120 0.7
FDR 2011 14.0625[24][18] 13.64 54.54 109.08 163.64 0.7
EDR 2014[25] 25.78125 25 100 200 300 0.5
HDR 2018[25] PAM4 53.125[26] 50 200 400 600 <0.6[27]
NDR 2022[25] 256b/257b[i] 106.25[28] 100 400 800 1200 t.b.d.
XDR t.b.d. t.b.d t.b.d 200 200 800 1600 2400
GDR 400 400 1600 3200 4800
메모들
  1. ^ 리드-솔로몬 순방향 오류 수정 사용

각 링크는 이중 링크입니다.링크는 집계할 수 있습니다. 대부분의 시스템은 4 링크/레인 커넥터(QSFP)를 사용합니다.HDR은 종종 2개의 링크(HDR 100, QSFP 커넥터를 사용하면서도 HDR 2레인을 사용하는 100Gb 링크라고도 함)를 사용합니다.OSFP(Octal Small Form Factor Pluggable) 커넥터를 사용하는 NDR 스위치 포트에서 8x를 호출합니다."Cable and Connector Definitions".

InfiniBand는 낮은 CPU 오버헤드를 위해 원격 직접 메모리 액세스(RDMA) 기능을 제공합니다.

위상

InfiniBand는 초기 공유 매체 이더넷과는 달리 스위치드 패브릭 토폴로지를 사용합니다.모든 전송은 채널 어댑터에서 시작하거나 종료됩니다.각 프로세서에는 호스트 채널 어댑터(HCA)가 있고 각 주변 장치에는 타겟 채널 어댑터(TCA)가 있습니다.또한 이러한 어댑터는 보안 또는 QoS(Quality of Service)를 위해 정보를 교환할 수 있습니다.

메시지

InfiniBand는 메시지를 구성하기 위해 함께 수집되는 최대 4KB의 패킷으로 데이터를 전송합니다.메시지는 다음과 같습니다.

  • 원격 직접 메모리 액세스 읽기 또는 쓰기
  • 채널 송수신
  • (반전할 수 있는) 트랜잭션 기반 작업
  • 멀티캐스트 전송
  • 원자력 운전

물리적 상호접속

CX4/SFF-8470 커넥터가 있는 InfiniBand 스위치

보드 폼 팩터 연결 외에도 능동 및 수동 구리(최대 10m)와 광섬유 케이블(최대 10km)을 모두 사용할 수 있습니다.[29]QSFP 커넥터가 사용됩니다.

InfiniBand Association은 또한 24-파이버 MPO 커넥터가 있는 병렬 다중 모드 파이버 케이블을 사용하는 구리, 활성 광 케이블 및 광 트랜시버를 통한 최대 120 Gbit/s 속도를 위한 CXP 커넥터 시스템을 명시했습니다.[citation needed]

소프트웨어 인터페이스

Solaris, FreeBSD,[30][31] Red Hat Enterprise Linux, SUSE Linux Enterprise Server(SLES), 윈도우즈, HP-UX, VMware ESX [32]및 AIX에서 Mellanox 운영 체제 지원을 사용할 수 있습니다.[33]

InfiniBand에는 특정한 표준 API(Application Programming Interface)가 없습니다.표준은 다음과 같은 동사 집합만 나열합니다.ibv_open_device아니면ibv_post_send, 반드시 존재해야 하는 함수 또는 방법의 추상적인 표현입니다.이 기능들의 구문은 공급업체들에게 맡겨져 있습니다.참고로 동사 API라고도 합니다.사실상의 표준 소프트웨어는 Open Fabrics Alliance가 개발한 것으로 OFED(Open Fabrics Enterprise Distribution)라고 합니다.리눅스 및 FreeBSD용으로 두 개의 라이선스 GPL2 또는 BSD 라이선스로 출시되며, 윈도우용으로 Mellanox OFED로 출시됩니다(제품명:WinOF / WinOF-2; Windows용 BSD 라이센스 선택에 따라 특정 ConnectX 3-5 디바이스와 일치하도록 호스트 컨트롤러 드라이버로 속성 지정).[34]대부분의 InfiniBand 벤더들이 리눅스, FreeBSD, 마이크로소프트 윈도우용으로 채택하고 있습니다.IBM은 다음과 같은 소프트웨어 라이브러리를 가리킵니다.libibverbs, AIX 운영 체제 및 "AIX InfiniBand 동사"[35]를 위해.리눅스 커널 지원은 2005년 커널 버전 2.6.11에 통합되었습니다.[36]

InfiniBand를 통한 이더넷

InfiniBand를 통한 이더넷(Ethernet over InfiniBand) 또는 EoIB는 InfiniBand 프로토콜 및 커넥터 기술을 통한 이더넷 구현입니다.EoIB는 InfiniBand(IB) 버전에 따라 다양한 이더넷 대역폭을 지원합니다.[37]일반적으로 TCP/IP라고 불리는 이더넷의 Internet Protocol Suite 구현은 IP over IB(IPoIB)의 직접 InfiniBand 프로토콜과 비교하여 일부 세부 사항에서 다릅니다.

InfiniBand를 통한 이더넷 성능
유형 레인즈 대역폭(기가비트/초) 호환 이더넷 유형 호환이더넷수량
SDR 001 0002.5 GbE ~ 2.5 GbE 02 × GbE ~ 1 × 02.5 GbE
004 0010 GbE ~ 10 GbE 10 × GbE ~ 1 × 10 GbE
008 0020 GbE ~ 10 GbE 20 × GbE ~ 2 × 10 GbE
012 0030 GbE ~ 25 GbE 30 × GbE ~ 1 × 25 GbE + 1 × 05 GbE
DDR 001 0005 GbE ~ 5 GbE 05 × GbE ~ 1 × 05 GbE
004 0020 GbE ~ 10 GbE 20 × GbE ~ 2 × 10 GbE
008 0040 GbE ~ 40 GbE 40 × GbE ~ 1 × 40 GbE
012 0060 GbE ~ 50 GbE 60 × GbE ~ 1 × 50 GbE + 1 × 10 GbE
QDR 001 0010 GbE ~ 10 GbE 10 × GbE ~ 1 × 10 GbE
004 0040 GbE ~ 40 GbE 40 × GbE ~ 1 × 40 GbE

참고 항목

참고문헌

  1. ^ a b "Highlights– June 2016". Top500.Org. June 2016. Retrieved September 26, 2021. InfiniBand technology is now found on 205 systems, down from 235 systems, and is now the second most-used internal system interconnect technology. Gigabit Ethernet has risen to 218 systems up from 182 systems, in large part thanks to 176 systems now using 10G interfaces.
  2. ^ a b Timothy Prickett Morgan (February 23, 2016). "Oracle Engineers Its Own InfiniBand Interconnects". The Next Platform. Retrieved September 26, 2021.
  3. ^ Scott Bekker (November 11, 1998). "Intel Introduces Next Generation I/O for Computing Servers". Redmond Channel Partner. Retrieved September 28, 2021.
  4. ^ Will Wade (August 31, 1999). "Warring NGIO and Future I/O groups to merge". EE Times. Retrieved September 26, 2021.
  5. ^ Pentakalos, Odysseas. "An Introduction to the InfiniBand Architecture". O'Reilly. Retrieved 28 July 2014.
  6. ^ "Timeline". Mellanox Technologies. Retrieved September 26, 2021.
  7. ^ Kim, Ted. "Brief History of InfiniBand: Hype to Pragmatism". Oracle. Archived from the original on 8 August 2014. Retrieved September 28, 2021.
  8. ^ Computerwire (December 2, 2002). "Sun confirms commitment to InfiniBand". The Register. Retrieved September 26, 2021.
  9. ^ "Virginia Tech Builds 10 TeraFlop Computer". R&D World. November 30, 2003. Retrieved September 28, 2021.
  10. ^ Sean Michael Kerner (February 24, 2005). "Linux Kernel 2.6.11 Supports InfiniBand". Internet News. Retrieved September 28, 2021.
  11. ^ OpenIB Alliance (January 21, 2005). "OpenIB Alliance Achieves Acceptance By Kernel.org". Press release. Retrieved September 28, 2021.
  12. ^ a b Ann Silverthorn (January 12, 2006), "Is InfiniBand poised for a comeback?", Infostor, 10 (2), retrieved September 28, 2021
  13. ^ Lawson, Stephen (November 16, 2009). "Two rival supercomputers duke it out for top spot". Computerworld. Retrieved September 29, 2021.
  14. ^ Raffo, Dave. "Largest InfiniBand vendors merge; eye converged networks". Archived from the original on 1 July 2017. Retrieved 29 July 2014.
  15. ^ Mikael Ricknäs (June 20, 2011). "Mellanox Demos Souped-Up Version of InfiniBand". CIO. Archived from the original on April 6, 2012. Retrieved September 30, 2021.
  16. ^ Michael Feldman (January 23, 2012). "Intel Snaps Up InfiniBand Technology, Product Line from QLogic". HPCwire. Retrieved September 29, 2021.
  17. ^ "Nvidia to Acquire Mellanox for $6.9 Billion". Press release. March 11, 2019. Retrieved September 26, 2021.
  18. ^ a b "FDR InfiniBand Fact Sheet". InfiniBand Trade Association. November 11, 2021. Retrieved September 30, 2021.
  19. ^ Panda, Dhabaleswar K.; Sayantan Sur (2011). "Network Speed Acceleration with IB and HSE" (PDF). Designing Cloud and Grid Computing Systems with InfiniBand and High-Speed Ethernet. Newport Beach, CA, USA: CCGrid 2011. p. 23. Retrieved 13 September 2014.
  20. ^ "InfiniBand Roadmap: IBTA - InfiniBand Trade Association". Archived from the original on 2011-09-29. Retrieved 2009-10-27.
  21. ^ http://www.hpcadvisorycouncil.com/events/2014/swiss-workshop/presos/Day_1/1_Mellanox.pdf //멜라녹스
  22. ^ "InfiniBand Types and Speeds".
  23. ^ "Interfaces". NVIDIA Docs. Retrieved 2023-11-12. FDR10 is a non-standard InfiniBand data rate, where each lane of a 4X port runs a bit rate of 10.3125 Gb/s with a 64b/66b encoding, resulting in an effective bandwidth of 40 Gb/s. FDR10 supports 20% more bandwidth over QDR due to better encoding rate.
  24. ^ "324-Port InfiniBand FDR SwitchX® Switch Platform Hardware User Manual" (PDF). nVidia. 2018-04-29. section 1.2. Retrieved 2023-11-12. InfiniBand FDR and FDR10 Overview [...] FDR, standard InfiniBand data rate, where each lane of a 4X port runs a bit rate of 14.0625Gb/s with a 64b/66b encoding, resulting in an effective bandwidth of 54.54Gb/s. The FDR physical layer is an IBTA specified physical layer using different block types, deskew mechanism and framing rules. The SX6518 switch also supports FDR10, a non-standard InfiniBand data rate, where each lane of a 4X port runs a bit rate of 10.3125Gb/s with a 64b/66b encoding, resulting in an effective bandwidth of 40Gb/s.
  25. ^ a b c "InfiniBand Roadmap - Advancing InfiniBand". InfiniBand Trade Association.
  26. ^ "Introduction". NVIDIA Docs. Retrieved 2023-11-12.
  27. ^ https://www.mellanox.com/files/doc-2020/pb-connectx-6-vpi-card.pdf[bare URL PDF]
  28. ^ "Introduction". NVIDIA Docs. Retrieved 2023-11-12.
  29. ^ "Specification FAQ". ITA. Archived from the original on 24 November 2016. Retrieved 30 July 2014.
  30. ^ "Mellanox OFED for FreeBSD". Mellanox. Retrieved 19 September 2018.
  31. ^ Mellanox Technologies (3 December 2015). "FreeBSD Kernel Interfaces Manual, mlx5en". FreeBSD Man Pages. FreeBSD. Retrieved 19 September 2018.
  32. ^ "InfiniBand Cards - Overview". Mellanox. Retrieved 30 July 2014.
  33. ^ "Implementing InfiniBand on IBM System p (IBM Redbook SG24-7351-00)" (PDF).
  34. ^ Windows용 Mellanox OFED - WinOF/WinOF-2
  35. ^ "Verbs API". IBM AIX 7.1 documentation. 2020. Retrieved September 26, 2021.
  36. ^ Dotan Barak (March 11, 2014). "Verbs programming tutorial" (PDF). OpenSHEM, 2014. Mellanox. Retrieved September 26, 2021.
  37. ^ "10 Advantages of InfiniBand". NADDOD. Retrieved January 28, 2023.

외부 링크