Hypercube(통신 패턴)

${\displaystyle d}$$\$$displaystyle$d-dimension$$ 하이퍼큐브는 $2개$의 d\$displaystyle$ 2$^{d}$개의$$ 처리 요소를 $가진{\displaystyle {\mathrm{}}^{}}$ 병렬 컴퓨터의 네트워크 토폴로지입니다.토폴로지를 사용하면 브로드캐스트, All-Reduce, Prefix ^[1]sum 등의 기본적인 통신 프리미티브를 효율적으로 구현할 수 있습니다.처리요소는 0$(\style$0$$)~${\displaystyle 2^{}}$d -$$(\$displaystyle$ 2$^{d}-1$의 번호가 매겨집니다.각 처리요소는 1비트만 다른 처리요소에 인접해 있습니다.이 페이지에서 설명하는 알고리즘은 이 구조를 효율적으로 활용합니다.

알고리즘의 개요

이 문서에서 설명하는 대부분의 통신 프리미티브는 공통 ^[2]템플릿을 공유합니다.처음에 각 처리 요소는 알고리즘 처리 중에 다른 모든 처리 요소에 도달해야 하는 하나의 메시지를 소유합니다.다음의 의사 코드는, 필요한 통신 스텝의 개요를 나타내고 있습니다.따라서 Initialization, Operation 및 Output은 주어진 통신 프리미티브에 따라 달라지는 플레이스 홀더입니다(다음 섹션 참조).

입력: $메시지{\displaystyle }$ m$\displaystyle$ m$.$ 출력: 초기화, 작동 및 출력에 따라 달라집니다.Initialization s:0≤ k<>에=m{\displaystyle s:=m}, d{\displaystyle 0\leq k<, d}y니:=나는 XOR2k{\displaystyle는 y:=i{\text{XOR}}2^{k}}의 y에{이\displaystyle}{m\displaystyle}y{이\displaystyle}에(s, m){\displaystyl m를 받다{s\displaystyle}를 보낸다.e(s,$m)}$ 출력$$ 종료

각 처리 요소는 네이버 상에서 반복됩니다(식 $i{\displaystyle }$ ${\displaystyle XOR{\mathrm{}}^{}}$ 2 ${\displaystyle k^{}}${\$displaystyle$ i} {\$text${ $XOR$}}$2^{k$$}$는 i$${\$displaystyle$ i$\}$의 바이너리 $표현$에서$k번째$ 비트를 부정하므로$$ 네이버의 번호를 얻을 수 있습니다).각 처리요소는 반복할 때마다 네이버와 메시지를 교환하고 수신한 메시지를 처리한다.처리 작업은 통신 프리미티브에 따라 달라집니다.

커뮤니케이션 프리미티브

프리픽스 합계

프리픽스 합계 연산 시작 시 각 처리 요소 $i$는$$메시지 $({$$displaystyle$ $m_{i$를 소유합니다.${\displaystyle \underset{}{목표}}$는${\displaystyle \underset{}{}}$0${\displaystyle \underset{}{j}}$ j${\displaystyle \underset{}{i}}$ ${\displaystyle \underset{}{}{}_{}}$ ${\displaystyle m_{}}$j {$0$ \ $displaystyle \leq$ i } $m _$ { $j$} 입니다$.$여기서 \ $displaystyle \oplus$는 연관$$$연산$입니다.다음 의사 코드는 알고리즘을 설명합니다.

입력:$$$message$ ${\displaystyle {mi}_{}}${ $displaystyle$$m _$ {$$i$$$$} 。출력: prefix sum${\displaystyle \underset{0\mathrm{}}{}}$ 0 ${\displaystyle \underset{}{\le }}$ ${\displaystyle \underset{}{j}}$ i $m$ \ $displaystyle$ \$bigoplus$_ {$0$ \ $leq$j \ $leq$i$$} $m{\displaystyle }$$$_ {$$j } $processor$${\displaystyle }$$$${\displaystyle {}_{}}$ i ${\displaystyle {}_{}}$$=$ m : $displaystyle$ x : m : m : { $displaystyle$ x : m : { ${\displaystyle m_{}}$ : { displaystyle x :$${ m } }$$ m : { displaystyle } $。$${\displaystyle d}$- $({$$displaystyle$ 0$\leq$ k$\leq d-1}$ $do$ y${\displaystyle :}$${\displaystyle =}$ ${\displaystyle iXOR{\mathrm{}}^{}}$ ${\displaystyle 2^{}}$ k$({$ y$:=iXOR}$2$$$^{k})$$$y$\displaystyle$ y$\$$displaystyle$ $m$으로 $수신{\displaystyle }$ m$=$${\displaystyle \mathrm{displaystyle}}$ m$:\$ style$$$=$ display style = display style = dispon:\$display$ style $。$$i{\displaystyle }${\$displaystyle$ i$}$에서 x : ${\displaystyle =}$ ${\displaystyle x}$ ${\displaystyle \oplus }$ { $displaystyle$ x :$=$x \ $oplus$ m$$end$$ for

알고리즘은 다음과 같이 동작합니다.$치수$$d의 하이퍼큐브$는 $치수{\displaystyle }$d$$-$1$의 하이퍼큐브 2개로 분할할 수 있습니다$.$선행 $0$의$$노드를 포함하는 서브큐브와 선행 1의 노드를 포함하는 서브큐브를 참조해 주십시오.두 서브큐브가 프리픽스 합계를 계산한 후에는 0 서브큐브의 모든 요소에 대한 합계를 1 서브큐브의 모든 요소에 추가해야 합니다. 0 서브큐브의 모든 처리 요소는 1 서브큐브의 처리 요소보다 순위가 낮기 때문입니다.의사 코드는 변수$x{\displaystyle }$(\$displaystyle$$$x$)$에 프레픽스 합계를, 변수$display$(\$displaystyle$ \sigma$)$에 모든 노드의 합계를 저장합니다.이를 통해 1-sub 큐브 내의 모든 노드가 모든 단계에서 0-sub 큐브에서 합계를 수신할 수 있습니다.

그 결과 T$$$$$T_{\text{start}}$의 경우 로그${\displaystyle \mathrm{display}}$p {\$displaystyle \$$log p}$의 경우 로그 ${\displaystyle \mathrm{display}}$ p {\$displaystyle$$$$T_{\text{byte$의${\displaystyle }경우{\displaystyle }$ 로그${\displaystyle \mathrm{display}}$ p${\displaystyle }$( ${\displaystyle {\text{n}}_{}}$ ,${\displaystyle p}$ )의 $경우{\displaystyle }$ 로그 $display$ p$$( ${\displaystyle {}_{}}$ start ${\displaystyle {}_{}}$ T${\displaystyle {}_{}{\text{byte}}_{}}$ )의 값이 됩니다$.$$T_{\text{byte}})\log$ p$\}.$

총집합/총감

전체 수집 작업은 메시지 $(\$를 가진 각 처리 요소에서 시작됩니다.이 조작의 목적은 각 처리 요소가 다른 모든 처리 요소의 메시지를 $인식$하는 것입니다. ${\displaystyle {}_{}}$, x :${\displaystyle {}_{}}$= m ${\displaystyle {0\mathrm{}}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle {m\mathrm{}}_{}{}_{}}$ … $m$ { $displaystyle$x : $= m$_ { 0 } \ $cdot m$_ { 1 } \ $cdot m$_ { p$}$ 。여기서 ${\$ { $display$style \ $cdot$}는 연결입니다.이 조작은 알고리즘템플릿에 따라 구현할 수 있습니다.

처리 장치에 입력:메시지 x:)나는}{\displaystyle x:=m_{나는}m나는{\displaystyle 나는}. 출력:모든 메시지 인류 1⋅ m2. 깨지mp{\displaystyle m_{1}\cdot m_{2}\dots m_{p}}. x:)나는}0≤ k<>;d{\displaystyle 0\leq k<, d}y니{\displaystyle x:=m_{나는}m:=나는 XOR2k{\displ.aystyl$e:$$=$$i(x)text{$XOR$}}2^{$k}x$$$(x$)를$$y(\$displaystyle$$$y$)$로 전송 y$(\displaystyle$ y$)$${\displaystyle }$ :=$x$)x$$$(\$ x:=$x\cdot$ x$')$ end$$ for

반복할 때마다 전송되는 메시지의 길이는 2배가 됩니다.이로 인해 $런타임$은 T ${\displaystyle (n}$ ,${\displaystyle }$p ${\displaystyle )\approx }$ ${\displaystyle \underset{}{\overset{}{j}}}$ ${\displaystyle \underset{}{\overset{}{=}}}$ ${\displaystyle \underset{}{\overset{}{}}}$d -${\displaystyle \underset{}{\overset{}{}}\underset{}{\overset{}{1}}}$ ( ${\displaystyle {\text{T}}_{}}$start + ${\displaystyle n{\mathrm{}}^{}}$ ${\displaystyle 2^{}}$ ${\displaystyle {}^{}{}_{}{\text{byte}}_{}}$ )= ${\displaystyle \log }$ ${\displaystyle (}$ (${\displaystyle {}_{}}$ )${\displaystyle {}_{}}$T ${\displaystyle \mathrm{start}}$ ${\displaystyle +}$ (${\displaystyle }$p -${\displaystyle 1}$ )${\displaystyle {\text{n}}_{}}$ T$$byte ( \ $display style T$ ( $n$, p ) \$sum$ _ j $= 0$^{ d - 1 （ $T$_ $cd$ - 1 ） $。$$}T_{\text{byte}}=\log($$p)$$T_{\text{start}}+(p-1)n$$T_{\text{byte$

All-Reduce 조작에도 같은 원리를 적용할 수 있지만 메시지를 연결하는 대신 2개의 메시지에 대해 감소 조작을 수행합니다.즉, 모든 처리 유닛이 결과를 아는 Reduced 연산입니다.브로드캐스트에 이은 통상적인 축소 조작에 비해 하이퍼 큐브의 All-Reduce는 통신 스텝의 수를 줄입니다.

올투올

여기서 모든 처리 요소는 다른 모든 처리 요소에 대해 고유한 메시지를 가집니다.

입력:메시지 m나는}. d을에 나는 요소 j{j\displaystyle}을 처리하기{\displaystyle 나는}처리 요소에서 k ≥ 0{\displaystyle d>, k\geq 0}나는 XOR2k{\displaystyle 나는{\text{XOR}}2^{k}}:내 k을 위해 메시지 전체를{\di 처리 요소에서 받으세요니{\displaystyle m_{ij}j.splays$tyle$ k$}$ -dimensional$$ 서브큐브 처리 $요소{\displaystyle }$ ${\displaystyle IXOR{\mathrm{}}^{}}$ ${\displaystyle {2k}^{}}${\$displaystyle$ i${\text${$XOR$}}$2^{k$ : k$${$displaystyle$ k$}$ -dimensional$$ 서브큐브 엔드 포트의 $모든{\displaystyle }$ 메시지

메시지가 아직 도착하지 않은 경우 반복할 때마다 수신처에 한 차원 더 가까워집니다.따라서 모든 메시지는 $최대{\displaystyle }$ ${\displaystyle d}$ $=$ log$†$ ${\displaystyle p}$ \ $displaystyle$ d$=\log$ {p$$$}$ 단계를 거친 후 목표에 도달합니다.$모든{\displaystyle }$ 단계에서 p$(\style$ p$/2)$ 메시지가$$ 전송됩니다.첫 번째 반복에서는 메시지의 절반이 자신의 서브 큐브에 대한 것이 아닙니다.다음 모든 단계에서 서브큐브는 이전과 같은 크기의 절반에 불과하지만 이전 단계에서 다른 처리 요소에서 도착한 메시지 수와 정확히 동일합니다.

그 결과 실행시간은 $T{\displaystyle }$( ${\displaystyle n}$,${\displaystyle p}$ ) ${\displaystyle \log }$log${\displaystyle p}$p ( ${\displaystyle {}_{}{\text{start}}_{}}$ + ${\displaystyle \frac{\mathrm{p}}{}}$ ${\displaystyle 2}$ ${\displaystyle {}_{}}$ T $){$ $displaystyle$T ($n$ , $p$)\ about \$log${$p$} ( T $_${ \ $text${ $start$} + { \ $frac${ $p$} { 2$$} n 입니다.$T_{\text{byte$

ESBT 브로드캐스트

ESBT 브로드캐스트(Edge-Disconnect Spanning 이항 트리) 알고리즘은^[3] 하이퍼큐브 네트워크토폴로지를 가진 클러스터에 최적의 런타임의 파이프라인 브로드캐스트알고리즘입니다이 알고리즘은 처리 $0$의 각 인접 라우터가${\displaystyle {}^{}{2개}^{}}$의 d -$$(\$displaystyle$$$2$^{d}-1)$ $노드$에서 스패닝 이항 트리의 루트가 되도록 하이퍼 큐브에$에지$ 분리$$ 이항 트리를 포함합니다.메시지를 브로드캐스트하기 위해 소스 노드는 메시지를 동일한 크기의 k$\displaystyle$k 청크로$$ $분할$하여 이항 트리의 루트로 주기적으로 전송합니다.청크를 수신하면 이항 트리는 청크를 브로드캐스트합니다.

런타임

각 단계에서 소스 노드는 $\displaystyle$k 청크$$ 중 하나를 이항 트리로 전송합니다.이항 트리 내의 청크를 브로드캐스트하려면 d$\displaystyle$d 단계를$$ $수행$합니다.따라서 모든 청크를 배포하려면$$k\displaystyle$$k 스텝이$$ $필요$하며 $마지막 이항$ 트리 브로드캐스트가 완료될 때까지 $추가$로 d$\displaystyle$d 스텝이$$ 필요합니다.그 결과 전체적으로${\displaystyle }$k +$$ \ $displaystyle$k +$d$가 $됩니다{\displaystyle }$.따라서 길이$n{\displaystyle }$({$displaystyle$n$$}) 메시지의 실행시간은${\displaystyle T}$ ${\displaystyle (n,}$ ${\displaystyle p,}$ k) ${\displaystyle =}$ (${\displaystyle \frac{n}{}}$ k ${\displaystyle {\text{바이트}}_{}}$+ ${\displaystyle {}_{}{\text{start}}_{}}$) (${\displaystyle k}$ ${\displaystyle +d}$) { $displaystyle$T ($n,p,k$) = \$left ({\frac {n}{k}})$입니다.$T_{\text{byte}}+$$T_{\text{start}}\right)(k+d$최적의 $청크기{\displaystyle {}^{}}$ k ${\displaystyle {\ast }^{}}$ ${\displaystyle {}^{}}$ ${\displaystyle n\sqrt{\frac{}{}}}$ ${\displaystyle \sqrt{\frac{d{}_{}}{}}}$ ${\displaystyle \sqrt{\frac{{}_{}}{{}_{}}}}$ ${\displaystyle \sqrt{\frac{{\text{T}}_{}}{}}}$를$기동$합니다.{ $displaystyle$ k^ { * } =$rt { nd \ cdot$T$$_ { \ text { byte$$} } {$T_{\text{start$ 알고리즘의 최적 런타임은 $T{\displaystyle {}^{}{(}^{}}$ (${\displaystyle n}$ ,${\displaystyle p}$ ) ${\displaystyle ={}_{}}$⋅ ${\displaystyle {\text{T}}_{}byte\sqrt{}}$ + log${\displaystyle （p}$ ） ${\displaystyle 、}$ $start$ + ${\displaystyle \sqrt{n}}$ ${\displaystyle \sqrt{\log }}$（ p$$） ${\displaystyle \sqrt{{}_{}}}$ T$$ { $display$ T^ { * } ($n$ , p ) $= n$ \ $cdOT _${ log $）$ 。

이항 트리의 구성

이 섹션에서는 이항 트리를 체계적으로 구성하는 방법에 대해 설명합니다.먼저 다음과 같이 단일 이항 스패닝트리 $von{\displaystyle {\mathrm{}}^{}}$ 2$$ {\$displaystyle$ 2$^{d}$ 노드를$$ 구축합니다.$0{\displaystyle {\mathrm{}}^{}}$$({displaystyle$0$$}) ~$({displaystyle 2^{d}-1$})의 노드에 번호를 매기고 바이너리 표현을 고려합니다.그런 다음 각 노드의 하위 항목을 단일 선행 0을 부정하여 얻습니다.그 결과 단일 이항 스패닝트리가 생성됩니다.트리의$$가장자리 분리$$ 복사본을 $가져오려면{\displaystyle }$ 노드를 변환 및 회전합니다. 트리의$k번째$ 복사본인 경우 각 노드에 $(\$$$2$^{k})$의 XOR 연산을 적용합니다.그런 다음 모든 노드를$$k자리(\$displaystyle$ k$)$씩$$ $오른쪽{\displaystyle }$ 회전시킵니다.결과적으로 생성되는 이항 트리는 에지 분리되므로 ESBT 브로드캐스트알고리즘 요건을 충족합니다.

레퍼런스