혼합정밀 산술

혼합정밀 산술은 폭이 다양한 숫자를 단일 연산에 사용하는 부동소수 산술의 일종이다.

산술

혼합정밀 산술의 일반적인 용도는 폭이 작은 부정확한 숫자로 작동하여 더 크고 더 정확한 표현으로 확장하는 것이다.예를 들어, 두 개의 반정밀 또는 bfloat16(16비트) 부동 소수점을 함께 곱하여 더 정확한 단일정밀(32비트) 부동 소수점을 만들 수 있다.^[1]이렇게 해서 혼합정밀 산술은 비록 가능한 정밀도의 수는 적지만 임의정밀 산술에 근접한 것이다.

구배 강하 알고리즘은 특정 직무에 거칠고 효율적인 반정밀 뜨기를 사용할 수 있지만, 더 정밀하지만 더 느리지만 단일정밀이나 이중정밀 뜨기를 사용하면 더 정확할 수 있기 때문에 기계학습 분야에서는 혼합정밀 산수가 선전된다.엔비디아와 AMD GPU를 비롯한 일부 플랫폼은 이를 위해 혼합정밀 산수를 제공하는데, 가능하면 거친 플로트를 사용하되, 필요할 때는 더 높은 정밀도로 확장한다.^[1][2]

반복 알고리즘(구배 강하와 같은)은 혼합정밀 산술의 좋은 후보들이다.제곱근과 같은 반복 알고리즘에서는 정밀도의 오차가 추측에 대한 가장 작은 덧셈이나 뺄셈이 여전히 너무 거칠어서 허용 가능한 답이 될 수 없을 때까지 많은 반복에 걸쳐 거친 적분 추정을 하고 다듬을 수 있다.이렇게 되면 정밀도를 좀 더 정밀하게 높일 수 있어 근사치를 위해 더 작은 증분을 사용할 수 있다.

서밋과 같은 슈퍼컴퓨터는 전력 소비는 물론 메모리 및 처리 시간과 관련하여 더 효율적이기 위해 혼합정밀 산수를 활용한다.^[1][2][3]

참조