톤 맵핑

Tone mapping
St.의 톤 맵 High-Dynamic-Range(HDR; 하이 다이내믹 레인지) 이미지영국 랭커셔주 블랙풀에 있는 켄티건스 로마 가톨릭 교회

매핑은 이미지 처리컴퓨터 그래픽스에서 사용되는 기술로, 한 세트의 색상을 다른 색에 매핑하여 다이내믹 범위가 제한된 매체에서 하이 다이내믹 레인지 이미지의 외관을 근사합니다.인쇄물, CRT 또는 LCD 모니터, 프로젝터는 모두, 다이나믹 레인지의 제한이 있기 때문에, 자연 장면에서의 광휘도의 전범위를 재현하기에는 불충분합니다.톤 매핑은 원래의 씬(scene) 내용을 감상하는 데 중요한 이미지 세부사항과 색상 외관을 유지하면서 씬(scene)의 광도에서 표시 가능한 범위로 강한 콘트라스트 감소 문제를 해결합니다.

역톤 매핑은 휘도 범위를 확장할 수 있는 역기술로, 낮은 다이내믹 레인지 이미지를 높은 다이내믹 [1]레인지 이미지로 매핑합니다.SDR 비디오를 HDR [2]비디오업그레이드하기 위해 특히 사용됩니다.

배경

필름 기반 사진의 도입은 화학적으로 제한된 네거티브에 현실 세계의 거대한 동적 범위를 포착하는 것이 매우 어려웠기 때문에 문제를 일으켰다.초기 필름 개발자들은 필름 스톡과 중간 범위에서 약간 강화된 대비 ( 15%)와 점진적으로 압축된 하이라이트 및 그림자를 가진 원하는 S자 모양의 색 곡선을 제공하는 인쇄 현상 시스템을 설계함으로써 이 문제를 해결하려고 시도했습니다.원하는 음영 톤에 대한 노출을 기반으로 화학 현상액(따라서 하이라이트 톤을 제어하는 시간)을 변경하는 존 시스템의 등장은 흑백(나중에 컬러) 네거티브 필름의 톤 범위를 약 7 스톱의 원래 범위에서 약 10개로 확장했습니다.사진가들은 또한 인쇄 과정의 한계를 극복하기 위해 피하고 태우는 것을 사용해 왔다.

디지털 사진의 등장은 이 문제에 대한 더 나은 해결책에 대한 희망을 주었다.1971년 Land와 McCann에 의해 채택된 최초의 알고리즘 중 하나는 밝기 지각 이론에서 영감을 받은 레티넥스였습니다.이 방법은 조명 조건이 문제가 될 때 눈의 생물학적 적응 메커니즘에서 영감을 받았습니다.색채 인쇄의 맥락에서 가뮤트 매핑 알고리즘도 광범위하게 연구되었습니다.색상 외관을 예측하기 위해 CIECAM02 또는 iCAM과 같은 계산 모델이 사용되었습니다.그럼에도 불구하고 알고리즘이 충분한 음색과 색상을 매핑할 수 없다면 영화 후처리처럼 숙련된 예술가가 여전히 필요했다.

고대비 장면을 렌더링할 수 있는 컴퓨터 그래픽 기술은 디스플레이 장치의 주요 제한 요소로서 초점을 색상에서 휘도로 이동시켰다.High Dynamic Range(HDR) 이미지를 표준 디스플레이에 매핑하기 위해 여러 톤 매핑 연산자가 개발되었습니다.최근에는 휘도를 이용하여 영상 콘트라스트를 확장하는 것에서 벗어나 사용자 지원 영상 재생과 같은 다른 방법으로까지 확대되고 있습니다.현재, 디스플레이는, 표시 조건에의 이미지 렌더링, 전력 절약, 고도의 색역, 다이나믹 레인지를 실현하는 고도의 화상 처리 알고리즘을 채용하고 있기 때문에, 화상 재생은 디스플레이에 의한 솔루션으로 이행하고 있습니다.

목적 및 방법

톤 매핑의 목적은 특정 응용 프로그램에 따라 다르게 기술할 수 있습니다.미적으로 보기 좋은 이미지만 생성하는 것이 주요 목표인 반면, 다른 애플리케이션은 가능한 한 많은 이미지 디테일을 재생하거나 이미지 대비를 최대화하는 것을 강조할 수 있습니다.사실적 렌더링 애플리케이션의 목표는 표시 장치가 휘도 값의 전체 범위를 재현할 수 없음에도 불구하고 실제 장면과 표시된 이미지 사이의 지각적 일치를 얻는 것일 수 있다.

최근 몇 [4]년 동안 다양한 톤 매핑 연산자가 개발되었습니다.이러한 유형은 크게 두 가지로 나눌 수 있습니다.

  • 글로벌(또는 공간적으로 균일한) 연산자: 이미지의 휘도 및 기타 글로벌 변수에 기반한 비선형 함수입니다.특정의 화상에 따라서 최적 기능을 추정하면, 화상의 모든 화소는, 화상의 주변 화소의 값에 관계없이, 같은 방법으로 매핑 됩니다.이러한 기술은 단순하고[3] 빠릅니다(룩업 테이블을 사용하여 구현할 수 있기 때문에). 그러나 대비가 손실될 수 있습니다.일반적인 글로벌톤 맵핑 방법의 예로는 콘트라스트 감소나 색 반전 등이 있습니다.
  • 로컬(또는 공간적으로 변화하는) 연산자: 주변 파라미터에서 추출된 특징에 따라 각 픽셀에서 비선형 함수의 파라미터가 변경됩니다.즉, 알고리즘의 효과는 화상의 국소적인 특징에 따라 각 픽셀에서 변화한다.이러한 알고리즘은 글로벌 알고리즘보다 더 복잡하며, 아티팩트(예: 후광 효과 및 링잉)를 나타낼 수 있으며, 출력이 비현실적으로 보일 수 있지만 인간의 시력은 국소 대비에 주로 민감하기 때문에 (정확하게 사용될 경우) 최상의 성능을 제공할 수 있습니다.

글로벌 톤 매핑 필터의 간단한 예로는 V V + 1{\=in}}} {있습니다in. 여기서 V는 원래 픽셀의 휘도이고out V는 필터링된 [4]픽셀의 휘도입니다.이 함수는 도메인[ 휘도in V를 표시 가능한 출력 범위[ 에 매핑합니다} 이 필터는, 휘도가 낮은 부분(특히< 1)의 경우)에 적절한 콘트라스트를 제공하지만, 필터링 된 이미지의 휘도가 1이 될수록, 휘도가 높은 부분은 콘트라스트가 낮아집니다이 필터의 변형은 [5]렌더링에 일반적으로 사용됩니다.

아마도 더 유용한 글로벌톤 매핑 감마 압축입니다. 압축은 A V \ V _ { \ { } , V _ { \ { } }^{ \ } } 。여기서 > 0 및0 < 1이 함수는 도메인 - /})의 휘도in V를 출력 범위[ {에 매핑합니다.} 、 이미지의 콘트라스트를 조절합니다.콘트라스트를 낮추려면 작은 값을 사용합니다.상수 δ가 낮을수록 콘트라스트가 낮아지고 화상의 노광도가 낮아지는 한편, < 1일 경우, 화상의 과노광 부분의 노광을 줄일 수 있어 과노출을 방지할 수 있다.

한층 더 고도의 톤 매핑 알고리즘의 그룹은, 「로컬」인 콘트라스트 또는 그라데이션 도메인 방법에 근거하고 있습니다.이러한 연산자는 절대값보다는 인접 지역 간의 대비 유지에 집중한다. 이는 인간의 인식이 절대 강도보다는 영상의 대비에 가장 민감하다는 사실에 동기 부여되는 접근법이다.이러한 톤 맵핑 방법은 보통 매우 선명한 이미지를 생성하여 매우 작은 대비 디테일을 유지합니다.그러나 이는 전체 이미지 대비를 평탄하게 하는 비용으로 수행되며, 부작용으로 어두운 물체 주위에 후광과 같은 광채를 발생시킬 수 있습니다.이러한 톤 매핑 방법의 예로는 구배 도메인 하이 다이내믹 레인지 압축[5] 및 하이 다이내믹 레인지[6] 이미지의 콘트라스트 처리를 위한 지각 프레임워크가 있습니다(톤 매핑은 이 프레임워크의 응용 프로그램 중 하나입니다).

HDR 영상의 톤 매핑에 대한 또 다른 접근법은 명도 [7]지각의 고정 이론에서 영감을 얻었다.이 이론은 밝기 항상성과 그 고장(체커 그림자 착시처럼)과 같은 인간 시각 시스템의 많은 특징들을 설명하는데, 이는 이미지의 지각에 중요하다.이 톤 맵핑 방법(톤[8] 재생 시 밝기 지각)의 주요 개념은 HDR 이미지를 일관된 조명의 영역(프레임워크)으로 분해하고 밝기 값을 로컬로 계산하는 것입니다.이미지의 순 밝기는 프레임워크의 강도에 비례하여 프레임워크가 병합되어 계산됩니다.특히 중요한 것은 알려진 휘도에 대한 휘도의 관계, 즉 장면에서 흰색으로 인식되는 휘도 값을 추정하는 고정이다.톤 매핑에 대한 이 접근방식은 로컬콘트라스트에 영향을 주지 않고 휘도의 선형 처리로 인해 HDR 이미지의 자연스러운 색상을 유지합니다.

톤 매핑의 한 가지 간단한 형태는 표준 이미지(HDR이 아닌 이미 압축된 다이내믹 레인지)를 사용하여 큰 반경으로 선명하지 않은 마스킹을 적용하므로 선명하게 하기보다는 로컬 대비가 높아집니다.자세한 내용은 unsharp masking: local contrast enhancement를 참조하십시오.

일반적으로 사용되는 톤 매핑알고리즘 중 하나는 컬러 어피아란스 모델과 계층형 [9]매핑을 모두 기반으로 한iCAM06입니다.쌍방향 필터링 후, 화상을 베이스 레이어와 상세 레이어로 분할한다.베이스층에는 화이트 포인트 적응 및 크로미넌스 적응이 적용되며, 상세층에는 디테일 인핸스먼트가 적용된다.최종적으로 두 레이어가 병합되어 IPT 색공간으로 변환됩니다.일반적으로 이 방법은 좋으나 몇 가지 단점이 있습니다. 특히 필터링 방법이 계산적으로 얼마나 무거운지에 대한 단점이 있습니다.이에 대한 제안[10] 솔루션은 필터의 성능 최적화를 포함합니다.이미지의 기본 레이어도 톤 압축을 위해 RGB 공간으로 변환됩니다.또한 이 방법은 더 많은 출력 조정과 포화도를 향상시켜 계산 집약도를 낮추고 전체적인 후광 효과를 감소시킵니다.

디지털 사진

매핑된 Dundas Square HDR 이미지; 톤 매핑은 Photomatix 사진 소프트웨어를 사용하여 후처리 기술로 수행되었습니다.

톤 맵핑의 형태는 디지털 사진보다 훨씬 앞서 있습니다.고콘트라스트 씬(특히 밝은 햇빛에서 촬영된 씬)을 비교적 다이나믹 레인지의 인쇄 용지에 렌더링하기 위한 필름 및 현상 프로세스의 조작은 일반적으로 그렇게 부르지 않지만 효과적으로 톤 매핑의 한 형태입니다.필름 처리에서 톤의 국소 조정은 주로 회피와 소각을 통해 이루어지며, 특히 앤젤 애덤스가 지지하고 그의 저서 The Print에서 설명한 바와 같이 그와 관련이 있습니다. 또한 그의 Zone System을 참조하십시오.

전문가 또는 심각한 아마추어 작업 흐름의 일부로 디지털 이미지에 전체적으로 적용되는 노출 보상, 밝기 그림자 및 대비 변경의 일반 프로세스도 톤 매핑의 한 형태입니다.

그러나 보통 로컬 오퍼레이터를 사용하는 HDR 톤 매핑은 후처리 기술로 디지털 사진작가들 사이에서 점점 더 인기를 끌고 있으며, 여기서 다른 셔터 속도의 여러 노출을 결합하여 HDR 이미지를 생성하고 그 결과에 톤 매핑 연산자를 적용합니다.현재 인터넷에는 부정확하게 "HDR 사진"으로 알려진 로컬 톤 매핑된 디지털 이미지의 예가 많이 있으며 이러한 이미지는 다양한 품질을 가지고 있습니다.이러한 인기는 부분적으로 많은 사람들이 매력적이라고 생각하는 로컬 톤 맵 이미지의 독특한 외관과 한 번의 노출로 촬영하기 어렵거나 불가능한 고대비 장면을 캡처하고 싶은 욕구에 기인하며 캡처할 수 있는 경우에도 매력적으로 렌더링되지 않을 수 있습니다.디지털 센서는 실제로 필름보다 높은 다이내믹 레인지를 포착하지만, 극단적인 하이라이트에서는 디테일이 완전히 상실되어 순수한 흰색으로 클리핑되며, 컬러와 하이라이트의 디테일이 유지되는 네거티브 필름에 비해 매력적이지 않은 결과를 낳습니다.

경우에 따라서는 소스 이미지의 동적 범위가 대상 미디어에서 캡처될 수 있어도 로컬 톤 매핑을 사용하여 로컬 톤 매핑된 이미지의 독특한 외관을 생성하거나 종종 매력적이지 않아 보이는 선명한 대비를 제거함으로써 장면에 대한 사진가의 예술적 시각에 가까운 이미지를 생성한다.경우에 따라서는 톤 맵 화상이 단일 노광으로부터 생성되며, 이 노광은 종래의 처리 툴로 조작되어 HDR 화상 생성 프로세스에 대한 입력을 생성한다.이렇게 하면 씬(scene)의 움직이는 물체 또는 카메라 흔들림으로 인해 서로 다른 노출이 결합될 때 나타날 수 있는 아티팩트가 방지됩니다.그러나 이러한 방식으로 단일 노출에 톤 매핑을 적용하면 중간 이미지는 정상 동적 범위만 가지며 렌더링할 수 있는 그림자 또는 강조 표시의 양은 원래 노출에서 캡처된 양만 됩니다.

디스플레이 디바이스

톤 매핑의 원래 목표 중 하나는 주어진 장면이나 이미지를 표시장치에 재현하여 인간 시청자에 대한 영상의 밝기 감각이 실제 밝기 감각과 거의 일치하도록 하는 것이었다.단, 이 문제에 대한 완벽한 매칭은 불가능하기 때문에 디스플레이 상의 출력 화상은 다른 화상 피쳐 간의 트레이드오프에 의해 작성되는 경우가 많습니다.기능 중 하나를 선택하는 것은 대부분의 경우 필요한 애플리케이션을 기반으로 합니다.어플리케이션에 적절한 메트릭을 부여하면 이 문제를 최적화[11] 문제로 취급할 수 있습니다.

이 방법에서는 먼저 간단한 톤 매핑 연산자와 함께 인간 비주얼 시스템(HVS) 및 디스플레이 모델이 생성됩니다.대조도 왜곡은 HVS에 의해 근사된 개별 가시성에 따라 가중치가 부여됩니다.이러한 모델을 사용하면 톤 곡선을 정의하는 목적 함수를 생성하고 고속 2차 솔버를 사용하여 해결할 수 있습니다.

필터를 추가하여 이 방법을 비디오로도 확장할 수 있습니다.필터는 프레임 간 톤 곡선의 급격한 변경이 최종 출력 이미지에서 두드러지지 않도록 합니다.

이미징 프로세스의 예

톤 맵 뉴질랜드 웰링턴올드 세인트 폴의 남쪽 도코브에 있는 스테인드 글라스 창을 보여주는 하이 다이내믹 레인지 이미지 예시.
이전 이미지를 만드는 데 사용된 6개의 개별 노출입니다.저노출 이미지에서는 방이 어둡고 불분명하지만 창문의 디테일이 보입니다.고노출 화상은 창문이 밝고 불분명하지만, 방의 디테일이 드러난다.

오른쪽 이미지는 교회 내부를 보여주고 있는데, 교회 내부는 기존 카메라에 찍히거나 모니터에 표시할 수 있는 광도보다 훨씬 더 큰 광도를 가진 장면이다.카메라에서 6개의 개별 노출은 모니터에 표시할 수 있는 밝기 범위로 변환된 특정 범위의 장면의 광도를 보여줍니다.각 사진에 기록되는 광도의 범위는 제한되어 있기 때문에 모든 세부사항을 한 번에 표시할 수 없습니다. 예를 들어 어두운 교회 내부는 밝은 스테인드글라스 창의 세부사항과 동시에 표시할 수 없습니다.알고리즘이 6개의 화상에 적용되어 원래의 씬(하이 다이내믹 레인지 화상)의 하이 다이내믹 레인지 방사도 맵을 재현한다.또는 일부 고급 소비자 및 전문 과학 디지털 카메라는 RAW 영상과 같이 높은 다이내믹 레인지 영상을 직접 기록할 수 있습니다.

이상적인 경우, 카메라는 휘도를 직접 측정하여 HDR 이미지에 저장할 수 있습니다.그러나 오늘날 카메라에 의해 생성되는 대부분의 높은 다이내믹 레인지 이미지는 정확한 휘도 값을 측정하기 위해 비용과 시간 등의 실제적인 이유로 보정되지 않거나 휘도에 비례하지 않습니다.많은 경우 아티스트가 사용하기에 충분합니다.실제 휘도 신호를 대략적으로 근사하는 "HDR 영상"을 얻기 위해 다중 노출을 수행합니다.

하이 다이내믹 레인지 이미지는 톤 매핑 오퍼레이터(이 경우 로컬 오퍼레이터)에게 전달되며, 이 오퍼레이터는 이미지를 모니터에서 표시하기에 적합한 로우 다이내믹 레인지 이미지로 변환합니다.교회 내부에 비해 스테인드글라스 창문은 장면 광도와 픽셀 강도 사이의 선형 매핑보다 훨씬 낮은 밝기로 표시됩니다.그러나 이러한 부정확성은 이미지 디테일에 비해 인식적으로 덜 중요하며, 이제는 창문과 교회 내부 모두에서 동시에 표시될 수 있습니다.

HDR 이미지 처리의 로컬 톤 매핑 기술은 어두운 물체 주위의 밝은 할로겐, 밝은 물체 주변의 어두운 할로겐, 그리고 매우 선명한 색상과 대규모 색상의 변화가 없기 때문에 때때로 "카툰 같은" 모양과 같은 여러 가지 특징적인 효과를 이미지에 발생시킵니다.이러한 결과는 색공간 왜곡과 함께 캡처된 이미지의 기하학적 공간 왜곡을 적용함으로써 발생합니다.색공간 왜곡만이 톤 매핑 효과이며, 다른 모든 왜곡은 톤이나 색공간 매핑보다는 커스텀필터링 기법입니다.따라서 로컬 톤 매핑의 결과는 종종 문서주의적 사진 이미지의 특성을 왜곡하고 사진적 사실주의와는 거리가 멀다고 판단됩니다.

모든 톤 맵 이미지가 시각적으로 구별되는 것은 아닙니다.톤 매핑을 사용하여 다이내믹 레인지를 줄이는 것은 직사광선과 그림자 간의 명암 차이가 큰 밝은 햇빛이 비치는 장면에서 종종 유용합니다.이러한 경우 씬(scene)의 전체 대비는 감소하지만 로컬 대비는 유지되고 영상은 전체적으로 자연스러워 보입니다.이 콘텍스트에서의 톤 매핑의 사용은, 최종 이미지에서는 명확하지 않을 수 있습니다.

톤 매핑은 또한 아래 코넬 로스쿨 이미지에서 타워 주변의 가시적인 광배와 같은 최종 이미지에서 독특한 시각적 효과를 낼 수 있습니다.원본 영상의 동적 범위가 특별히 높지 않은 경우에도 이러한 효과를 낼 수 있습니다.영상의 헤일로는 로컬 톤 매핑 연산자가 원래 영상의 로컬 콘트라스트를 유지하기 위해 어두운 물체 주위의 영역을 밝게 하기 때문에 발생합니다.이것에 의해, 실제의 휘도는 밝은 것으로 인식되는 영상의 영역과 같더라도, 인간의 시각 시스템이 어두운 물체를 인식하도록 속입니다.통상, 이 효과는 미묘하지만, 오리지날 화상의 콘트라스트가 극단적이거나, 촬영자가 의도적으로 휘도 구배를 매우 가파르게 설정하면, 헤일로가 보이게 됩니다.

갤러리

「 」를 참조해 주세요.

레퍼런스

  1. ^ 리빙스톤, M. 2002"비전과 예술:보는 생물학"이라고 말했습니다.해리 N 에이브럼스
  2. ^ 헌트, R. 2004"사진, 인쇄, 텔레비전의 색채 재현: 제6판"John Wiley & Sons.
  3. ^ 애덤스, A. 1981년"프린트 앤젤 애덤스 사진 시리즈 3" 뉴욕 그래픽 협회
  4. ^ 랜드, E. H. 및 맥캔, J. J. 1971."가볍고 망상 이론"미국광학회지 61, 1, 1~11.
  5. ^ Kate Devlin, Alan Chalmers, Alexander Wilkie, Werner Purgathofer.Eurographics 2002의 "톤 재생 및 물리적 기반 스펙트럼 렌더링에 관한 STAR 보고서"DOI: 10.1145/1073204.1073242
  6. ^ 라난 파탈, 다니 리신스키, 마이클 워먼."Gradient Domain High Dynamic Range 압축"
  7. ^ Rafal Mantiuk, Karol Myszkowski, Hans-Peter Seidel."하이 다이내믹 레인지 이미지의 콘트라스트 처리를 위한 지각 프레임워크"
  8. ^ 앨런 길크리스트."경도 지각의 정착 이론"
  9. ^ Grzegorz Krawczyk, Karol Myszkowski, Hans-Peter Seidel."하이 다이내믹 레인지 이미지를 위한 톤 재생 시 밝기 인식"
  10. ^ Fairchild, M.D., Johnson, G.M.: '이미지 외관, 차이 및 품질을 위한 iCAM 프레임워크'제이 일렉트로닉이미징, 2004
  11. ^ Xiao, J., Li, W., Liu, G., Shaw, S. 및 Zhang, Y. (n.d.)이미지 컬러 어피아란스 모델을 기반으로 한 계층형 톤 매핑.[12]
  12. ^ Mantiuk, R., Daly, S. 및 Kerofsky, L. (n.d.)적응형 톤 매핑을 표시합니다.http://resources.mpi-inf.mpg.de/hdr/datmo/mantiuk08datm.pdf
  13. ^ https://web.archive.org/web/20150206044300/http://docs.opencv.org/trunk/doc/tutorials/photo/hdr_imaging/hdr_imaging.html
  14. ^ Durand와 Julie Dorsey, "하이 다이내믹 레인지 이미지 디스플레이를 위한 고속 양방향 필터링"ACM Transactions on Graphics, 2002, 21, 3, 257 - 266.https://people.csail.mit.edu/fredo/PUBLI/Siggraph2002/DurandBilateral.pdf
  1. ^ Banterle, Francesco; Ledda, Patrick; Debattista, Kurt; Chalmers, Alan (2006-11-29). "Inverse tone mapping". Proceedings of the 4th international conference on Computer graphics and interactive techniques in Australasia and Southeast Asia. GRAPHITE '06. New York, NY, USA: Association for Computing Machinery: 349–356. doi:10.1145/1174429.1174489. ISBN 978-1-59593-564-9.
  2. ^ "Inverse tone mapping - upscaling SDR content to HDR". Dolby. 2021-06-18. Retrieved 2022-04-06.
  3. ^ G. Qiu 등, "Optimization-A New Closed Form Solution을 사용한 HDR 이미지의 톤 매핑", Proc.ICPR 2006, 제18회 패턴인식 국제회의, vol.1, 페이지 996-999
  4. ^ Reinhard, Erik (2002). "Photographic tone reproduction for digital images" (PDF). ACM Transactions on Graphics. 21 (3): 267–276. doi:10.1145/566654.566575.
  5. ^ Taylor, Matt. "Tone Mapping". Retrieved 8 August 2021.

외부 링크

톤 매핑 알고리즘