이미지 스케일링

Image scaling
가장 가까운 이웃의 스케일링(왼쪽) 및 2×SaI 스케일링(오른쪽)으로 스케일링된 이미지

컴퓨터 그래픽스 및 디지털 이미징에서 이미지 스케일링은 디지털 이미지의 크기를 조정하는 것을 말합니다.비디오 테크놀로지에서는 디지털 머티리얼의 배율을 업스케일링 또는 해상도 향상이라고 합니다.

벡터 그래픽 이미지의 배율을 조정할 때 이미지를 구성하는 그래픽 프리미티브는 영상 품질의 손실 없이 기하학적 변환을 사용하여 배율을 조정할 수 있습니다.래스터 그래픽 영상의 배율을 조정할 때 픽셀 수가 많거나 적은 새 영상을 생성해야 합니다.픽셀 수를 줄이는 경우(축소) 일반적으로 가시적인 품질 손실이 발생합니다.디지털 신호 처리의 관점에서 래스터 그래픽스의 스케일링은 샘플링 레이트(이 경우 로컬 샘플링 레이트)에서 다른 샘플링 레이트로 이산 신호를 변환하는 샘플 레이트 변환의 2차원 예입니다.

수학

이미지 스케일링은 나이키스트 샘플링 정리 관점에서 이미지 재샘플링 또는 이미지 재구성의 한 형태로 해석할 수 있습니다.이 정리에 따르면 앨리어싱 아티팩트를 방지하기 위해 적절한 2D 안티에일리어싱 필터를 적용한 후에만 고해상도 원본에서 작은 화상으로 다운샘플링을 수행할 수 있다.이미지는 작은 이미지로 전송할 수 있는 정보로 축소됩니다.

업샘플링의 경우 재구성 필터가 안티에일리어싱 필터를 대신합니다.

  • Original 160x160px image

    오리지널 160x160px 이미지

  • Original image in spatial-frequency domain

    공간 주파수 영역의 원본 영상

  • 2D low-pass filtered, but still at 160x160px

    2D 로패스 필터링은 완료되었지만 160x160px는 그대로입니다.

  • Filtered image in spatial-frequency domain

    공간 주파수 영역에서 필터링된 영상

  • low-pass filtered 160x160px image 4× downsampled to 40x40px 

    저역 필터 160x160px 이미지 40x40px 다운샘플링

  • 4× Fourier upsampling of 40x40px downsampled image to 160x160px (correct reconstruction)

    40x40px 다운샘플링된 이미지를 160x160px로 4×푸리에 업샘플링(올바른 재구성)

  • 4× Fourier upsampling of 40x40px downsampled image to 160x160px (with aliasing)

    40x40px 다운샘플링된 이미지를 160x160px로 4×푸리에 업샘플링(에일리어싱 포함)

업스케일링에 대한 보다 정교한 접근법은 이 문제를 역문제로 취급하며, 크기를 줄이면 입력 이미지처럼 보이는 그럴듯한 이미지를 생성하는 문제를 해결합니다.이를 위해 정규화 용어를 사용한 최적화 기법 및 예시를 통한 기계 학습 사용 등 다양한 기술이 적용되었다.

알고리즘

다음 항목도 참조하십시오.이미지 스케일링 알고리즘 비교 갤러리

이미지 크기는 여러 가지 방법으로 변경할 수 있습니다.

근린 보간법

이미지 크기를 늘리는 가장 간단한 방법 중 하나는 출력에서 가장 가까운 픽셀로 모든 픽셀을 대체하는 근접 보간입니다. 업스케일링의 경우 동일한 색상의 여러 픽셀이 존재함을 의미합니다.이것에 의해, 픽셀 아트의 선명한 디테일을 유지할 수 있을 뿐만 아니라, 이전의 매끄러운 이미지에서도 들쭉날쭉함을 얻을 수 있습니다.가장 가까운 이웃의 '가장 가까운'이 수학적으로 가장 가까운 것일 필요는 없다.일반적인 구현 중 하나는 항상 0을 향해 반올림하는 것입니다.이 방법으로 반올림하면 아티팩트가 줄어들고 계산 [citation needed]속도가 빨라집니다.

바이너리 및 바이큐빅 알고리즘

쌍선형 보간은 픽셀 색상 값을 보간함으로써 작동하며, 원재료에 이산적인 천이가 있는 경우에도 출력에 연속적인 천이를 도입합니다.이 알고리즘은 연속 톤의 영상에서 바람직하지만 라인 아트에서는 바람직하지 않은 방법으로 콘트라스트(선명한 가장자리)를 줄입니다.바이큐빅 보간법은 계산 [citation needed]비용이 증가하여 훨씬 더 나은 결과를 산출한다.

Sync 및 Lanczos 재샘플링

이론적으로 sync 재샘플링은 완벽한 대역 제한 신호를 최대한 재구성할 수 있습니다.실제로 sync 재샘플링의 전제 조건은 실제 디지털 이미지로 완전히 충족되지 않습니다.sync 방법의 근사치인 Lanczos 재샘플링은 더 나은 결과를 산출합니다.바이큐빅 보간은 Lanczos 재샘플링에 [citation needed]대한 계산적으로 효율적인 근사치로 간주될 수 있다.

박스 샘플링

쌍선형, 쌍입방체 및 관련 알고리즘의 한 가지 약점은 특정 수의 픽셀을 샘플링한다는 것입니다.모든 바이샘플링 알고리즘에 대해 2회 이상과 같이 특정 임계값 이하로 스케일 다운하면 알고리즘은 인접하지 않은 픽셀을 샘플링하여 데이터를 모두 손실하고 대략적인 [citation needed]결과를 초래합니다.

이 문제의 간단한 해결책은 박스 샘플링입니다.이것은, 타겟 픽셀을 원래의 이미지상의 박스로 간주해, 박스내의 모든 픽셀을 샘플링 하는 것입니다.이렇게 하면 모든 입력 픽셀이 출력에 기여합니다.이 알고리즘의 큰 약점은 [citation needed]최적화가 어렵다는 것입니다.

Mipmap

바이샘플링 스케일링의 다운스케일 문제에 대한 또 다른 해결책은 맵입니다.mipmap은 미리 밀봉된 다운스케일 복사본 세트입니다.다운스케일링 시 가장 가까운 대형 밉맵이 원점으로 사용되며, 이중 선형 스케일링의 유용한 임계값보다 낮은 스케일링이 사용되지 않도록 합니다.이 알고리즘은 빠르고 최적화하기 쉽습니다.OpenGL과 같은 많은 프레임워크에서 표준입니다.표준 구현에서는 정확히 3분의 1 더 많은 이미지 메모리를 사용해야 합니다.

푸리에 변환법

푸리에 변환에 기반한 간단한 보간은 0 성분으로 주파수 영역을 채웁니다(창 기반 접근 방식을 부드럽게 하면 링잉을 줄일 수 있습니다).디테일의 양호한 보존(또는 회복) 이외에도, 왼쪽 테두리에서 오른쪽 테두리(및 그 반대)로 컨텐츠가 울리고 순환하는 것이 눈에 띈다.

에지 지향 보간법

모서리 방향 보간 알고리즘은 계단 아티팩트를 발생시킬 수 있는 다른 알고리즘과 달리 스케일링 후 영상의 모서리를 보존하는 것을 목표로 합니다.

이 작업에 대한 알고리즘의 예로는 새로운 에지 지향 보간(NEDI),[1][2] 에지 유도 이미지 보간(EGGI),[3] 반복 곡률 기반 보간(ICBI)[4] 및 방향 큐빅 컨볼루션 보간(DCCI)[5]이 있습니다.2013년 분석 결과 DCCI는 일련의 테스트 이미지에서 [6]PSNR과 SSIM에서 가장 높은 점수를 받았습니다.

hqx

저해상도 및/또는 소수의 색상(보통 2 ~256 색)으로 컴퓨터 그래픽을 확대하려면 hqx 또는 기타 픽셀 아트 스케일링 알고리즘을 사용하여 더 나은 결과를 얻을 수 있습니다.날카로운 모서리를 만들어 높은 디테일을 유지합니다.

벡터화

벡터 추출 또는 벡터화는 또 다른 접근방식을 제공합니다.벡터화는 먼저 스케일링할 그래픽의 해상도에 의존하지 않는 벡터 표현을 생성한다.그런 다음 해상도에 독립적인 버전이 원하는 해상도로 래스터 이미지로 렌더링됩니다.이 기술은 Adobe Illustrator, Live Trace [7]및 Inkscape에서 사용됩니다.스케일러블 벡터 그래픽스는 단순한 기하학적 이미지에 적합하지만, 사진은 복잡하기 때문에 벡터화에는 적합하지 않습니다.

심층 컨볼루션 뉴럴 네트워크

이 방법은 사진이나 복잡한 아트워크와 같은 보다 상세한 이미지를 위해 기계 학습을 사용합니다.이 방법을 사용하는 프로그램에는 waifu2x, Imglarger, Neural Enhanced 등이 있습니다.

Evelyn De Morgan의 인과 헤스페루스의 상세 내용을 사용하여 기존 업스케일링 대 와이푸2x 업스케일링에 대한 시연.전체 크기를 보려면 클릭하십시오.
원본 이미지
PaintShop Pro를 사용하여 이미지 200% 확대
포토 모드에서 Waifu2x를 사용하여 이미지 200% 확대, 중간 노이즈 저감
Topaz A를 사용하여 이미지를 400% 확대.I. 노이즈가 적은 기가픽셀
RealSR DF2K-JPEG를 사용하여 이미지를 400% 업스케일

적용들

일반

이미지 스케일링은 웹 브라우저,[8] 이미지 에디터, 이미지 및 파일 뷰어, 소프트웨어 확대기, 디지털 줌, 섬네일 이미지 생성 프로세스 및 화면 또는 프린터를 통해 이미지를 출력할 때 사용됩니다.

비디오

이 애플리케이션은, DVD 플레이어등의 PAL-Resolution 컨텐츠로부터 HDTV 대응 출력 디바이스의 홈 시어터용 화상을 확대하는 것입니다.업스케일은 실시간으로 실행되며 출력 신호는 저장되지 않습니다.

픽셀 아트 스케일링

주요 기사: 픽셀 아트 스케일링 알고리즘

픽셀 아트 그래픽은 보통 저해상도이기 때문에 개별 픽셀을 신중하게 배치해야 합니다(많은 경우 색상 팔레트가 한정되어 있습니다).그 결과 그래픽은 스타일화된 시각적 신호에 의존하여 해상도가 낮은 복잡한 형상을 개별 픽셀까지 정의할 수 있습니다.이로 인해 픽셀 아트 스케일링이 특히 어려워집니다.

기존의 스케일링 알고리즘은 지각적 단서를 고려하지 않았기 때문에 픽셀 아트 그래픽을 처리하기 위해 특수 알고리즘이[9] 개발되었습니다.

아케이드나 콘솔 에뮬레이터에서 4세대 이하의 비디오 게임의 외관을 개선하는 것이 일반적인 어플리케이션이기 때문에, 많은 어플리케이션이 초당 60프레임의 작은 입력 화상에 대해 실시간으로 실행되도록 설계되어 있습니다.

고속 하드웨어에서는 이러한 알고리즘은 게임 및 기타 실시간 이미지 처리에 적합합니다.이러한 알고리즘은 선명하고 선명한 그래픽을 제공하면서 흐림을 최소화합니다.스케일링 아트 알고리즘은 HqMAME 및 DOSBox와 같은 광범위한 에뮬레이터와 2D 게임 엔진 및 ScummVM과 같은 게임 엔진 레크리에이션에 구현되어 있습니다.그들은 게이머들에게 인정을 받았고, 이 기술들은 1980년대와 1990년대의 게임 [citation needed]경험을 되살리는 데 도움을 주었다.

이러한 필터는 현재 Xbox Live, Virtual Console 및 PSN의 상용 에뮬레이터에 사용되어 현대의 HD 디스플레이에서 고전적인 저해상도 게임을 보다 시각적으로 매력적으로 보이게 합니다.이러한 필터를 탑재한 최근 출시된 게임에는 소닉의 Ultimate Genesis Collection, Castlevania가 포함됩니다. 드라큘라 X 연대기, 캐슬바니아: 밤의 교향곡과 아쿠마조 드라큘라 X 치노 론도.

실시간 확장

많은 회사들이 비디오 게임에서 비디오 프레임이 화면에 그려지는 것과 같이 실시간으로 비디오 프레임을 업그레이드하는 기술을 개발했습니다.Nvidia의 DLSS(Deep Learning Super Sampling)는 딥 러닝을 사용하여 저해상도 이미지를 고해상도 컴퓨터 [10]모니터에 표시하기 위해 고해상도 이미지로 업그레이드합니다.AMD의 FidelityFX Super Resolution 1.0(FSR)은 머신 러닝을 채택하지 않고 기존의 손으로 쓴 알고리즘을 사용하여 기존의 쉐이딩 유닛에서 공간적인 업스케일을 실현합니다.FSR 2.0은 수동 조정 알고리즘을 사용하여 일시적인 업스케일을 사용합니다.FSR 표준화 사전 설정은 적용되지 않으며 Dota 2와 같은 일부 타이틀은 해상도 슬라이더를 [11]제공합니다.그 외의 테크놀로지에는, 인텔 XeSS 와 NVIDIA Image Scaler (NIS)[12][13] 가 있습니다.

「 」를 참조해 주세요.

레퍼런스

Wikimedia Commons에는 이미지 스케일링과 관련된 미디어가 있습니다.
  1. ^ "Edge-Directed Interpolation". Retrieved 19 February 2016.
  2. ^ Xin Li; Michael T. Orchard. "NEW EDGE DIRECTED INTERPOLATION" (PDF). 2000 IEEE International Conference on Image Processing: 311. Archived from the original (PDF) on 14 February 2016.
  3. ^ Zhang, D.; Xiaolin Wu (2006). "An Edge-Guided Image Interpolation Algorithm via Directional Filtering and Data Fusion". IEEE Transactions on Image Processing. 15 (8): 2226–38. Bibcode:2006ITIP...15.2226Z. doi:10.1109/TIP.2006.877407. PMID 16900678.
  4. ^ K.Sreedhar Reddy; Dr.K.Rama Linga Reddy (December 2013). "Enlargement of Image Based Upon Interpolation Techniques" (PDF). International Journal of Advanced Research in Computer and Communication Engineering. 2 (12): 4631.
  5. ^ Dengwen Zhou; Xiaoliu Shen. "Image Zooming Using Directional Cubic Convolution Interpolation". Retrieved 13 September 2015.
  6. ^ Shaode Yu; Rongmao Li; Rui Zhang; Mou An; Shibin Wu; Yaoqin Xie (2013). "Performance evaluation of edge-directed interpolation methods for noise-free images". arXiv:1303.6455 [cs.CV].
  7. ^ Johannes Kopf and Dani Lischinski (2011). "Depixelizing Pixel Art". ACM Transactions on Graphics. 30 (4): 99:1–99:8. doi:10.1145/2010324.1964994. Archived from the original on 1 September 2015. Retrieved 24 October 2012.
  8. ^ 일반적인 웹 브라우저에서 사용되는 이미지 스케일링 알고리즘 분석
  9. ^ "Pixel Scalers". Retrieved 19 February 2016.
  10. ^ "NVIDIA DLSS: Your Questions, Answered". www.nvidia.com. Archived from the original on 5 October 2021. Retrieved 13 October 2021.
  11. ^ "Valve's Dota 2 Adds AMD FidelityFX Super Resolution - Phoronix". www.phoronix.com. Archived from the original on 21 July 2021. Retrieved 13 October 2021.
  12. ^ Gartenberg, Chaim (19 August 2021). "Intel shows off its answer to Nvidia's DLSS, coming to Arc GPUs in 2022". The Verge. Archived from the original on 19 August 2021. Retrieved 13 October 2021.
  13. ^ "What Is Nvidia Image Scaling? Upscaling Tech, Explained". Digital Trends. 16 November 2021. Retrieved 3 December 2021.