이미지 프로세서

Image processor
Nikon EXPEED, 이미지 프로세서, 비디오 프로세서, 디지털 신호 프로세서(DSP), 칩을 제어하는 32비트 마이크로 컨트롤러를 포함한 칩상의 시스템

이미지 프로세서(Image Processing Engine, Image Processing Unit(IPU; 이미지 처리 엔진), 이미지 처리 장치(Image Processor) 또는 이미지 신호 처리 장치(ISP; 이미지 처리 장치)라고도 함)는 디지털 카메라 또는 기타 [1][2]장치에서 이미지 처리에 사용되는 미디어 프로세서 또는 특수 디지털 신호 처리 장치(DSP)의 일종입니다.이미지 프로세서는 많은 경우 SIMD 또는 MIMD 기술을 사용하더라도 병렬 컴퓨팅을 사용하여 속도와 효율성을 높입니다.디지털 이미지 처리 엔진은 다양한 작업을 수행할 수 있습니다.임베디드 디바이스의 시스템 통합을 강화하기 위해 멀티코어 프로세서 아키텍처를 탑재한 칩상의 시스템인 경우가 많습니다.

기능.

바이어 변환

이미지 센서에 사용되는 포토다이오드는 본질적으로 색맹이며 회색 음영만 기록할 수 있습니다.사진에 색을 넣기 위해, 그들은 다른 색상 필터로 덮여있다: Bayer 필터에 의해 지정된 패턴에 따라 - 발명자의 이름을 따서.각 포토 다이오드가 화상의 1픽셀의 색 정보를 기록하기 때문에, 화상 프로세서가 없으면, 빨강과 파랑의 각 픽셀 옆에 녹색 픽셀이 있습니다.(실제로 대부분의 센서에서는 파란색 다이오드와 빨간색 다이오드에 대해 2개의 녹색이 있습니다.)

그러나 이 프로세스는 매우 복잡하며 여러 가지 다른 작업이 수반됩니다.그 품질은 센서에서 나오는 원시 데이터에 적용되는 알고리즘의 효과에 크게 좌우됩니다.수학적으로 조작된 데이터가 기록된 사진 파일이 됩니다.

데모사이싱

상기와 같이, 화상 처리 장치는, 소정의 화소의 색채 및 휘도 데이터를 평가해, 그것들을 인접 화소로부터의 데이터와 비교한 후, 디모사이싱 알고리즘을 사용해 화소에 적절한 색채 및 휘도치를 생성한다.또, 화상 프로세서는, 콘트라스트의 정확한 분포를 추측하기 위해서, 전체 화상을 평가합니다.감마 값을 조정하면(이미지의 중간 톤의 대비 범위를 높이거나 낮춤) 사람의 피부나 하늘색과 같은 미묘한 톤 그라데이션이 훨씬 더 사실적으로 됩니다.

소음 저감

노이즈는 모든 전자 회로에서 볼 수 있는 현상입니다.디지털 사진에서는, 그 효과가, 그 외의 부드러운 색채의 영역에서, 명백히 잘못된 색의 랜덤 스팟으로 보이는 경우가 많다.온도와 노출 시간에 따라 노이즈가 증가합니다.높은 ISO 설정을 선택하면 이미지 센서의 전자 신호가 증폭되고 동시에 노이즈 레벨이 증가하여 신호 대 잡음비가 낮아집니다.화상 프로세서는, 이음을 화상 정보로부터 분리해, 삭제하려고 합니다.이미지에 미세한 질감의 영역이 포함되어 있어 노이즈로 취급할 경우 일부 정의가 손실될 수 있기 때문에 이는 매우 어려운 작업입니다.

이미지 선명화

각 화소의 색상과 휘도치를 보간할 때, 어느 정도의 화상 연화를 실시해, 발생한 흐릿함을 해소한다.깊이, 선명함, 섬세한 디테일의 인상을 유지하기 위해서, 화상 프로세서는 가장자리와 윤곽을 선명하게 할 필요가 있습니다.따라서 모서리를 정확하게 감지하고 지나치게 날카롭지 않게 부드럽게 재현해야 합니다.

모델

이미지 프로세서 사용자는 업계 표준 제품, 애플리케이션 고유의 표준 제품(ASP) 또는 애플리케이션 고유의 집적회로(ASIC)를 다음과 같은 상호로 사용하고 있습니다.캐논의 이름은 DIGIC, 니콘의 Expeed, 올림푸스의 TruePic, 파나소닉의 비너스 엔진, 소니의 Bionz이다.Fujitsu Milbeauty, Texas Instruments OMAP, Panasonic MN103, Zoran Coach, Altek Sunny 또는 Sanyo 이미지/비디오 프로세서를 기반으로 하는 것으로 알려져 있습니다.

NEON SIMD Media Processing Engine(MPE; 미디어 처리 엔진)을 탑재한 ARM 아키텍처 프로세서는 휴대 전화에서 자주 사용됩니다.

프로세서 브랜드명

  • ATI - Imageon (카메라 이미지 신호 처리를[3] 위해 많은 초기 모바일 사진에 사용된 그래픽스 보조 프로세서)
  • 캐논 - DIGIC (Texas Instruments OMAP [4]기반)
  • Casio - EXILIM 엔진
  • Epson - EDIART
  • 후지필름 - EXR III 또는 X 프로세서 Pro
  • Google - 픽셀 비주얼[5] 코어
  • HTC - Image Sense
  • MediaTek - Imagiq
  • Minolta / Konica Minolta - SUPHID with CxProcess
  • Leica - MAISTRO (후지쯔 밀뷰티 [6]기준)
  • 니콘 - Expeed (후지쯔 밀뷰티 [7]기준)
  • 올림푸스 - TruePic (Panasonic MN103/MN103S 탑재)
  • Panasonic - Venus 엔진 (Panasonic MN103/MN103S 탑재)
  • Pentax - PRIME (Pentax Real IMage Engine) (후지쯔 Milbeauty를 기반으로 한 새로운 모델)
  • 퀄컴 - 퀄컴 스펙트럼
  • Ricoh - GR 엔진(GR 디지털), 부드러운 이미징 엔진
  • 삼성 - DRIMe (Samsung Exynos 기반)
  • 산요 - 플래티넘 엔진
  • 시그마 - 참
  • 샤프 - ProPix
  • Socionext - Milbeautiful ISP 패밀리 - SC2000 (M-10V), SC2002 (M-11S)
  • 소니 - Bionz
  • THINE - 펌웨어 개발을 위한 호환 SDK 키트 포함 THP 시리즈 [1]
  • UNISOC - 바이오매직

속도

이미지 센서의 픽셀 수가 계속 증가함에 따라, 이미지 프로세서의 속도는 더욱 중요해집니다.사진작가는 카메라의 이미지 프로세서가 작업을 완료할 때까지 기다리지 않고 카메라 내부에서 어떤 처리가 진행되고 있는지조차 눈치채고 싶지 않습니다.따라서 영상 프로세서는 같은 시간 또는 짧은 시간 내에 더 많은 데이터를 처리할 수 있도록 최적화해야 합니다.

「 」를 참조해 주세요.

레퍼런스

  1. ^ 디지털 신호 및 이미지 처리
  2. ^ 디지털 이미지 처리의 기초
  3. ^ "Handheld Products". 11 March 2006. Archived from the original on 11 March 2006. Retrieved 14 September 2019.
  4. ^ 캐논 리벨 T4i DSLR 내부 2012-09-21 웨이백 머신 칩웍스 아카이브
  5. ^ Amadeo, Ron (17 October 2017). "Surprise! The Pixel 2 is hiding a custom Google SoC for image processing". Ars Technica. Retrieved 19 October 2017.
  6. ^ Fujitsu Microelectronics-Leica의 하이엔드 DSLR용 이미지 처리 시스템 솔루션 2008-10-07을 웨이백 머신에 아카이브
  7. ^ Milbeauty와 EXPEED가 Wayback Machine byThom에서 2016-05-21 아카이브 완료