딥 이미지 이전

딥 이미지 프리어는 이미지 자체 이외의 사전 훈련 데이터 없이 주어진 이미지를 향상시키는 데 사용되는 컨볼루션 신경망의 일종입니다.신경망은 노이즈 감소, 초고해상도 및 인페인팅과 같은 역문제를 해결하기 전처럼 무작위로 초기화되어 사용됩니다.이미지 통계는 이전에 학습된 기능이 아닌 컨볼루션 이미지 생성기의 구조에 의해 캡처됩니다.

방법

배경

노이즈 감소, 초해상도 및 인페인팅과 같은 역 문제는 최적화 $x^{*}=min_{x}E(x;x_{0})+R(x)$ x $x^{*}=min_{x}E(x;x_{0})+R(x)$ $=$ $x^{*}=min_{x}E(x;x_{0})+R(x)$ $x^{*}=min_{x}E(x;x_{0})+R(x)$ E $x^{*}=min_{x}E(x;x_{0})+R(x)$ ( $x^{*}=min_{x}E(x;x_{0})+R(x)$ $x^{*}=min_{x}E(x;x_{0})+R(x)$ $x^{*}=min_{x}E(x;x_{0})+R(x)$ ) + $x^{*}=min_{x}E(x;x_{0})+R(x)$ ( $x^{*}=min_{x}E(x;x_{0})+R(x)$ x $x^{*}=min_{x}E(x;x_{0})+R(x)$ ) {{ $displaystyle$ x^{*}= $min_{x}E(x;x_{$ $0})$ + $R(x$ 로 공식화할 수 있습니다. $x$ 서 x{\ $displaystyle$ x}는 $x$ $x_{0}$ 해당 이미지의 손상된 $x_{0}$ 입니다 $.$ $E(x;x_{0})$ ( $E(x;x_{0})$ ; $E(x;x_{0})$ 0 $E(x;x_{0})$ ) { $displaystyle$ E $(x;x_{0})$ 는 $E(x;x_{0})$ 작업에 종속된 데이터 항이며, R(x)는 정규화 도구입니다.이는 에너지 최소화 문제를 형성합니다.

심층 신경망은 무작위 코드 $벡터$ z {\ $displaystyle$ z}를 $z$ 이미지x {\ $displaystyle$ x $x$ 에 $x=f_{\theta }(z)$ 매핑하는 생성기/ $x=f_{\theta }(z)$ x $=$ $θ$ ( $z)$ 를 학습합니다.

$x_{0}$ 0 $({$ 을 $x_{0}$ $x_{0}$ 하는 데 사용되는 영상 손상 방법이 특정 애플리케이션에 대해 선택됩니다.

구체적인

이 접근 방식에서 $R(x)$ R ( $R(x)$ ) {\ $displaystyle$ R $($ $R(x)=0$ $R(x)$ 은 $R(x)$ 심층 신경망에 의해 생성될 수 있는 이미지에 대해 신경망에 의해 캡처된 암묵적인 $R(x)=0$ 으로 $R(x)=+\infty$ 됩니다 $R(x)=0$ 서 R ( $x$ ) $=$ 0 {\displaystyle $R(x)=0$ R(x) $=$ $0$ $R(x)=+\infty$ }, R $R(x)=+\infty$ ( $R(x)=+\infty$ ) $R(x)=+\infty$ + {\ $displaystyle$ R( $x$ ) $=$ +\ $infty$ }).이것은 $\theta ^{*}=argmin_{\theta }E(f_{\theta }(z);x_{0})$ E $\theta ^{*}=argmin_{\theta }E(f_{\theta }(z);x_{0})$ ( $\theta ^{*}=argmin_{\theta }E(f_{\theta }(z);x_{0})$ θ ( $\theta ^{*}=argmin_{\theta }E(f_{\theta }(z);x_{0})$ ; $\theta ^{*}=argmin_{\theta }E(f_{\theta }(z);x_{0})$ $)$ $디스플레이$ $\theta ^{*}$ }( $z$ $);$ x_ ${0$ $x^{*}=f_{\theta ^{*}}(z)$ 의 최소화기 $x^{*}=f_{\theta ^{*}}(z)$ $\theta ^{*}=argmin_{\theta }E(f_{\theta }(z);x_{0})$ $x^{*}=f_{\theta ^{*}}(z)$ $\theta ^{*}=argmin_{\theta }E(f_{\theta }(z);x_{0})$ 에 대한 방정식과 최적화 $프로세스$ x $=$ f $θ$ (z $)의 결과$ 를 산출합니다 $.$

최소화기 $\theta ^{*}$ \ $displaystyle \theta ^{*}($ 일반적으로 경사 하강)은 무작위로 초기화된 매개 변수에서 시작하여 x $∗$ {{\ $displaystyle$ x^{*}} $x^{*}$ 함수를 생성하기 위해 로컬 최상의 결과로 하강합니다.

과피팅

매개 변수 θ은 노이즈를 포함한 모든 이미지를 복구하는 데 사용될 수 있습니다.그러나 네트워크는 높은 임피던스를 포함하는 반면 유용한 신호는 낮은 임피던스를 제공하기 때문에 노이즈를 수집하기를 꺼립니다.따라서 최적화 프로세스의 반복 횟수가 데이터를 과도하게 적합시키지 않을 정도로 낮게 유지되는 한 γ 매개변수는 보기 좋은 국소 최적값에 접근하게 됩니다.

심층 신경망 모델

일반적으로 딥 이미지에 대한 심층 신경망 모델은 인코더 블록과 디코더 블록을 연결하는 스킵 연결 없이 U-Net과 같은 모델을 사용합니다.그들의 논문에서 저자들은 "여기서 (그리고 다른 유사한 비교에서) 우리의 발견은 더 깊은 아키텍처를 갖는 것이 유익하고 (의미론적 분할과 같은) 인식 작업에 매우 잘 작동하는 건너뛰기 연결을 갖는 것이 매우 ^[1]해롭다는 것을 시사하는 것 같습니다."라고 언급합니다.

적용들

노이즈 제거

노이즈 제거의 원리는 노이즈가 많은 $x_{0}$ x $x_{0}$ 에서 $이미지$ x {\ $displaystyle x$ { $0$ $x_{0}$ 을 $x$ (를) 복구하는 것입니다. $x_{0}=x+\epsilon$ 서 $x_{0}=x+\epsilon$ 0 $=$ + ${{0}=$ x + \epsilon $x_{0}=x+\epsilon$ 분포 $ϵ$ \ $displaystyle$ $\epsilon$ \epsilon은 때때로 알려져 있습니다 $\epsilon$ (예:프로파일링 센서 및 광자^[2] 노이즈)를 선택적으로 모델에 통합할 수 있지만, 이 프로세스는 블라인드 노이즈 제거에서 잘 작동합니다.

2차 에너지 $E(x,x_{0})=||x-x_{0}||^{2}$ E ( $E(x,x_{0})=||x-x_{0}||^{2}$ $E(x,x_{0})=||x-x_{0}||^{2}$ ) $=$ - $E(x,x_{0})=||x-x_{0}||^{2}$ $E(x,x_{0})=||x-x_{0}||^{2}$ {\ $displaystyle$ E $(x, x_{0$ }) = $x-x_{0} ^{2$ }}는 $E(x,x_{0})=||x-x_{0}||^{2}$ 데이터 항으로 사용됩니다. $\theta ^{*}$ \\ $displaystyle \theta ^{*}}$ 의 $\theta^*$ 방정식에 그것을 연결하면 θ $min_{\theta }||f_{\theta }(z)-x_{0}||^{2}$ θ $min_{\theta }||f_{\theta }(z)-x_{0}||^{2}$ - x $min_{\theta }||f_{\theta }(z)-x_{0}||^{2}$ \ $displaystyle min_{\theta$ } $f_{\theta }(z)-x_{0}^{2$ 의 최적화 $min_{\theta }||f_{\theta }(z)-x_{0}||^{2}$ 가 $min_{\theta }||f_{\theta }(z)-x_{0}||^{2}$ 합니다.

초고해상도

초해상도는 이미지 x의 고해상도 버전을 생성하는 데 사용됩니다.데이터 $E(x;x_{0})=||d(x)-x_{0}||^{2}$ 은 E $E(x;x_{0})=||d(x)-x_{0}||^{2}$ $E(x;x_{0})=||d(x)-x_{0}||^{2}$ 0 ) $= d$ - $E(x;x_{0})=||d(x)-x_{0}||^{2}$ $({\$ {0}) $= d(x)-x_{0}^{2$ }}(여기서 d(·)는 Lanczos와 같은 다운샘플링 연산자로, 인자로 이미지를 소멸시킵니다.

인페인팅

인페인팅은 $x_{0}$ $x_{0}$ 0 $({$ 에서 누락된 영역을 재구성하는 데 사용됩니다.이러한 누락된 픽셀은 이진 $m\in \{0,1\}^{H\times V}$ m $∈$ { $m\in \{0,1\}^{H\times V}$ $m\in \{0,1\}^{H\times V}$ × $m\in \{0,1\}^{H\times V}$ {{ $0,1\}^{H\times$ V $m\in \{0,1\}^{H\times V}$ 로 정의됩니다.데이터 항은 E $E(x;x_{0})=||(x-x_{0})\odot m||^{2}$ ( $E(x;x_{0})=||(x-x_{0})\odot m||^{2}$ $E(x;x_{0})=||(x-x_{0})\odot m||^{2}$ ) $E(x;x_{0})=||(x-x_{0})\odot m||^{2}$ ( $E(x;x_{0})=||(x-x_{0})\odot m||^{2}$ $E(x;x_{0})=||(x-x_{0})\odot m||^{2}$ $E(x;x_{0})=||(x-x_{0})\odot m||^{2}$ ) ⊙ $E(x;x_{0})=||(x-x_{0})\odot m||^{2}$ {\ $displaystyle$ E $(x;x_{$ 0}) $\odot$ ( $x-x_{0})\odot$ m $^{2}}($ 여기서 $⊙$ {{ $displaystyle \odot}$ 은 $\odot$ Hadamard 제품입니다)로 $E(x;x_{0})=||(x-x_{0})\odot m||^{2}$ 됩니다.

이것 뒤에 숨겨진 직관은 손실이 이미지의 알려진 픽셀에서만 계산된다는 것이며, 네트워크는 계산된 손실이 해당 픽셀을 포함하지 않더라도 이미지의 알려지지 않은 부분을 채울 만큼 이미지에 대해 충분히 학습할 것입니다.이 전략은 워터마크를 이미지에서 누락된 픽셀로 처리하여 이미지 워터마크를 제거하는 데 사용됩니다.

플래시 – 플래시가 없는 재구성

이 접근 방식은 여러 이미지로 확장될 수 있습니다.저자가 언급한 간단한 예는 플래시와 플래시가 없는 쌍에서 자연광과 선명도를 얻기 위해 이미지를 재구성하는 것입니다.비디오 재구성은 가능하지만 공간적 차이를 고려한 최적화가 필요합니다.

구현

PyTorch 0.4.0 라이브러리를 사용하여 Python 3.6에서 다시 작성된 참조 구현은 Apache 2.0 라이센스로 작성자에 의해 출시되었습니다: deep-image-prior
Python 2로 작성되었으며 CC-SA 3.0 라이센스로 출시된 TensorFlow 기반 구현체: deep-image-prior-tensorflow
Python 2로 작성되었으며 GPLv3로 출시된 Keras 기반 구현체: machine_learning_denoising

레퍼런스

^ https://sites.skoltech.ru/app/data/uploads/sites/25/2018/04/deep_image_prior.pdf
^ jo (2012-12-11). "profiling sensor and photon noise .. and how to get rid of it". darktable.
^ "DmitryUlyanov/Deep-image-prior". GitHub. 3 June 2021.

Ulyanov, Dmitry; Vedaldi, Andrea; Lempitsky, Victor (30 November 2017). "Deep Image Prior". arXiv:1711.10925v2 [cs.CV].

[1] ttps://sites.skoltech.ru/app/data/uploads/sites/25/2018/04/deep_image_prior.pdf

[2] (2012-12-11). "profiling sensor and photon noise .. and how to get rid of it". darktable.

[3] "DmitryUlyanov/Deep-image-prior". GitHub. 3 June 2021.

[1]

[2]

Search