텍스처 합성

Texture synthesis

텍스처 합성은 소형 디지털 샘플 이미지에서 대형 디지털 이미지를 구조적인 내용을 활용해 알고리즘적으로 구성하는 과정이다.그것은 컴퓨터 그래픽에 관한 연구의 대상이며, 그 중에서도 디지털 이미지 편집, 3D 컴퓨터 그래픽, 영화 제작 후 등 많은 분야에서 사용되고 있다.

텍스처 합성은 영상의 구멍을 메우고(인페인팅과 같이), 큰 비반복적인 배경 이미지를 만들고 작은 그림을 확장하는 데 사용할 수 있다.[1]

절차적 질감과 대비

절차 텍스처는 원천 재료 없이 처음부터 텍스처를 합성할 수 있는 관련 기법이다.이와는 대조적으로 텍스처 합성은 일부 소스 이미지가 일치하거나 확장되는 기법을 가리킨다.

텍스처

"혼합물"은 모호한 단어이며 텍스처 합성의 맥락에서 다음 의미 중 하나를 가질 수 있다.

  1. 공통어로는 '표면구조'의 동의어로 '혼합물'이라는 말이 쓰인다.질감은 지각의 심리학에서 다섯 가지 다른 성질에 의해 설명되어 왔다: 조화, 대조, 방향성, 선 유사성, 거칠기.
  2. 3D 컴퓨터 그래픽에서 텍스처는 입체 모델 표면에 텍스처 맵핑을 통해 디지털 이미지를 적용하여 모델을 보다 사실적으로 보이게 하는 것이다.종종 이 이미지는 나무 곡물과 같은 "진짜" 질감의 사진이다.
  3. 이미지 처리에서 반복적인 요소로 구성된 모든 디지털 이미지를 "혼합물"이라고 부른다.
텍스처 스펙트럼을 보여주는 사진과 생성된 이미지의 조합

질감은 일반에서 확률로 이어지는 스펙트럼을 따라 배치될 수 있으며, 부드러운 전환에 의해 연결된다.[2]

  • 규칙적인 질감.이 질감들은 다소 규칙적인 패턴처럼 보인다.구조화된 질감의 예로는 돌담이나 포장석으로 타일을 깔아 놓은 바닥이 있다.
  • 확률적인 질감.확률적 질감의 텍스처 이미지는 노이즈처럼 보인다: 이미지 위에 무작위로 흩어져 있는 색상 점들, 최소 및 최대 밝기 및 평균 색상의 속성으로 거의 지정되지 않는다.멀리서 보면 많은 텍스처가 확률적인 텍스처처럼 보인다.확률적인 질감의 예는 거칠다.

목표

텍스처 합성 알고리즘은 다음과 같은 요건을 충족하는 출력 영상을 생성하기 위한 것이다.

  • 출력은 사용자가 지정한 크기를 가져야 한다.
  • 출력은 샘플과 최대한 유사해야 한다.
  • 출력에 솔기, 블록 및 잘못된 가장자리와 같은 가시적인 아티팩트가 없어야 한다.
  • 출력이 반복되지 않아야 한다. 즉, 출력 영상의 동일한 구조가 여러 위치에 나타나서는 안 된다.

대부분의 알고리즘과 마찬가지로 텍스처 합성도 계산 시간과 메모리 사용에서 효율적이어야 한다.

방법들

텍스처 합성을 위해 다음과 같은 방법과 알고리즘이 연구 또는 개발되었다.

타일링

샘플 이미지에서 큰 이미지를 생성하는 가장 간단한 방법은 타일을 만드는 것이다.이것은 샘플의 여러 복사본이 단순히 복사되고 나란히 붙여진다는 것을 의미한다.결과가 만족스러운 경우는 드물다.드문 경우를 제외하고는 타일 사이에 솔기가 들어가 이미지가 반복적으로 나타날 것이다.

확률적 텍스처 합성

확률적 텍스처 합성법은 각 픽셀에 대한 색상 값을 무작위로 선택하여 이미지를 생성하는데, 최소 밝기, 평균 색상 또는 최대 대비와 같은 기본 파라미터에 의해서만 영향을 받는다.이러한 알고리즘은 확률적 질감에서만 잘 작동하며, 그렇지 않으면 샘플 이미지 내의 어떤 구조도 무시하기 때문에 완전히 만족스럽지 못한 결과를 만들어 낸다.

단일 목적 구조 텍스처 합성

그 계열의 알고리즘은 출력 이미지를 만들기 위해 고정 절차를 사용한다. 즉, 그것들은 하나의 구조화된 질감으로 제한된다.따라서 이러한 알고리즘은 모두 구조화된 텍스처에만 적용할 수 있으며 구조가 매우 유사한 텍스처에만 적용할 수 있다.예를 들어, 단일 목적 알고리즘은 돌벽의 고품질의 질감 이미지를 생성할 수 있지만, 조약돌을 보여주는 샘플 이미지가 주어진다면 알고리즘이 실행 가능한 출력을 낼 가능성은 매우 낮다.

혼돈 모자이크

마이크로소프트 그룹이 인터넷 그래픽을 위해 제안한 이 방법은 타일링의 정제된 버전이며 다음 세 단계를 수행한다.

  1. 출력 영상은 타일링으로 완전히 채워진다.결과는 가시적인 솔기를 가진 반복적인 이미지 입니다.
  2. 표본의 랜덤 크기에서 랜덤하게 선택한 부분은 복사되어 출력 영상에 랜덤하게 붙여진다.결과는 가시적인 솔기를 가진 다소 비반복적인 이미지다.
  3. 출력 영상이 부드러운 가장자리로 필터링된다.

그 결과는 너무 반복적이지 않고 너무 많은 아티팩트를 포함하지 않는 허용 가능한 텍스처 이미지 입니다.그러나 이 방법은 3단계의 평활화로 출력 이미지가 흐릿해 보이기 때문에 만족스럽지 못하다.

픽셀 기반 텍스처 합성

이러한 방법들은 마르코프 필드,[3] 비모수 샘플링,[4] 트리 구조화된 벡터 정량화[5] 및 영상 유사화를[6] 사용하는 것으로 가장 단순하고 성공적인 일반 텍스처 합성 알고리즘 중 하나이다.그들은 일반적으로 합성 텍스처와 가장 유사한 지역적 근방의 픽셀을 찾아 복사함으로써 스캔 라인 순서로 텍스처를 합성한다.이러한 방법은 이미지 완성 시 매우 유용하다.이미지 유사점과 마찬가지로 그것들은 많은 흥미로운 작업을 수행하도록 제한될 수 있다.가장 좋은 픽셀에 대한 철저한 검색이 다소 느리기 때문에 일반적으로 근사치 근사치 방법을 사용하여 가속된다.또한 이 합성은 비침해적 비모수적 다중점 마르코프 무작위 필드를 사용한 것과 같은 다중점화에서 수행될 수 있다.[7]

이미지 퀼팅.

패치 기반 텍스처 합성

패치 기반 텍스처 합성은 클론 도구를 사용하여 텍스처를 수동으로 합성하는 것과 유사하게 다양한 오프셋에서 텍스처를 복사하고 스티치하여 새로운 텍스처를 만든다.이미지 퀼팅과[8] 그래프컷 텍스처는[9] 가장 잘 알려진 패치 기반 텍스처 합성 알고리즘이다.이러한 알고리즘은 픽셀 기반의 텍스처 합성 방법보다 효과적이고 빠른 경향이 있다.

딥러닝과 신경망 접근

보다 최근에는 딥러닝 방법이 텍스처 합성에 대한 강력하고, 빠르고, 데이터 중심 파라메트릭 접근방식으로 나타났다.레온 개티스의[10] 작품은 이정표다: 그와 그의 공동저자들은 차별적으로 훈련된 깊은 신경 네트워크의 필터가 효과적인 파라메트릭 이미지 설명자로 사용될 수 있다는 것을 보여주었고, 이는 새로운 텍스처 합성법으로 이어졌다.

또 다른 최근의 발전은 텍스처 합성을 위한 생성 모델의 사용이다.공간적 GAN[11] 방법은 텍스처 합성을 위해 완전히 감독되지 않은 GAN을 사용하는 것을 처음으로 보여주었다.후속 작업에서 이 방법은 더 확장되었다.[12] 즉, PSGAN은 단일 이미지 또는 대규모 이미지 데이터셋에서 주기적 이미지와 비주기적 이미지를 무감독 방식으로 모두 학습할 수 있다.또한 노이즈 공간에서 유연한 샘플링을 통해 잠재적으로 무한할 수 있는 출력 크기의 새로운 텍스처를 만들어내고 이들 사이의 원활한 전환을 가능하게 한다.이는 텍스처 합성 방법이 생성할 수 있는 영상의 종류와 관련하여 PSGAN을 독특하게 만든다.

구현

일부 텍스처 합성 구현은 자유 이미지 편집기 Kimp를 위한 플러그인으로 존재한다.

픽셀 기반 텍스처 합성 구현:

패치 기반 텍스처 합성:

PSGAN을 사용한 Deep Generation 텍스처 합성, 라자뉴 + 테아노와 함께 파이썬에서 구현:

문학

이 분야에서 가장 초기 및 가장 많이 참조된 몇 개의 논문은 다음과 같다.

  • 1993년 Popat - "질감 합성, 분류 및 압축에 대한 클러스터 기반 확률 모델"
  • 1995년 Heeger-Bergen - "Pyramid 기반 텍스처 분석/합성"
  • 1998년 Paget-Longstaff - "비침습 비모수 다중점 마르코프 랜덤 필드를 통한 혼합물 합성"
  • 1999년 Efros-Leung - "비모수 샘플링에 의한 혼합물 합성"
  • 2000년 Wei-Levoy - "나무 구조 벡터 정량화를 이용한 빠른 텍스처 합성"

비록 그 주제에 관한 초기 연구도 있었지만, 다음과 같은 것들이 있었다.

  • 1986년 Gagalowicz와 Song De Ma, "3-D 장면에 대한 자연스러운 질감의 모델 중심 합성"
  • 1984년 루이스, "디지털 페인팅을 위한 혼합물"

(후자의 알고리즘은 혼돈 모자이크 접근법과 어느 정도 유사하다.)

에프로스-렁의 비모수 샘플링 접근법은 대부분의 텍스처를 쉽게 합성할 수 있는 첫 번째 접근법이며, 말 그대로 컴퓨터 그래픽에서 수백 개의 후속 논문에 영감을 주었다.이후 개인용 컴퓨터용 3D 그래픽 액셀러레이터 카드 도입으로 텍스처 합성 분야가 빠르게 확대됐다.그러나 에프로스에 따르면 1993년 스콧 드레이브스가 GPL 코드와 함께 이 기법의 패치 기반 버전을 처음 출판한 것으로 밝혀졌다.

참고 항목

참조

  1. ^ "SIGGRAPH 2007 예시 기반 텍스처 합성 과정"
  2. ^ "비정규직 텍스처 분석 및 조작".옌시 류, 웬치 린, 제임스 헤이즈.시그그래프 2004
  3. ^ "비침해 비모수 다중점 마르코프 랜덤 필드를 통한 혼합물 합성." Paget과 Longstaff, IEEE Trans.이미지 처리, 1998년
  4. ^ "비모수 표본 추출에 의한 혼합물 합성"에프로스와 렁, ICCV, 1999
  5. ^ "나무구조 벡터 정량화를 이용한 고속 텍스처 합성" Wei와 Levoy SIGRAPH 2000
  6. ^ "Image Analogies" 헤르츠만 외시그그래프 2001.
  7. ^ "비침해 비모수 다중점 마르코프 랜덤 필드를 통한 혼합물 합성." Paget과 Longstaff, IEEE Trans.이미지 처리, 1998년
  8. ^ "이미지 퀼팅."에프로스와 프리만시그그래프 2001.
  9. ^ "그래프컷 텍스처:Graph Cuts를 이용한 영상 및 영상 합성."Kwatra 등시그그래프 2003
  10. ^ Gatys, Leon A.; Ecker, Alexander S.; Bethge, Matthias (2015-05-27). "Texture Synthesis Using Convolutional Neural Networks". arXiv:1505.07376 [cs.CV].
  11. ^ Jetchev, Nikolay; Bergmann, Urs; Vollgraf, Roland (2016-11-24). "Texture Synthesis with Spatial Generative Adversarial Networks". arXiv:1611.08207 [cs.CV].
  12. ^ Bergmann, Urs; Jetchev, Nikolay; Vollgraf, Roland (2017-05-18). "Learning Texture Manifolds with the Periodic Spatial GAN". arXiv:1705.06566 [cs.CV].

외부 링크