시각 튜링 테스트

시각적 튜링 테스트를 위해 쿼리 생성기에서 생성한 선택된 샘플 질문

컴퓨터 비전 연구는 표준 평가 관행에 의해 추진됩니다.현재의 시스템은 객체 검출, 세그먼트화, 현지화 등의 태스크에 대해 정확성을 테스트하고 있습니다.컨볼루션 뉴럴 네트워크와 같은 방법들은 이러한 작업들에서 꽤 잘 되어가고 있는 것처럼 보이지만, 현재의 시스템은 여전히 인간이 하는 방식으로 이미지를 이해하는 궁극적인 문제를 해결하는데 근접하지 못하고 있다.인간이 이미지를 이해하고 심지어 그것에 대한 이야기를 하는 능력에 의해 동기부여가 된, Geman et al.컴퓨터 비전 시스템을 위한 시각적 튜링 테스트를 도입했습니다.

에서 ^[1]설명한 바와 같이, "특정 테스트 ^[1]이미지에서 이진수 질문의 확률적 시퀀스를 생성하는 조작자 지원 장치"입니다.쿼리 엔진은 일련의 질문을 생성합니다.이러한 질문은 질문의 이력을 고려할 때 예측할 수 없는 답변을 가지고 있습니다.이 테스트는 시력에 관한 것일 뿐 자연어 처리가 필요하지 않습니다.휴먼 오퍼레이터의 역할은 질문에 대한 정답을 제공하거나 애매모호하다고 거부합니다.쿼리 생성기는 인간이 사진을 볼 때 하는 것과 유사한 "자연 스토리 라인"을 따르도록 질문을 생성합니다.

역사

컴퓨터 비전 연구는 시모어 페이퍼트가 이 문제를 해결하려고 처음 시도했던 1960년대로 거슬러 올라간다.이 실패한 시도는 여름 비전 프로젝트라고 불렸습니다.그것이 성공하지 못한 이유는 컴퓨터 비전이 사람들이 생각하는 것보다 더 복잡하기 때문이다.복잡성은 인간의 시각 시스템과 일치한다.인간 뇌의 약 50%가 시력을 처리하는 데 소비되고 있는데, 이는 이것이 어려운 문제임을 분명히 보여준다.

나중에 인간의 뇌에서 영감을 받은 모형으로 문제를 해결하려는 시도가 있었다.Frank Rosenblatt의 퍼셉트론은 신경망의 한 형태이며, 그러한 접근법 중 하나이다.이러한 단순한 신경망은 기대에 부응하지 못했으며 향후 연구에서 고려되지 않은 특정한 한계를 가지고 있었다.

이후 하드웨어와 처리 능력을 이용할 수 있게 되면서 연구는 가장자리 찾기, 이미지 노이즈 제거 또는 필터 적용과 같은 픽셀 수준의 작업을 수반하는 이미지 처리로 전환되었습니다.이 분야에서는 큰 진전이 있었지만 이미지를 기계로 이해시키는 시력 문제는 아직 해결되지 않았습니다.이 시간 동안 신경 네트워크는 또한 다층 퍼셉트론에 의해 퍼셉트론의 한계를 극복할 수 있다는 것을 보여주면서 다시 나타났다.또한 1990년대 초에는 숫자 인식에서는 큰 성과를 보였지만 더 어려운 문제에서는 잘 확장되지 않았던 컨볼루션 신경 네트워크가 탄생했다.

1990년대 후반과 2000년대 초반에는 현대 컴퓨터 비전이 탄생했다.이러한 현상이 발생한 이유 중 하나는 키, 기능 추출 및 표현 알고리즘의 가용성 때문입니다.이미 존재하는 머신러닝 알고리즘과 함께 기능들을 사용하여 이미지의 객체를 검출, 현지화 및 세그먼트화했습니다.

이러한 모든 발전이 이루어지는 동안 커뮤니티는 성능을 비교할 수 있도록 표준화된 데이터셋과 평가 지표를 보유할 필요성을 느꼈습니다.이로 인해 Pascal VOC 과제 및 ImageNet 과제와 같은 과제가 대두되었습니다.표준 평가 지표의 가용성과 미해결 과제는 연구의 방향을 제시하였다.객체 감지 및 분류와 같은 특정 작업을 위해 더 나은 알고리즘이 도입되었습니다.

Visual Turing Test는 컴퓨터 비전 연구에 새로운 방향을 제시하는 것을 목표로 하고 있으며, 이는 인간이 하는 방식처럼 이미지를 이해하는 데 한 걸음 더 가까워지는 시스템의 도입으로 이어질 것이다.

현재의 평가 프랙티스

일부 이미지 영역(예: 장면 이미지)에서 서로 다른 비전 작업(예: 물체 감지/인식)을 평가하기 위해 알고리즘의 차이 클래스의 성능을 벤치마크하기 위해 많은 데이터 세트가 주석을 달고 일반화되었다.

컴퓨터 비전에서 가장 유명한 데이터 세트 중 하나는 객체 수준의 이미지 분류 문제를 평가하는 데 사용되는 ImageNet입니다.ImageNet은 주석이 달린 최대 데이터셋 중 하나로 100만 개 이상의 이미지를 보유하고 있습니다.또 다른 중요한 비전 태스크는 이미지에서 객체 인스턴스를 감지하고 객체 인스턴스 주위에 경계 상자 좌표를 제공하거나 객체를 분할하는 것을 참조하는 객체 감지 및 현지화입니다.이 작업에 가장 많이 사용되는 데이터 집합은 Pascal 데이터 집합입니다.마찬가지로 인체 자세 감지를 위한 H3D^[2] 데이터 세트, 색상, 방향, 활동 등 탐지된 객체 속성의 품질을 평가하는 핵심 데이터 세트 등 특정 작업에 대한 다른 데이터 세트도 있습니다.

이러한 표준 데이터셋을 보유함으로써 비전 커뮤니티는 이러한 모든 작업에 대해 매우 뛰어난 성능을 발휘하는 알고리즘을 고안할 수 있었습니다.다음 논리적 단계는 이러한 작은 하위 작업을 포함하는 더 큰 작업을 작성하는 것입니다.이러한 작업을 수행하게 되면 이미지를 이해하는 시스템을 구축할 수 있습니다. 이미지를 이해하는 것은 본질적으로 물체를 감지하고, 위치를 파악하고, 분할해야 하기 때문입니다.

세부 사항

튜링 테스트와 달리 VTT(Visual Turing Test)는 인간 코디네이터의 존재 하에 컴퓨터 비전 시스템을 질문하는 쿼리 엔진 시스템을 가지고 있습니다.

이 시스템은 테스트 이미지에 고유한 이진 질문의 무작위 시퀀스를 생성하는 시스템으로, 이전의 k - 1 질문에 대한 정답(질문 이력이라고도 함)을 고려할 때 k 질문에 대한 답을 예측할 수 없습니다.

테스트는 애매한 질문을 제거하고 모호하지 않은 질문에 대한 정답을 제공하는 두 가지 주요 목적을 수행하는 인간 오퍼레이터의 입회 하에 이루어진다.이미지 무한대로 가능한 바이너리 질문을 할 수 있으며 많은 질문이 모호할 수밖에 없습니다.쿼리 엔진에 의해 생성된 이러한 질문은 인간 모델레이터에 의해 삭제되고 대신 쿼리 엔진에 의해 다른 질문이 생성되므로 질문의 이력을 고려할 때 이에 대한 답변을 예측할 수 없습니다.

시각 튜링 테스트의 목적은 컴퓨터 시스템의 이미지 이해도를 평가하는 것이며 이미지 이해의 중요한 부분은 이미지의 스토리라인입니다.인간이 이미지를 볼 때, 그들은 왼쪽에서 'x' 픽셀, 위에서 'y' 픽셀로 자동차가 있다고 생각하지 않고, 대신 그들은 그것을 이야기로 볼 수 있다. 예를 들어 그들은 자동차가 도로에 주차되어 있고, 사람이 차에서 나와 건물을 향해 가고 있다고 생각한다.스토리 라인의 가장 중요한 요소는 객체입니다.따라서 이미지에서 스토리 라인을 추출하는 첫 번째이자 가장 중요한 작업은 이미지 내의 객체를 인스턴스화하는 것입니다.그것이 쿼리 엔진이 하는 일입니다.

쿼리 엔진

쿼리 엔진은 비주얼 튜링 테스트의 핵심이며 두 개의 주요 부분으로 구성됩니다: 어휘와 문제

어휘

어휘는 이미지의 요소를 나타내는 단어 집합입니다.이 어휘는 적절한 문법과 함께 사용될 때 일련의 질문으로 이어집니다.문법은 2진법의 공간으로 이어지는 방식으로 다음 섹션에서 정의됩니다.

${\mathcal {V}}$ V $(\$ 는 ${\mathcal {V}}$ 다음 세 가지 요소로 구성됩니다.

${\mathcal {T}}$ 유형 ${\mathcal {T}}$ T {\ $displaystyle$ {\ $mathcal {T}}$
${\mathcal {A}}(t)$ A의 유형 의존 속성 ${\mathcal {A}}(t)$ $)$ { $displaystyle {A}}(t)}$
두 객체 ${\mathcal {R}}(t,t')$ 의 유형 의존 관계 ${\mathcal {R}}(t,t')$ R ( ${\mathcal {R}}(t,t')$ , t ${\mathcal {R}}(t,t')$ ) { $displaystyle$ \ $mathcal {$ R $}$ $（ t$ , $t$ ; ） } 。

도시 거리 풍경 이미지의 경우 물체 유형에는 사람, 차량 및 건물이 포함됩니다.속성은 예를 들어 여성, 어린이, 모자를 쓰거나 무언가를 운반하는 사람, 이동, 주차, 정지, 타이어 1개 또는 타이어 2개 등 이러한 물체의 속성을 의미한다.각 개체 클래스 쌍 간의 관계는 "순서 지정" 또는 "순서 지정"될 수 있습니다.무질서한 관계에는 대화, 함께 걷기 등이 포함될 수 있으며, 무질서한 관계에는 키 큰 관계, 카메라에 가까운 관계, 닫힘 관계, 막힘 관계 등이 포함됩니다.

시각적 튜링 테스트에서 컨텍스트로 사용되는 샘플 영역입니다.왼쪽은 이미지의 1/8 크기의 영역을 나타내고 오른쪽은 이미지의 1/4 크기의 영역을 표시합니다.

또, 이 어휘는 모두, 화상중의 오브젝트의 국재화를 가능하게 하는, \in W 의 직사각형 화상 영역의 컨텍스트에서 사용된다.이러한 영역이 매우 많아 문제가 복잡해지기 때문에 이 테스트에서는 이미지의 1/16 크기, 이미지의 1/4 크기, 이미지의 1/2 크기 이상의 특정 스케일 영역만 사용합니다.

문의사항

질문 공간은 다음 4가지 유형의 질문으로 구성됩니다.

존재 여부 질문:존재 질문의 목적은 이미지에서 이전에 고유하게 식별되지 않은 새로운 개체를 찾는 것입니다.
이러한 형식은 다음과 같습니다.

Q_exist = '영역 w에서 A 속성을 부분적으로 볼 수 있는 t형 객체의 인스턴스가 이전에 인스턴스화되지 않았습니까?

고유성 질문: 고유성 질문은 개체를 고유하게 식별하여 인스턴스화하려고 합니다.

Q_uniq = '영역 w에서 A 속성을 부분적으로 볼 수 있는 t형 객체의 고유한 인스턴스가 이전에 인스턴스화되지 않았습니까?

존재에 대한 질문과 함께 고유성 질문이 인스턴스화 질문을 형성합니다.앞서 언급한 바와 같이 오브젝트를 인스턴스화하면 다른 흥미로운 질문으로 이어지며 결국 스토리 라인으로 이어집니다.고유성 질문은 존재에 대한 질문을 따르고 이에 대한 긍정적인 답변은 사물의 인스턴스화로 이어집니다.

속성 질문:속성 질문은 객체가 인스턴스화되면 객체에 대한 자세한 내용을 검색하려고 합니다.이러한 질문은 단일 Atribute, 2개의 Atribute의 결합 또는 2개의 Atribute의 분리에 대해 쿼리할 수 있습니다.

Q_att(o_t) = {'개체_t o에 a 속성이 있습니까_t?' , '개체₂ o에 a 속성이₁ 있습니까? , '개체 o에 a 속성이 있습니까? , '개체_t o에 a 속성이₁ 있습니까? , a 특성이₂ 있습니까?'}

관계 질문:여러 개체가 인스턴스화되면 관계 질문은 개체 쌍 간의 관계를 탐색합니다.

Q_rel(o_t,o_t') = '오브젝트_t o와 오브젝트_t' o의 관계가 있습니까?'

구현 상세

시각적 튜링 테스트의 핵심에서 언급한 바와 같이, 이전 k - 1 문제에 대한 정답이 주어졌을 때 k 문제에 대한 답을 예측할 수 없는 일련의 이진 질문을 생성하는 쿼리 생성기이다.이것은 재귀 프로세스입니다.질문과 그 정답의 이력을 지정하면 더 이상 예측할 수 없는 질문이 없기 때문에 쿼리 생성기가 중지되거나 예측할 수 없는 질문을 무작위로 선택하여 이력에 추가합니다.

앞에서 정의한 질문 공간은 질문의 흐름에 암묵적으로 제약을 가합니다.이를 보다 명확하게 하기 위해 속성 및 관계 질문은 인스턴스화 질문 앞에 있을 수 없습니다.오브젝트가 인스턴스화된 경우에만 오브젝트의 속성 및 이전에 인스턴스화된 다른 오브젝트와의 관계에 대해 쿼리할 수 있습니다.따라서 이력이 주어지면 그 뒤에 나올 수 있는 질문을 제한할 수 있습니다.이 일련의 질문을 후보 $Q_{\text{can}}$ 이라고 합니다. $Q$ can can \ $text { can$ } $Q_{\text{can}}$ 。

이 작업은 다음 섹션에서 설명하는 질문 흐름과 일치하도록 이러한 후보 질문에서 예측할 수 없는 질문을 선택하는 것입니다.이를 위해 후보 질문 중 모든 질문의 예측 불가능성을 찾습니다.

$(\$ $displaystyle$ H $)$ 를 $H$ 바이너리 랜덤 변수로 합니다. $H$ 서 $H(I)=1$ $($ $I$ ) $=$ 1(\ $displaystyle$ H $)$ 은 $H$ $이력$ H(\ $displaystyle$ H $H(I)=1$ 가 이미지 I(\ $displaystyle$ I $)$ 에 $I$ 유효하고 그렇지 않으면 0(\ $displaystyle$ 0 $)$ 에 $0$ 유효합니다. $q$ Q ( \ $display$ style q $q\in Q$ \ $in$ Q ) 、 $X_{q}$ q ( \ $display style$ X _ { $q$ $}$ )를 $X_{q}$ 질문의 $q$ 으로 합니다 $.$

그런 다음 이력 H에서 질문 q에 대한 답변_q X를 얻을 수 있는 조건부 확률을 구합니다.

P_{H}(X_{q}=x)=black {P\{I:H(I)=1,X_{q}(I)=x\}{P\{I:H(I)=1\}}}

이 확률을 고려할 때 예측 불가능성의 측정값은 다음과 같습니다.

\displaystyle \rho _{H}(q)=P_{H}(X_{Q}=1)-0.5 }

$\rho _{H}(q)$ ( $\rho _{H}(q)$ $){$ $displaystyle \rho$ _ { $H}$ ( $q)}$ 가 0에 $\rho _{H}(q)$ 가까울수록 질문은 예측할 수 없습니다. $\rho _{H}(q)$ § $\rho _{H}(q)$ ( $q$ ) \ $displaystyle$ \ $rho$ _ { H $（ q$ ）。 $\rho _{H}(q)<\epsilon$ ( $\rho _{H}(q)<\epsilon$ $\rho _{H}(q)<\epsilon$ ${\$ \ $displaystyle \rho$ _ { $H （ q$ ） ><\ $epsilon$ $\rho _{H}(q)<\epsilon$ 의 질문은 거의 예측할 수 없는 질문의 집합이며, 다음 질문은 이들 중에서 무작위로 선택됩니다.

질문 흐름

이전 섹션에서 설명한 바와 같이 질문 공간에는 여러 개체가 인스턴스화되면 속성 질문이 인스턴스화 질문 뒤에 오고 관계 질문이 속성 질문 뒤에 오는 암묵적인 순서가 있습니다.

따라서 쿼리 엔진은 루프 구조를 따릅니다.루프 구조에서는 먼저 오브젝트의 존재와 고유성에 대한 질문을 하고 그 Atribut에 대한 쿼리를 실행한 후 이전에 인스턴스화된 모든 오브젝트에 대한 관계 질문을 받습니다.

미리 보기 검색

속성 및 관계에 대한 흥미로운 질문은 인스턴스화 질문 다음에 나오는 것이 분명하므로 쿼리 생성기는 가능한 한 많은 개체를 인스턴스화하는 것을 목표로 합니다.

인스턴스화 질문은 존재와 고유성 질문으로 구성되지만, 긍정적인 반응을 얻으면 실제로 대상을 인스턴스화하는 것은 고유성 질문입니다.따라서 쿼리 생성기가 인스턴스화 질문을 무작위로 선택해야 하는 경우 예측 불가능한 고유성 질문을 선택하는 것이 좋습니다.이러한 질문이 존재하지 않는 경우, 쿼리 생성기는 장래에 높은 확률의 고유성 질문으로 이어질 수 있도록 존재 질문을 선택한다.따라서 쿼리 생성기는 이 경우 사전 검색을 수행합니다.

스토리라인

인간이 하는 것처럼 이미지를 이해할 수 있는 시스템을 구축하는 궁극적인 목표의 필수적인 부분은 스토리라인입니다.인간은 그들이 보는 이미지에서 이야기의 줄거리를 알아내려고 한다.쿼리 생성기는 질문 시퀀스의 연속성을 통해 이를 실현합니다.

즉, 개체가 인스턴스화되면 더 자세히 탐색하려고 시도합니다.그 속성과 다른 오브젝트와의 관계를 찾는 것 외에 현지화도 중요한 단계이다.따라서 쿼리 생성기는 다음 단계로 객체가 처음 식별된 영역에서 객체의 현지화를 시도하기 때문에 인스턴스화 질문 세트를 원래 영역 내의 영역으로 제한합니다.

단순성 선호

단순성 기본 설정은 쿼리 생성기가 더 복잡한 질문보다 더 간단한 질문을 선택해야 한다는 것입니다.간단한 질문은 속성이 적은 질문입니다.따라서 속성 수에 따라 질문 순서가 지정되며 쿼리 생성기는 더 간단한 질문을 선호합니다.

예측 가능성 추정

시퀀스에서 다음 질문을 선택하기 위해 VTT는 제안된 모든 질문의 예측 가능성을 추정해야 합니다.이 작업은 주석이 달린 이미지 교육 세트를 사용하여 수행됩니다.각 이미지에는 오브젝트 주위에 경계 상자에 주석이 붙어 Atribut으로 라벨이 붙여지고 오브젝트 쌍에는 관계가 라벨이 붙여집니다.
각 질문 유형을 개별적으로 고려하십시오.

인스턴스화에 관한 질문:인스턴스화 질문에 대한 조건부 확률 추정기는 다음과 같이 나타낼 수 있다.
${\displaystyle\widehat {P}}(X_{q}=1)=frac {#\{I\in T,H(I)=1,X_{q}(I)=1\}{\#\{I\in T,H(I)=1\}}}}$
이 질문은 분모가 80개 이상의 이미지일 경우에만 고려됩니다.H $H(I)=1$ ( $H(I)=1$ ) $=$ $H(I)=1$ (\ $displaystyle$ H $(I)=1$ }의 $H(I) = 1$ 조건은 매우 엄격하며 많은 수의 이미지에 대해 해당되지 않을 수 있습니다. 기록의 모든 질문에서 후보자의 약 절반이 제거되기 때문입니다(이 경우 이미지).그 결과, 이력이 배제되어 조건부 확률을 바꾸지 않을 가능성이 있는 문제가 배제된다.이력이 짧으면 확률 추정을 위해 더 많은 수의 이미지를 고려할 수 있습니다.
이력 플루닝은 다음 2단계로 이루어집니다.
- 첫 번째 단계에서는 객체의 존재와 인스턴스화가 속성이나 관계가 아닌 다른 객체에만 의존한다는 가정 하에 모든 속성 및 관계 질문을 제거합니다.또한 제안된 질문에서 언급되는 영역과 분리된 영역에 대한 모든 존재 질문은w\ $displaystyle$ w $}$ 위치에 $w$ 가 존재할 확률은 w $\displ$ 이외의 $w$ 에 물체의 유무에 따라 변경되지 않는다는 가정 하에 폐기됩니다. $aystyle$ w $w$ 그리고 마지막으로 제안된 질문에서 언급되는 지역에서 분리된 지역에 대한 부정적인 응답을 가진 모든 고유성 질문은 드롭될 경우 긍정적인 응답을 가진 고유성 질문이 미래의 인스턴스화 질문의 응답을 바꿀 수 있다는 가정 하에 드롭된다.이 첫 번째 프루닝 단계 이후에 얻은 질문의 이력은 $H_{q}'$ q ${\$ （ \ $displaystyle$ H _ { q $H_{q}'$ } $H_{q}'$ ）。
- 제2단계에서는 화상별 프루닝을 실시한다. $(\$ i $q_{i}$ })는 $H_{q}'$ $않고$ H(\ $displaystyle$ H_{q $H_{q}'$ 에 보존되어있는 H(\displaystyle $H_{$ q})의 $H$ 고유성 질문으로 $q_{i}$ .이 질문이 제안된 질문에서 참조되는 영역과 분리된 영역과 관련된 경우 이 질문에 대한 예상 답변은 wi입니다.1단계에서의 제약으로 인해 1 $displaystyle$ 1)이 됩니다.단, 트레이닝 이미지에 대한 이 질문에 대한 실제 $0$ 이 0 $(\displaystyle$ 0 $0$ 인 경우 해당 트레이닝 이미지는 확률 추정에 고려되지 않으며 $q_{i}$ i $(\$ }) $q_{i}$ 도 삭제됩니다.이후 질문의 최종 이력은 H ${\tilde {H}}(q,I)$ ~ ( ${\tilde {H}}(q,I)$ ${\tilde {H}}(q,I)$ ) { $displaystyle$ { $H}}$ (q ${\tilde {H}}(q,I)$ , ${\tilde {H}}(q,I)$ I ) ${\tilde {H}}(q,I)$ 은 다음과 같습니다.
  ${\displaystyle\widehat {P}}(X_{q}=1)=frac {#\{I\in T,{\tilde {H}}(q,I)=1,X_{q}(I)=1\}{\#\{I\in T,{\tilde {H}}}(q,I)=1\}}}}$
속성 질문:속성 질문의 확률 추정기는 인스턴스화 질문과는 달리 이미지보다는 레이블이 지정된 개체의 수에 따라 달라집니다.
. 특성 이미 알려진 한줄로 늘어선{A\displaystyle}세트 위에 깐다 t에 속하는 것을{\displaystyle o_{t}}이 되자 폼의 형식에선{\displaystyle지}의 OOOt{\displaystyle o_{t}}은 개체와 ∈ t{\displaystylea\in A_{t}특성 문제:'개쳄?attribute고 있습니다.',}를 생각해 보자.c역사의 유용성 ${\mathcal {O}}_{\mathbb {T} }$ T $(\$ { $T}}$ 을 $\mathcal{O}_\mathbb{T}$ (를) 트레이닝 세트 내의 모든 주석이 달린 오브젝트(그라운드 진리)의 집합으로 $o\in {\mathcal {O}}_{\mathbb {T} }$ 각 $o\in {\mathcal {O}}_{\mathbb {T} }$ T(\ $displaystyle o\$ in $\mathcal {O}}$ _{\ $mathbbb$ {T $o\in {\mathcal {O}}_{\mathbb {T} }$ 에 대해 $(\$ styledisplaystyle { $T})$ 를 표시합니다 $.$ ${\mathcal {A}}_{\mathbb {T} }(o)$ ) {\ $displaystyle {A}}_{\mathbb {T} （ o$ ）는 $\mathcal{A}_\mathbb{T}(o)$ o {\ $displaystyle$ o $o$ 에 $속하는$ 속성 세트입니다.그런 다음 추정기는 다음과 같이 제공됩니다.
$P(X_{q}=1}=mathcal {O}_{\mathbb {T}}:{\mathcal {T}}(o)=t,A\cup \{A\}\e {mathcal {A}}_mathbbb {T} {T$
이는 $o$ 기본적으로 속성 $A\cup \{a\}$ $A\cup \{a\}$ { $A\cup \{a\}$ { $displaystyle$ A \ $cup$ \ { a \ $A\cup \{a\}$ } { displaystylet $t$ } 의 $A\cup \{a\}$ $객체$ o 와 $속성$ A\ $displaystyle$ t 의 $t$ $o$ 가 발생한 $o$ 횟수의 $비율$ 입니다. $스타일$ A $}$ 은 $A$ (는) 교육 데이터에 있습니다.A $(\displaystyle$ A $)$ 의 $A$ 속성 수가 많으면 인스턴스화 질문과 유사한 희소성 문제가 발생합니다.이를 다루기 위해 속성을 $o_{t}$ 에 속하도록 $거의$ 독립적인 서브셋으로 $o_{t}$ 합니다 $.$ 예를 들어 t $=$ {\ $displaystyle$ $o_{t}$ t $명의$ $t={}$ $t={}$ , 길을 건너거나 가만히 서 있는 것과 같은 속성은 독립적이지 않지만 둘 다 성별과는 상당히 독립적입니다.그 사람이 아이인지 어른인지, 그리고 그들이 무언가를 가지고 있는지 아닌지에 대해서요.이러한 조건부 독립성은 $A$ 의 크기를 줄여 희소성 $문제$ 를 해결합니다 $A$
관계 질문:관계 질문에 대한 접근법은 속성 질문과 동일하며, 여기서 개체 수 대신 개체 쌍의 수를 고려하고 독립성 가정을 위해 관련 개체의 속성과 독립적인 관계와 서로 독립적인 관계가 포함된다.

예

자세한 예제 시퀀스는 ^[3]여기에서 확인할 수 있습니다.

데이터 세트

Geman ^[1]등의 작업을 위해 검토된 이미지는 'Urban street scenes'^[1] 데이터 세트이며, 이 데이터 세트에는 전 세계 여러 도시의 거리 장면이 포함되어 있습니다.이것이 이 실험을 위해 물체의 종류가 사람과 차량으로 제한되는 이유이다.

교육 데이터에서 본 Urban Street 장면 이미지.훈련 데이터는 세계 각지의 다른 도시의 장면과 함께 그러한 이미지를 모은 것입니다.

Max Planck Institute for Informatics가 선보인 또 다른 데이터 세트는 실내^[4]^[5] 장면의 실제 이미지를 가진 DAQUAR 데이터 세트입니다.그러나 그들은^[4] 전체적인 접근법을 취하고 참여 시스템이 인간과 같은 상식을 보여줄 것으로 기대하는 시각적인 튜링 테스트의 다른 버전을 제안한다.

작업자가 제공하는 교육 이미지의 주석 예

결론

이것은, 브라운 대학과 존스 홉킨스 대학의 연구자에 의해서, 2015년 3월 9일자 「국립 과학 아카데미 회보」에 게재된 매우 최근의 연구입니다.컴퓨터 비전 시스템이 이미지를 인간과 비교하여 어떻게 이해하는지를 평가합니다.현재 테스트는 작성되고 질문자는 기계로 되어 있는데, 이는 인간 심문자의 구두 평가가 인간에게는 주관적이라는 부당한 이점을 주고 실시간 답변을 기대하기 때문이다.

시각 튜링 테스트는 컴퓨터 비전 연구에 새로운 방향을 제시할 것으로 기대된다.구글과 페이스북과 같은 회사들은 컴퓨터 비전 연구에 수백만 달러를 투자하고 있으며, 인간의 시각 시스템과 매우 유사한 시스템을 구축하기 위해 노력하고 있다.최근 페이스북은 ^[6]시각장애인을 돕기 위해 이미지를 보고 그에 대한 설명을 제공하는 새로운 플랫폼 M을 발표했다.이러한 시스템은 VTT에서 잘 동작할 수 있습니다.

레퍼런스

^ ^a ^b ^c ^d Geman, Donald; Geman, Stuart; Hallonquist, Neil; Younes, Laurent (2015-03-24). "Visual Turing test for computer vision systems". Proceedings of the National Academy of Sciences. 112 (12): 3618–3623. Bibcode:2015PNAS..112.3618G. doi:10.1073/pnas.1422953112. ISSN 0027-8424. PMC 4378453. PMID 25755262.
^ "H3D". www.eecs.berkeley.edu. Retrieved 2015-11-19.
^ "Visual Turing Test Division of Applied Mathematics". www.brown.edu. Retrieved 2015-11-19.
^ ^a ^b "Max-Planck-Institut für Informatik: Visual Turing Challenge". www.mpi-inf.mpg.de. Retrieved 2015-11-19.
^ Malinowski, Mateusz; Fritz, Mario (2014-10-29). "Towards a Visual Turing Challenge". arXiv:1410.8027 [cs.AI].
^ Metz, Cade (27 October 2015). "Facebook's AI Can Caption Photos for the Blind on Its Own". WIRED. Retrieved 2015-11-19.

[:0-1] Geman, Donald; Geman, Stuart; Hallonquist, Neil; Younes, Laurent (2015-03-24). "Visual Turing test for computer vision systems". Proceedings of the National Academy of Sciences. 112 (12): 3618–3623. Bibcode:2015PNAS..112.3618G. doi:10.1073/pnas.1422953112. ISSN 0027-8424. PMC 4378453. PMID 25755262.

[2] "H3D". www.eecs.berkeley.edu. Retrieved 2015-11-19.

[3] "Visual Turing Test Division of Applied Mathematics". www.brown.edu. Retrieved 2015-11-19.

[:1-4] "Max-Planck-Institut für Informatik: Visual Turing Challenge". www.mpi-inf.mpg.de. Retrieved 2015-11-19.

[5] Malinowski, Mateusz; Fritz, Mario (2014-10-29). "Towards a Visual Turing Challenge". arXiv:1410.8027 [cs.AI].

[6] Metz, Cade (27 October 2015). "Facebook's AI Can Caption Photos for the Blind on Its Own". WIRED. Retrieved 2015-11-19.

[1]

[2]

[3]

[4]

[5]

[6]

Search