유사성 학습

유사성 학습은 인공지능에서 기계 학습을 감독하는 영역이다. 회귀와 분류와 밀접한 관련이 있지만, 두 물체가 얼마나 비슷하거나 관련이 있는지를 측정하는 유사함수를 배우는 것이 목표다. 순위, 추천 시스템, 시각적 아이덴티티 추적, 얼굴 확인, 스피커 검증 등에서 응용이 가능하다.

학습 설정

유사성 및 미터법 거리 학습을 위한 4가지 공통 설정이 있다.

회귀 유사성 학습

In this setup, pairs of objects are given ${\displaystyle (x_{i}^{1},x_{i}^{2})}$ together with a measure of their similarity ${\displaystyle y_{i}\in R}$. The goal is to learn a function that approximates ${\displaystyle f(x_{i}^{1},x_{i}^{2})\sim$새로 라벨이 붙은 트리플트 예시$({\displaystyle {}_{}^{}}$ ${\displaystyle i_{}^{}}$ 1,${\displaystyle {}_{}^{}{}_{}^{}}$ ${\displaystyle {\mathrm{}}_{}^{}}$ 2${\displaystyle {}_{}^{}}$, ${\displaystyle y_{}}$ i${\displaystyle {}_{}}$) ${\displaystyle (x_{i}^{1},x_{i}^{2},y_{i$에 대해$$ $y_{i}}}}.$ 이는 일반적으로 정규화된 손실 ${\displaystyle \underset{}{최소}}$ ${\displaystyle \underset{}{W}}$ ${\displaystyle \underset{}{}\underset{}{}}$ ${\displaystyle \underset{}{i}}$ ${\displaystyle o}$ s ${\displaystyle ({}_{}^{}}$; x ${\displaystyle i_{}^{}}$ ${\displaystyle {\mathrm{}}_{}^{}}$,${\displaystyle {}_{}^{}}$x ${\displaystyle {\mathrm{}}_{}^{}}$ 2${\displaystyle {}_{}^{}}$, ${\displaystyle y_{}}$)${\displaystyle }$+ ${\displaystyle r}$ e${\displaystyle g}$ ( ${\displaystyle w}$) ${\displaystyle \min _{W}\sum _{i}^{i}^{1},x_{i}^{2},y_{i}+reg(w$을 최소화함으로써 달성된다.

분류 유사성 학습

Given are pairs of similar objects ${\displaystyle (x_{i},x_{i}^{+})}$ and non similar objects ${\displaystyle (x_{i},x_{i}^{-})}$. An equivalent formulation is that every pair ${\displaystyle (x_{i}^{1},x_{i}^{2})}$ is given together with a binary l$\{0,$ ${\displaystyle \}}$ ${\displaystyle y_{i}\in$ \{0,1\} 두 개체가 비슷한지 여부를 결정하는 $아벨$ ${\displaystyle y_{}\in \{}$0,$1\}$ 목표는 새로운 개체 쌍의 유사 여부를 결정할 수 있는 분류자를 다시 배우는 것이다.

순위 유사성 학습

Given are triplets of objects ${\displaystyle (x_{i},x_{i}^{+},x_{i}^{-})}$ whose relative similarity obey a predefined order: ${\displaystyle x_{i}}$ is known to be more similar to ${\displaystyle x_{i}^{+}}$ than to ${\displaystyle x_{i}^{-}}$. The goal는 물체의 새로운 트리플릿$({\displaystyle x,}$ ${\displaystyle {}^{}}$ ${\displaystyle {+,}^{}}$x${\displaystyle {}^{}}$-${\displaystyle {}^{}}$)에 대해 f$(x,$ x$^{+},x^{-})$에 대해$$f x^{-}) > x -$){\displaysty f(x,x^{-}){-}($x$,$x^-})를 준수하는 함수$$ $f$를 익히는 것이다$.$ 이 설정은 유사성의 정확한 척도를 제공하는 대신 상대적인 유사성 순서만 제공하면 되기 때문에 회귀 분석에서보다 더 약한 감독 형태를 가정한다. 이 때문에 순위에 따른 유사성 학습은 실제 대규모 애플리케이션에 적용하기가 더 쉽다.^[1]

지역감응 해싱(LSH)^[2]

해시는 유사한 항목이 높은 확률의 메모리에 있는 동일한 "버킷"과 매핑되도록 항목을 입력한다(가능한 입력 항목의 우주보다 버킷 수가 훨씬 작음). 그것은 종종 이미지 데이터베이스, 문서 모음, 시계열 데이터베이스, 게놈 데이터베이스와 같은 대규모 고차원 데이터에서 가장 가까운 이웃 검색에 적용된다.^[3]

유사성을 배우기 위한 일반적인 접근법은 유사함수를 이선형 형태로 모델링하는 것이다. 예를 들어 유사성 학습의 순위 매트릭스 ${\displaystyle W_{}}$의 경우 유사성 함수 $f{\displaystyle {}_{}}$( x${\displaystyle }$, ${\displaystyle z}$)${\displaystyle }$= x ${\displaystyle T^{}}$ ${\displaystyle w}$ z ${\displaystyle f_{W}(x,z)=x^{T}Wz$ 데이터가 풍부할 때 공통 접근방식은 매개변수 공유가 있는 siames network - A 딥 network model을 학습하는 것이다.

미터법 학습

유사성 학습은 거리 측정법 학습과 밀접한 관련이 있다. 미터법 학습은 물체에 대한 거리 함수를 배우는 작업이다. 미터법이나 거리 함수는 네 가지 공리, 즉 비부정성, 불분명한 것의 정체성, 대칭성과 하위성(또는 삼각형 불평등)을 준수해야 한다. 실제로 미터법 학습 알고리즘은 불분명한 것의 정체성의 조건을 무시하고 사이비-메트릭을 학습한다.

객체 $x{\displaystyle {}_{}}$ ${\displaystyle i_{}}${\$displaystyle$ $x_{i}}$이($)$ R d {\$dd}$의 벡터인 경우$,$ 대칭 양의 반정확한 $원뿔{\displaystyle {}_{}^{}}$ ${\displaystyle {}_{}^{}}$+ d ${\$에 있는 모든 $행렬{\displaystyle }$ W$${\$displaystystyle W}$이 $D{\displaystyle {}_{}}$ ${\displaystyle W_{}{}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$, ${\displaystyle {2\mathrm{}}^{}}$ )를 통해 x 2${\displaystyle {}_{}{}^{}}$의 공간의 거리 유사 측정값을 정의한다$$.${\displaystyle D_{W}(x_{1},x_{2})^{2}=(x_{1}-x_{2})^{\top }W(x_{1}-x_{2})}$. When ${\displaystyle W}$ is a symmetric positive definite matrix, ${\displaystyle D_{W}}$ is a metric. Moreover, as any symmetric positive semi-definite matrix ${\displaystyle W\in S_{+}^{d}}$ can be decomposed as ${\displaystyle W=L^{\top }L}$ where ${\displaystyle L\in R^{e\times d}}$ and ${\displaystyle e\geq rank(W)}$, the distance function ${\d$$isplaystyle D_{W}}$ can be rewritten equivalently ${\displaystyle D_{W}(x_{1},x_{2})^{2}=(x_{1}-x_{2})^{\top }L^{\top }L(x_{1}-x_{2})=\ L(x_{1}-x_{2})\ _{2}^{2}}$. The distance ${\displaystyle D_{W}(x_{1},x_{2})^{2}=\ x_{1}'-x_{2}'\ _{2}^{2}}$ corresponds to the Euclidean distance between the transformed feature vectors ${\displaystyle x_{1}'=Lx_{1}}$ and ${\displaystyle x_{2$$}}'=Lx_{2$

미터법 학습을 위한 많은 공식들이 제안되었다.^[4][5] 미터법 학습에 대해 잘 알려진 접근법으로는 트리플트 손실에 기초한 상대적 비교로부터^[6] 학습, 가장 가까운 이웃의 큰 여유,^[7] 정보 이론적 미터법 학습(ITML)이 있다.^[8]

통계에서 데이터의 공분산 행렬은 마할라노비스 거리라는 거리 메트릭을 정의하는 데 사용되기도 한다.

적용들

유사성 학습은 서열을 배우는 정보 검색, 얼굴 확인 또는 얼굴 식별,^[9][10] 추천 시스템에 사용된다. 또한, 많은 기계 학습 접근법은 일부 지표에 의존한다. 이것은 가까이 있거나 유사한 대상을 함께 그룹화하는 클러스터링과 같은 감독되지 않은 학습을 포함한다. 또한 새로운 물체의 라벨을 결정하기 위해 인근 물체의 라벨에 의존하는 K-가장 가까운 이웃 알고리즘과 같은 감독적 접근방식을 포함한다. 미터법 학습은 이러한 접근법들 중 많은 것에 대한 사전 처리 단계로 제안되어 왔다.^[11]

확장성

학습된 메트릭이 ${\displaystyle F_{}}$ W(${\displaystyle {}_{}x}$, z${\displaystyle }$)${\displaystyle }$= x ${\displaystyle {}^{}}$ ${\displaystyle z}$ ${\displaystyle f_{W}(x,z)=x^{T}Wz}$일 때 쉽게 알 수 있듯이 메트릭과 유사성 학습은 입력 공간의 차원에 따라 2차적으로 확장된다$.$ 더 높은 차원으로 확장하려면 wi와 같이 매트릭스 모델 위에 sparsity 구조를 적용하면 된다.HDSL,^[12] 그리고 혜성과 함께.^[13]

참고 항목

• 커널법
• 순위 매기기
• 잠재 의미 분석

추가 읽기

이 주제에 대한 자세한 내용은 Bellet 등 및 Kulis의 메트릭 및 유사성 학습에 대한 설문조사를 참조하십시오.^[4][5]

참조