매트릭스 정규화

통계학습이론 분야에서 매트릭스 정규화는 학습할 대상이 매트릭스인 경우에 벡터 정규화의 개념을 일반화한다.정규화의 목적은 안정적인 예측 기능을 생산할 수 있는 조건(예: 첨사성이나 평활성)을 강제하는 것이다.예를 들어, 보다 일반적인 벡터 프레임워크에서는 Tikhonov 정규화가 최적화된다.

${\displaystyle \min _{x}\ Ax-y\ ^{2}+\lambda \x\ ^{2}}:$

회귀 문제에 대한 안정적인 해결책인$$ $벡터{\displaystyle }$ x ${\displaystyle$ x$}$을(를) 찾으십시오.시스템을 벡터가 아닌 매트릭스로 설명할 때, 이 문제는 다음과 같이 쓸 수 있다.

${\displaystyle \min _{X}\ AX-Y\ ^{2}+\lambda \ X\ ^2},}$

$여기$서 x ${\displaystyle x}$에 대한 정규화 페널티를 적용하는 벡터 $규범이{\displaystyle }$ X$${\$displaystyle X}$의 행렬 규범까지 확장되었다$.$

매트릭스 정규화에는 매트릭스 완료, 다변량 회귀 분석, 다중 작업 학습에 응용이 있다.특징과 그룹선택에 대한 아이디어도 행렬로 확장될 수 있으며, 이는 다중 커널학습의 비모수적 사례로 일반화할 수 있다.

기본정의

Consider a matrix ${\displaystyle W}$ to be learned from a set of examples, ${\displaystyle S=(X_{i}^{t},y_{i}^{t})}$, where ${\displaystyle i}$ goes from ${\displaystyle 1}$ to ${\displaystyle n}$, and ${\displaystyle t}$ goes from ${\displaystyle 1}$ to ${\displaystyle T}$${\displaystyle T}$. Let each input matrix ${\displaystyle X_{i}}$ be ${\displaystyle \in \mathbb {R} ^{DT}}$, and let ${\displaystyle W}$ be of size ${\displaystyle D\times T}$. A general model for the output ${\displaystyle y}$ can be posed as

${\displaystyle y_{i}^{t}=\langle W,X_{i}^{t}\rangele _{F}}}$

여기서 내적인 제품은 프로베니우스 내적인 제품이다.다른 애플리케이션의 경우 행렬 ${\displaystyle X_{}}$ i ${\$은(는) 다른 형태를 가지지만$$,^[1] 이들 각각에 대해 $W{\displaystyle }$ ${\displaystyle W}$을(를) 추론하는 최적화 문제는 다음과 같이 기록될 수 있다$$.

${\displaystyle \min _{W\in {\mathcal {H}E(W)+R(W),}$

여기서 $E{\displaystyle }$ ${\displaystyle E}$은(는$)$ 주어진 W {\$displaystyle W}$에 대한 경험적 오류를 정의하며$,$ $R{\displaystyle (W)}$ ${\displaystyle R(W)}$은 매트릭스 정규화 벌칙이다.$){\displaystyle R(W)}$ 함수는 일반적으로 볼록한 것으로 선택되며$$ 첨사성($\ell {\displaystyle {}^{}}$ ${\displaystyle {1\mathrm{}}^{}}$ ${\$-orms$$ 사용) 및/또는 평활성( ${\displaystyle {2\mathrm{}}^{}}$ 2$${\$displaystyle \{2}}$ -norms$$ 사용)을 시행하기 위해 종종 선택된다.마지막으로, $W{\displaystyle }$ ${\displaystyle W$}은$$(는) $행렬{\displaystyle \mathcal{}}$ H$${\$displaystyle${\$mathcal{H}$의 공간에 있고$$, 프로베니우스 내제품은${\displaystyle {}_{}}$ ${\displaystyle F_{}}$ ${\$ \$dotsrangle _{F$

일반 응용 프로그램

매트릭스 완료

매트릭스 완료 문제에서는 $매트릭스{\displaystyle {}_{}^{}}$ X i ${\displaystyle {}_{}^{}}$ ${\$ 행렬이 ${\displaystyle {형태}_{}^{}}$를 취한다$$.

${\displaystyle X_{i}^{t}=e_{t}\otimes e_{i}},}$

where ${\displaystyle (e_{t})_{t}}$ and ${\displaystyle (e_{i}')_{i}}$ are the canonical basis in ${\displaystyle \mathbb {R} ^{T}}$ and ${\displaystyle \mathbb {R} ^{D}}$. In this case the role of the Frobenius inner product is to select individual elements ${\displaystyle w_i^{}}$${\displaystyle {}_t^{}}$ ${\$$}$ 행렬 $W{\displaystyle }$ ${\displaystyle$W}에서$$t ${\displaystyle y}$을$($를) $추출$하면 행렬$$ $W{\displaystyle }$ ${\displaystyle W$의 항목이 샘플링된다.

소량 샘플링된 항목 $집합$에서$$W {\$displaystyle W}$을 재구성하는 문제는 매트릭스에 대한 특정 제한사항에서만 가능하며, 이러한 제한사항은 정규화 함수에 의해 시행될 수 있다.예를 들어, $W{\displaystyle }$ ${\displaystyle W}$이(가) 낮은 등급이라고 가정할 수 있으며, 이 경우 정규화 벌칙은 핵 규범의 형태를 취할 수 있다.^[2]

$\displaystyle R(W)=\lambda \\W\{*}=\lambda \sum \sigma _{i},}$

$여기$서 1 ${\displaystyle$ 1$}$에서 최소$$$$ ${\displaystyle D}$까지${\displaystyle }$i ${\displaystyle$ i$}$을$($를) $사용$하는 ${\displaystyle \mathrm{with}}$ ${\displaystyle i_{}}$ ${\displaystyle \min D,T}$은$($는) $W{\displaystyle }$ ${\displaystyle W}$의 단수 값이다$.$

다변량 회귀 분석

다변량 회귀 분석에 사용되는 모형은 계수 행렬에 의해 모수화된다.위의 프로베니우스 내부 제품에서 각 매트릭스 $X{\displaystyle }$ ${\displaystyle$ X$}$은(는$$)

${\displaystyle X_{i}^{t}=e_{t}\times x_{i}\,}$

내부 제품의 출력이 계수 행렬의 한 열이 있는 입력의 한 행의 도트 곱인 경우.그러한 모델의 익숙한 형태는

$[\displaystyle Y=XW+b\,}$

단일 변수 회귀 분석에서 사용되는 벡터 규범의 대부분은 다변량 사례로 확장될 수 있다.$\ell {\displaystyle {}^{}}$ ${\displaystyle {2\mathrm{}}^{}}$ ${\$}} - 입력 방법 또는 행렬의 단수 값에 작용하는 norm$$ 2 {\displaystyle \ell $^{$2}} -노orm로 볼 수 있는 프로베니우스 표준 제곱을 예로 들 수 있다.

${\displaystyle R(W)=\lambda \W\{F}^{2}=\lambda \sum w_{ij}^{2}=\lambda \operatorname {Tr}(W^{*}W)=\lambda \sigma \sigma _{{{{{{{{i}^{}.}$

다변량 사례에서 프로베니우스 규범과의 정규화의 효과는 벡터 케이스와 같다; 매우 복잡한 모델은 더 큰 규범을 가질 것이고, 따라서 더 많은 불이익을 받을 것이다.

멀티 태스킹 학습

다중 작업 학습에 대한 설정은 다변량 회귀 분석에 대한 설정과 거의 동일하다.일차적인 차이는 입력 변수 또한 작업($Y{\displaystyle }$ ${\displaystyle Y}$의 열)에 의해 인덱싱된다는 것이다.$$프로베니우스 내제품으로 표현하면 그때가 된다.

${\displaystyle X_{i}^{t}=e_{t}\times x_{i}^{t}.}$

이 설정에서 매트릭스 정규화의 역할은 다변량 회귀 분석에서와 동일할 수 있지만 매트릭스 규범도 학습 문제를 과제에 걸쳐 결합하는 데 사용될 수 있다.특히 최적화 문제의 경우

${\displaystyle \min _{W}\ XW-Y\ _{2}^{2}+\lambda \ W\ _{2}^{2}}$

$Y{\displaystyle }$ ${\displaystyle Y}$의 각 열에 해당하는 용액은 분리된다$$.즉, 공동 문제를 해결하거나 각 열에 대해 격리된 회귀 문제를 해결함으로써 동일한 해결책을 찾을 수 있다.해결책의 공분산성에 대한 정규화 페널티를 추가함으로써 문제를 결합할 수 있다.

${\displaystyle \min _{W,\Oomega }\XW-Y\ _{2}+\lambda _{1}\lambda _{1}^{2}+\lambda _{2}\operatorname {T}(W^{T}\Oomega^{-1}W)}$

여기서 $\Omega {\displaystyle \mathrm{}}$ ${\displaystyle \Oomega}$은(는) 작업 간의 관계를 모델링한다$$.이 계획 둘 다면서 업무 사이 관계는 그래프 위에 눕는 것으로 알려져 W{W\displaystyle}과Ω의 최적화 사이에{\displaystyle \Omega}.[3]교대로 업무 유사성의 특정 구조를 배우기 해결책의 작업을 가로질러 유사성을 시행하기 위해, 그래프의Laplacian 행렬이 우리가 그렇게 될 수 있어 사용될 수 있다.교육학습 문제를 결합하는 것.

스펙트럼 정규화

스펙트럼 필터링에 의한 정규화는 잘못된 코의 매트릭스 반전을 다루어 위에서 논의한 것과 같은 문제에 대한 안정적인 해결책을 찾는 데 이용되었다(예: Tikhonov 정규화를 위한 필터 함수 참조).많은 경우에 정규화 함수는 입력(또는 커널)에 작용하여 작은 단수 값을 제거함으로써 경계 역치를 보장하지만, 학습해야 할 행렬에 작용하는 스펙트럼 규범을 갖는 것도 유용할 수 있다.

행렬의 단수 값에 작용하는 행렬 규범이 여럿 있다.자주 사용되는 예로는 Shatten p-norms가 있으며 p = 1 또는 2가 있다.예를 들어, 핵 규범이라고도 불리는 섀튼 1-규격을 사용한 매트릭스 정규화는 매트릭스의 스펙트럼에서 첨사성을 시행하는 데 사용될 수 있다.이는 문제의 행렬이 제한된 순위를 갖는 것으로 여겨질 때 행렬 완료의 맥락에서 사용되어 왔다.^[2]이 경우 최적화 문제는 다음과 같이 된다.

${\displaystyle 최소}$ ${\displaystyle \Vert }$ ${\displaystyle W}$ ${\displaystyle {\ast }_{}}$ ${\$의 대상, W ${\displaystyle {i,}_{}}$ ${\displaystyle j_{}}$ =${\displaystyle {}_{}}$Y ${\displaystyle i_{}}$ ${\displaystyle j_{}}$ ${\displaystyle W_{i,j}=$$Y_{ij}}$

스펙트럼 정규화는 다변량 회귀 분석에서 감소된 순위 계수 행렬을 시행하는 데도 사용된다.^[4]이 설정에서 감소된 순위 계수 행렬은 $상위{\displaystyle }$ n ${\displaystyle n}$개의$$ 단수 값만 유지하면 찾을 수 있지만, 이는 축소된 단수 값과 벡터 집합을 유지하도록 확장될 수 있다.

구조화된 첨탑성

희소성 최적화는 소수의 변수에 의존하는 해결책을 찾는 방법으로서 많은 연구 관심의 초점이 되었다(예: 라소 방법 참조).원칙적으로 엔트리 와이즈 스페어리티는 매트릭스의 엔트리 와이즈 ${\displaystyle {0\mathrm{}}^{}}$ 0${\$^{$0}$ -노멀을$$ 벌칙하여 시행할 수 있으나, but ${\$ -노멀은$$ 볼록하지 않다.실제로 $\ell {\displaystyle {}^{}}$ ${\displaystyle {1\mathrm{}}^{}}$ ${\$-norm까지$$ 볼록한 이완을 통해 이를 구현할 수 있다.$\ell {\displaystyle {}^{}}$ ${\displaystyle {1\mathrm{}}^{}}$ ${\$-norm은$$ 0이 아닌 소수의 원소를 가진 솔루션을 찾지만, ${\displaystyle {\ell \mathrm{}}^{}}$ 1 ${\$-norm을$$ 다른 변수 그룹에 적용하면 솔루션의 첨예함에 구조를 강제할 수 있다.^[5]

구조화된 첨탑성의 가장 간단한 예는 p${\displaystyle }$= ${\displaystyle 2}$ ${\displaystyle p=$$2$} 및$q$ = 1 {\$displaystyle q=1}$인 $\ell {\displaystyle {}_{}}$ ${\displaystyle p_{}}$ ,$$$q{\displaystyle }$ ${p$$,$$q}$ 규격을$$ 사용한다$.$

${\displaystyle \ W\ _{2,1}=\sum \ w_{i}\ _{2}.}$

예를 들어, ${\displaystyle {\ell \mathrm{}}_{}}$ 2,${\displaystyle 1_{}}$ ${\$ 표준은$$ 여러 과제에서 피쳐를 그룹화하는 다중 작업 학습에 사용되며, 계수 행렬의 주어진 행에 있는 모든 원소를 그룹으로 0으로 강제할 수 있다.^[6]그룹화 효과는 각 행의 $\ell {\displaystyle {}^{}}$ ${\displaystyle {2\mathrm{}}^{}}$ ${\$ ^{2$}}-$norm을$$ 취한 후, 이러한 행-현행 규범의 합으로 총 벌점을 취함으로써 달성된다.이 정규화는 모든 0 또는 밀도가 되는 경향이 있는 행으로 귀결된다.${\displaystyle {각\mathrm{}}^{}}$ 열의 ization$$2{\$displaystyle$\ell ^{2}}$$- 보통을$$ 취함으로써 기둥-현상적으로 첨사성을 집행하는 데 동일한 유형의 정규화를 사용할 수 있다.

보다 일반적으로 ${\displaystyle {\mathrm{the}}_{}}$ ${\displaystyle {2\mathrm{}}_{}}$,${\displaystyle {}_{}}$1 ${\$,1}$표준을$임의의$$ 변수 그룹에 적용할 수 있다.

${\displaystyle R(W)=\lambda \sum \{g}^{G}{\sqrt {\\sum}{j}^{g}} w_{g}}{{g}}}} w_{g}}}}}}}\lambda \sum \{g}}$

여기서 색인 $g{\displaystyle }$ ${\displaystyle g}$이(가) 변수 그룹에 걸쳐 있고$$, ${\displaystyle G{}_{}}$ ${\displaystyle g_{}}$ $displaystyle G_{g}$는 $그룹{\displaystyle }$ g ${\displaystyle g}$의 카디널리티를 나타낸다$$$.$

이러한 그룹 첨사성 문제를 해결하기 위한 알고리즘은 예를 들어, 겹치는 그룹을 허용함으로써 더 잘 알려진 라소와 그룹 라소 방법을 확장하며, 일치하는 추적:^[7] 및 근위부 그라데이션 방법을 통해 구현되었다.^[8]주어진 계수에 대한 근위부 그라데이션 w ${\displaystyle {}_{}^{}}$ ${\$이 표준이 그룹화 소프트 임계값을^[1] 강제하는 것을 볼 수 있다.

${\displaystyle \operatorname {prox} _{\lambda ,R_{g}}(w_{g})^{i}=\left(w_{g}^{i}-\frac {w_{g}}^{i}}{{n1}\{g}\{g}\mathbf {1}{1} _{\w_{g}\\{g}\\g}\{g}\g}\gq\eq\}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}$

여기서 $1{\displaystyle {\mathbf{}}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle {{}_{}}_{}}$ ${\displaystyle {g_{}{}_{}\lambda }_{}}$ ${\displaystyle {{\lambda }_{}}_{}}${ {\$displaystyle \mathbf {$1$} _{\$w_${g}\{g$}\{$g}\$$g$}\$geq \lambda}}}}$은 그룹$$ 규범에 대한 지표 ${\displaystyle \mathrm{함수}}$다$.$

따라서 $\ell {\displaystyle {}_{}}$ ${\displaystyle {2\mathrm{}}_{}}$,${\displaystyle 1_{}}$ ${\$ 규범을$$ 사용하면 행렬의 첨탑성에 행, 열 또는 임의 블록에 구조를 적용하는 것이 간단하다.예를 들어, 다변량 또는 다중 작업 회귀 분석의 블록에 그룹 규범을 적용함으로써 출력 변수의 정의된 하위 집합(매트릭스 $Y{\displaystyle }$ ${\displaystyle Y}$의 컬럼$)$이 동일한 희박한 입력 변수 집합에 의존하는 입력 및 출력 변수 그룹을 찾을 수 있다.

다중 커널 선택

구조화된 첨탑성과 특징 선택에 대한 아이디어는 다중 커널 학습의 비모수적 사례로 확장될 수 있다.^[9]이것은 각각의 적절한 커널이 서로 다른 여러 유형의 입력 데이터(예: 색상 및 텍스처)가 있거나 적절한 커널을 알 수 없는 경우에 유용할 수 있다.예를 들어 기능 $맵{\displaystyle }$ A ${\displaystyle A}$ $및{\displaystyle }$ B$$ ${\displaystyle B}$이(가) 있는 경우 해당 재생성 커널 Hilbert ${\displaystyle {공간\mathcal{}}_{}}$ H${\displaystyle {}_{}A{\mathcal{}}_{}}$ , ${\displaystyle {H\mathcal{}}_{}}$ B$${\$displaystyle${\$mathcal {H_{{}$에 있는 커널이 두 개 있을 경우$A},{\mathcal{H_{B$ 그러면 더 큰 $공간$인 ${\displaystyle {H\mathcal{}}_{}}$ D ${\$을$($를) 두 공간의 합으로 생성할 수 있다.

${\displaystyle {\mathcal {H_{D}}:f=h+h';h\in {\mathcal {H_{{A}},h'\in {\mathcal{H_{B}}}}}$

$A{\displaystyle }$ ${\displaystyle A}$ $및$ B ${\displaystyle B}$에서 선형 독립성을 가정한다$.$ 이 경우 $\ell {\displaystyle {}_{}}$ ${\displaystyle {2\mathrm{}}_{}}$,${\displaystyle 1_{}}$ ${\$-norm은$$ 다시 표준의 합이다.

${\displaystyle \ f\ _{\mathcal {H_{D}},1}=\h\{\mathcal {H_{A}}+\h'\{\mathcal {H_{B}}}}}}}}}$

따라서 행렬 정규화 함수를 이런 종류의 규범으로 선택함으로써, 어떤 커널이 사용되는지 면에서는 희박하지만, 각각의 사용된 커널의 계수에 밀도가 높은 솔루션을 찾을 수 있다.다중 커널 학습은 비선형 변수 선택의 한 형태 또는 모델 집적 기법으로도 사용될 수 있다(예를 들어, 제곱된 규범과 이완된 첨사성 제약의 합을 취함).예를 들어 각 커널은 폭이 다른 가우스 커널로 간주할 수 있다.

참고 항목

• 정규화(수학)

참조