L1-norm 주성분 분석

다변량 자료 분석을 위해 L1-norm 주성분 분석(L1-PCA)는 일반적인 방법이다.[1]는 분석 데이터( 잘못된 값 또는 부정 부패)로 분리된 것들을 포함하는 L1-PCA 종종 표준 L2-norm 주성분 분석(PCA)에 대한 선호 되고 있다.[2][3][4]

둘 다 L1-PCA와 표준 PCA는 어디에 데이터 형태 선택한 기준에 따라 최대화된 부분 공간 정의하는 직교 방향(주추 요소)의 컬렉션을 모색하고 있다.[5][6][7]표준 PCA는 L2-norm은 데이터 포인트 돌출부 부분 공간, 또는 그들의subspace-projected 표현에서 원본점의 동등하게 총체적인 유클리드 거리에 집합체로 데이터 표현을 잰다.L1-PCA 대신 L1-norm은 데이터 포인트 돌출부 부분 공간에는 사용한다.[8]PCA와 L1-PCA에서 주요 부품 수를(PC)는 공간이 원래 데이터 포인트에 의해 정의한차원과 일치하는 분석한 매트릭스의 계급보다 낮다.따라서 PCA나 L1-PCA 일반적으로 데이터나 압축 denoising의 목적으로 차원수 절감을 위해 고용되어 있다.표준 PCA의 높은 인기에 기부한 장점으로는singular-value 분해(simultaneous)[9] 때는 데이터 집합 통계적 최적성의 방법으로 저렴한 계산 실행이 진정한 다변량 일반적인 데이터 소스에 의해 생성되고 있다.

하지만 현대 큰 데이터 세트에서, 데이터 종종, 결함 있는 포인트, 일반적으로 분리된 것들로 일컬어진다 손상된 포함한다.[10]표준 PCA에도 가공 데이터의 작은 일부로 보이게 분리된 것들에 민감한 것으로 알려져 있다.[11]그 이유는 L2-PCA 곳의 L2-norm 공식화 각 데이터 포인트의 각 좌표의 크기에, 궁극적으로 분리된 것들 같은 주변 포인트 overemphasizing 강조의 제곱은.반면에, L1-norm 공식화에 이어, L1-PCA 각 데이터 지점의 좌표에 효과적으로 분리된 것들을 제지하는 선형 중점을 둔다.[12]

공식화

)[x1x2,…,)N]∈ RD×N{\displaystyle \mathbf{X}=[\mathbf{x}_{1},\mathbf{x}_{2}{x},\mathbf ,\ldots_{N}]\in\mathbb{R}^{D\times N}}N{N\displaystyle}D의-dimensional 데이터 포인트{D\displaystyle}로 구성된 어떤 행렬 X를 생각해 보자.)r오빠 k(X){\displaystyle r=rank(\mathbf{X})}. r정의 위해 정수 K{K\displaystyle}1≤ K<>r{\displaystyle 1\leq K<, r}, L1-PCA[1]:공식화한 것.

${\displaystyle{\begin{정렬}&,{\underset{\mathbf{Q}=[\mathbf{q}_{1},\mathbf{q}_{2},\ldots ,\mathbf{q}_{K}]\in\mathbb{R}^{D\times K}}{\max}};{\text{대상}}~~\mathbf{Q}^{\top}\mathbf{Q}=\mathbf{나는}_{K}\mathbf{X}^{\top}\mathbf{Q})_{1}\\& ~~\.\end{정렬}}}$

(1)

K=1{K=1\displaystyle} 들어,(1)에 의해 X{\displaystyle \mathbf{X}의 L1-norm 주요 구성 요소로서(L1-PC)}를 찾기 위한 단순화된다.

${\displaystyle {\begin{aligned}&{\underset {\mathbf {q} \in \mathbb {R} ^{D\times 1}}{\max }}~~\ \mathbf {X} ^{\top }\mathbf {q} \ _{1}\\&{\text{subject to}}~~\ \mathbf {q} \ _{2}=1.\end{정렬}}}$

(2)

(1)-(2)에서 L1-norm ${\displaystyle \Vert }$ ‖ ${\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$ ${\$인수의 절대 항목 합계를 반환하고$$, L2-norm \$cdot \{$1}는 인수의 제곱 항목 합계를 반환한다$$.If one substitutes ${\displaystyle \ \cdot \ _{1}}$ in (2) by the Frobenius/L2-norm ${\displaystyle \ \cdot \ _{F}}$, then the problem becomes standard PCA and it is solved by the matrix ${\displaystyle \mathbf {Q} }$ that contains the ${\displaystyle K}$ dominant singular vectors of ${\displaystyle \mathbf{X}}$${\displaystyle \mathbf {X}$}($$$즉{\displaystyle }$, K ${\displaystyle K}$ 가장 높은$$ 단수 값에 해당하는 단수 벡터).

(2)의 최대화 메트릭은 다음과 같이 확장할 수 있다.

${\displaystyle \mathbf {X} ^{\top }\mathbf {Q} \{1}\{1}^\{1}\{1}{k=1}^{N} \mathbf {x} _{n}^{n}^{n}^{n}\mathb {q} _{k}}}.}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}.$

(3)

해결책

For any matrix ${\displaystyle \mathbf {A} \in \mathbb {R} ^{m\times n}}$ with ${\displaystyle m\geq n}$, define ${\displaystyle \Phi (\mathbf {A} )}$ as the nearest (in the L2-norm sense) matrix to ${\displaystyle \mathbf {A} }$ that has orthonormal columns.즉, 정의하라.

${\displaystyle{\begin{정렬}\Phi(\mathbf{A})=&,{\underset{\mathbf{Q}\in\mathbb{R}^{m\times의 스녀}}{\text{argmin}}}~~\\mathbf{A}-\mathbf{Q})_{F}\\&,{\text{대상}}~~\mathbf{Q}^{\top}\mathbf{Q}=\mathbf{나는}_{n}.\end{정렬}}}$

(4)

프로크루스테스 Theorem[13][14]주 A{\displaystyle \mathbf{A}}simultaneousUm×nΣ n×nVn× n⊤{\displaystyle \mathbf{U}_{m\times의 스녀}{\boldsymbol{\Sigma}이}}{V}_{n\times의 스녀}^{\top}_{n\times의 스녀}\mathbf,(A))UV{\displaystyle\Phi(\mathbf{A})=\mathbf{U}\mathbf{V}⊤ Φ.^{\top}}.

Markopoulos, Karystinos, Pados[1]는, 만약 BBNM{\displaystyle \mathbf{B}_{\text{B 보여 줬다이진nuclear-norm 극대화(BNM)문제에 NM}}}은 정확한 해결책이다.

${\displaystyle{\begin{정렬}{\underset{\mathbf{B}\in \{\pm 1\}^{N\times K}}{\text{맥스}}}~~\\mathbf{X}\mathbf{B})_{*}^{2},\end{정렬}}}.$

(5)

그리고나서

${\displaystyle{\begin{정렬}\mathbf{Q}_{\text{L1}}=\Phi(\mathbf{X}\mathbf{B}_{\text{B.NM}})\end{정렬}}}$

(6)

L1-PCA에(2)에 있는 정확한 해결책이다.(2)의nuclear-norm ‖ ⋅‖ ∗{\displaystyle\와 같이 \cdot\_{*}}와 표준 simultaneous을 통해 계산해야 그것의 매트릭스 인수의 특이한 값의 합을 반환합니다.게다가,, L1-PCA, QL1{\displaystyle \mathbf{Q}_{\text{L1}}에 대한 해결책}, BNM가 그 해결책이라고 얻을 수 있다.

${\displaystyle{\begin{정렬}\mathbf{B}_{\text{BNM}}={\text{sgn}}(\mathbf{X}^{\top}\mathbf{Q}_{\text{L1}})\end{정렬}}}.$

(7)

어디sgn(⋅){\displaystyle{\text{sgn}}(\cdot)}의 매트릭스 인수의{±1}{\displaystyle\와 같이{1\\pm}}-sign 행렬(일반성의 손실과, 우리가 반드시 고려해야 할 수 있sgn(0)=1{\displaystyle{\text{sgn}}(0)=1})을 반환합니다.‖ XBBNM ‖ ∗{\displaystyle)\mathbf{X}^{\top}\mathbf{Q}_{\text{L1}}\ _{1}=\ \mathbf{X}\mathbf{B}에 덧붙여,‖ X⊤ QL11)‖_{\text{B. 다음대척 적인 이진 변수를 NM}})_{*}}. BNM(5)에는 조합 문제이다.{\displaystyle 2^{NK}가능성의}요소, 점근 비용 O({\displaystyle{{O\mathcal}}(2^{NK})}. 따라서, L1-PCA 또한, BNM을 통해, 비용이 O형인(2NK)해결될 수 있{\displaystyle{\ma을 차리고 따라서, 그것의 정확한 해결책은 관련된 모든 2NK의 철저한 평가 통해 발견할 수 있다.Thcal{O}}(2^{NK})}(데이터 지점의 숫자의 상품에 대한 수요가 많은 요소의 수에 따라만, 역시).그것은 L1-PCA 최적(정확히)N{N\displaystyle}에 고정 데이터 차원 D{D\displaystyle}, O(NrK− K+1){\displaystyle{{O\mathcal}}(N^{rK-K+1})}.[1]을 다항의 복잡성으로 해결될 수 있다는 것이 밝혀져다.

$K{\displaystyle }$= ${\displaystyle 1}$ ${\displaystyle K=1}($$X{\displaystyle \mathbf{}}$ ${\$의 단일 L1-PC)의 경우,$$ BNM은 BQM(이항-Quaratic-maximization) 형식을 취한다.

${\displaystyle {\begin{aligned}&{\underset {\mathbf {b} \in \{\pm 1\}^{N\times 1}}{\text{max}}}~~\mathbf {b} ^{\top }\mathbf {X} ^{\top }\mathbf {X} \mathbf {b} .\end{aligned}}}$

(8)

The transition from (5) to (8) for ${\displaystyle K=1}$ holds true, since the unique singular value of ${\displaystyle \mathbf {X} \mathbf {b} }$ is equal to ${\displaystyle \ \mathbf {X} \mathbf {b} \ _{2}={\sqrt {\mathbf {b} ^{\top }\mathbf {X} ^{\top }\mathbf {X$$}$ ${\$}에 대해$$\$mathbf${b$\}\}\}\}\}.$ 그러면 $BNM {\displaystyle$\mathbf {$b} _{\text{B$인 경우${\displaystyle {\mathbf{}}_{}}$$NM}}$은(는) (7)의 BQM에 대한 솔루션으로$$, 다음과 같은 기능을 가지고 있다.

${\displaystyle {\begin{aigned}\mathbf {q} _{\text{L1}=\Phi(\mathbf {X}\mathbf {b} \mathbf {b} _{\text{B)NM}}}={\frac {\mathbf {X} \mathbf {b} _{\text{BNM}}{\ \mathbf {X} \mathbf {b} _{\text{BNM}\ _{2}}:\end{aigned}}}$

(9)

(1)에 정의된 $대로{\displaystyle \mathbf{}}$ X ${\$$}$의 정확한 L1-PC이다.또한 ${\displaystyle {\text{BNM}}_{}}$= ${\displaystyle \text{sgn}}$(${\displaystyle {\mathbf{}}^{}}$ ${\displaystyle {\mathrm{}}^{}}$ ${\displaystyle {}^{}{\mathbf{}}_{}}$ ${\displaystyle {\text{L1}}_{}}$) ${\displaystyle \mathbf {b} _{\text{B$를 보유한다.$NM}}={\text{sgn}}(\mathbf {X} ^{\top }\mathbf {q} _{\text{L1}})}$ and ${\displaystyle \ \mathbf {X} ^{\top }\mathbf {q} _{\text{L1}}\ _{1}=\ \mathbf {X} \mathbf {b} _{\text{B$$NM}\ _{2$

알고리즘

기하 급수적인 복잡성에 대한 정확한 해결책이다.

위와 같이 L1-PCA에 대한 정확한 용액은 다음과 같은 2단계 과정을 통해 얻을 수 있다.

1. (5)의 문제를 해결하여 $B{\displaystyle {\mathbf{}}_{}}$ ${\displaystyle {\text{BNM}}_{}}$ ${\$}$NM$ 2. X ${\displaystyle {\text{BNM}}_{}}$ ${\$에 SVD 적용$Q{\displaystyle {\mathbf{}}_{}}$ ${\displaystyle {\text{L1}}_{}}$ ${\$을$($를) 얻기 위한$$ $NM}}.$

BNM(5)에 있어 철저한 검색으로 B{\displaystyle \mathbf{B}의 영토}비용 O({\displaystyle{{O\mathcal}}(2^{NK})}에 해결될 수 있다.

다항의 복잡성에 대한 정확한 해결책이다.

때 r오빠 kr = 또한 L1-PCA 최적으로 비용 O({\displaystyle{{O\mathcal}}(N^{rK-K+1})}과(X){\displaystyle r=rank(\mathbf{X})}N{N\displaystyle}(항상 한정된 데이터 차원에 대한 진정한 D{\displaystyle D})[1][15]에 대하여 일정하다 해결될 수 있다.

근사적 효율적인 해결사들

2008년에, Kwak[12]L1-PCA의 K=1{K=1\displaystyle}에 대한 대략적인 해결책을. 이 반복 법 나중에 K>에 적용하기 위한, 1{\displaystyle K> 1}구성 요소가 반복적 알고리즘을 제안했다.[16]또 다른 대략적인 효율적인 solver 매코이와 Tropp[17]에 의해semi-definite 프로그래밍(SDP)의 수단에 의해 제시되었다.가장 최근에, L1-PCA(그리고 BNM에(5))효율적으로 bit-flipping 반복(L1-BF 알고리즘)의 수단에 의해 풀렸다.[8][18]

L1-BF 알고리즘

1기능 L1BF(X{\displaystyle \mathbf{X}}, K{\displaystyle K}):2이니셜 라이즈 B(0)∈{±1}N×K{\displaystyle \mathbf{B}^{(0)}\in \{\pm 1\}^{N\times K}}와 L← 3세트 t0{\displaystyle ←({\displaystyle{{나는\mathcal}}\leftarrow \{1,2,\ldots ,NK\}}.T\leftarrow 0}일 경우와ω ← ‖ XB(0)‖ ∗{\displaystyle \omega \leftarrow)\mathbf{X}\mathbf{B}^{(0)}\ _{*}}4까지 종료 5B← B(t){\displaystyle \mathbf{B}\leftarrow \mathbf{B}^{(t)}}(나 T{\displaystyle T}반복), 터 ′ ← t{\displaystyle t'\leftarrow지}.6x 들어∈ 나는{\displaystyle x\in{{나는\mathcal}}}7k← ⌈)N({\displaystyle k\leftarrow \lceil{\frac{)}{N}}\rceil}, n←)− N(k1−){\displaystyle n\leftarrow x-N(k-1)}8[B], k← −[B], km그리고 4.9초 만{\displaystyle[\mathbf{B}]_{n,k}\leftarrow--LSB- \math.Bf{B}]_{n,k}}// 플립 비트 9(n, km그리고 4.9초 만)← ‖ XB‖ ∗{\displaystyle a(n,k)\leftarrow)\mathbf{X}\mathbf{B})_{*}}을 끓연(n, km그리고 4.9초 만)을 simultaneous고 더 빠른(see[8])10으로 계산한;ω{\displaystyle a(n,k)>, \omega}11B(t)← B{\displaystyle \mathbf{B}^{(t).}\leftarr만약 L){1,2,…, NK}{\displaystyle{{나는\mathcal}}=\{1오({B}}, 터′←지+1{\displaystyle t'\leftarrow t+1}12ω ←(n, km그리고 4.9초 만){\displaystyle\omega \leftarrow a(n,k)}13끝 14만약 t′)t{\displaystyle t'=t}을 끓여가 없비트 15을 튕겨 있었다.,2,\ldots ,NK\}}16종료되는 17 다른 18L←({\displaystyle{{나는\mathcal}}\leftarrow \{1,2,\ldots ,NK\}}.

L1-BF의 계산비용은 $O{\displaystyle \mathcal{}(\mathrm{ND}}$ ${\displaystyle m}$ ${\displaystyle i}$ ${\displaystyle n,}$ ${\displaystyle D}$}${\displaystyle }$+ ${\displaystyle {}^{}}$ 2 ${\displaystyle K}$ ${\displaystyle {2\mathrm{}}^{}}$( ${\displaystyle {K\mathrm{}}^{}}$ 2${\displaystyle {}^{}}$+ r $){\displaystyle {\mathcal$ {$O}}(NDMIN\{N,D\}}+N^{2$)이다.$}}K^{2}(K^{2}+r)}}$^[8].

복잡한 데이터

L1-PCA도 복잡한 데이터를 처리하기 위해 일반화되었다.복합 L1-PCA의 경우 2018년에 두 가지 효율적인 알고리즘이 제안되었다.^[19]

텐서 데이터

또한 L1-PCA는 표준 터커 분해와 유사한 L1-규범 강건한 L1-터커의 형태로 텐서 데이터 분석을 위해 확장되었다.^[20]L1-터커 솔루션 알고리즘은 L1-HOSVD와 L1-HUI이다.^[20][21][22]

코드

L1-PCA용 MATLAB 코드는 MathWorks^[23] 및 기타 리포지토리에서 사용할 수 있다.^[18]

참조