특이값 분해

선형 대수학에서, 특이값 분해(SVD)는 실수 행렬 또는 복소 행렬의 인수분해이다.$m{\displaystyle }$×$$ \ $displaystyle$m \ $times$ n$$} 행렬에$$ 대한 직교 정규 고유 염기를 갖는 정사각형 정규 행렬의 eigendecomposition을 일반화한다.그것은 극성 분해와 관련이 있다.

구체적으로는 $m{\displaystyle }$×$$ {\$displaystyle m$\$times$ n$$$}$ 복소 행렬 M의 특이치 분해는 ${\displaystyle M\mathbf{}}$ ${\displaystyle =}$ ${\displaystyle \mathbf{U}}$ V ${\$ {\$displaystyle$ \$mathbf {M}$= \$mathbf {U\Sigma$ V$^{*}}}$ $형식$의 인수분해이다. 여기서 $U$는${\displaystyle }$m ×$$ \displaystyle 복소 행렬 M$$ary M $ary$ M$$ ary M ary M ary M ary M ary M ary M ary ary M ary M ary M ary M ary M ary ary ary ary$s{\displaystyle }$ m${\displaystyle }$×$$ \ $displaystyle$m \ $times$ n$$rectang 、 with n × n$$\ $displaystyle$n \ $times$ n$$$complex$ 、${\displaystyle }$V ${\$ \ $displaystyle$\ $mathbf${ $V^$ { * } $}$ } s$$ s s V v v ate ate ate ate ate ate ate ate ate ateose ate ate ate ateoseoseoseose ate ose ose ate ate ate oseoseoseoseoseoseoseoseoseoseoseoseoseoseoseoseoseoseM이 실재하는 경우 U와 V는 실직교 행렬임을 보증할 수 있습니다.이러한 상황에서 SVD는 U ${\displaystyle {\mathbf{}}^{}}$ V ${\displaystyle {T\mathbf{}}^{}}$ \$displaystyle \ mathbf$ { U \ $Sigma$ V ^ { T$}$ 로서 자주 $표시$됩니다.

$\sigma {\displaystyle \mathbf{}}$ ${$ $displaystyle$\ $mathbf$\ $Sigma }$의 대각선 항목 ${\displaystyle i_{}}$ i $=$ i$display$ i （ displaystyle \ $sigma$）는 M에 의해 고유하게 결정되며 M의 단수값으로 알려져 있다.0이 아닌 단수 값의 수는 M의 순위와 같습니다.U의 열은 왼쪽-싱글 벡터, V의 열은 M의 오른쪽-싱글 벡터라고 합니다.그들은 M)나는 1r원 ∑ σ 나는 나는 v 나는 ∗{\displaystyle \mathbf{M}=\sum _{i=1}^{r}\sigma _{나는}\mathbf{u}_{나는}\mathbf{v}_{나는}^{*}}, r≤분{m, n}{\displaystyler\leq \min\{m,n\}}th은 u 정규화된 기지 u1,...x, v1,..., vn, 단수 값 분해의 2의 세트를 쓸 수 있다.음.정말M의 앵크

SVD는 고유하지 않습니다.단수값 $σii(\$displaystyle$\Sigma_{ii$})가$$ 내림차순으로 되도록 분해를 선택할 수 있습니다.이 경우,$\delta {\displaystyle \mathbf{}}$ \$style \mathbf \Sigma }$ (U 및 V는 제외)는 M에 의해 고유하게 결정된다.

이 용어는 때때로 콤팩트 SVD, 즉 $이$와 유사한 분해 ${\displaystyle M\mathbf{}}$ $=$ ${\displaystyle \mathbf{U}}$ δ ${\displaystyle {\mathbf{}}^{\mathbf{}}}$δ ${\$$displaystyle$ $\mathbf {M}$ =\$mathbf {U\Sigma$ V$^{*}}$를$가리키며{\displaystyle \mathbf{}}$, $여기$서 δ$$$style$\${\displaystyle \mathrm{mathbf}}$$${\$Sigma }$는 r$$× $timesize$ r\$style$의 대각선이다.0이 아닌 단수 값만 가집니다.이 변형에서 U는 $m{\displaystyle }$×$$ {\$displaystyle$$$m$\times$ r$}$ 반유니터리$$ $행렬$이고$$V {\$displaystyle n\times$ $r$$}$은${\displaystyle }$n$$× ${\displaystyle r}$ 반유니터리 $행렬$이다. ${\displaystyle {}^{}\mathbf{}{,\mathbf{}}^{}}$ ${\displaystyle {}^{}\mathbf{}}$ ${\displaystyle =}$ V$$ ${\displaystyle {}_{}}$ r${\displaystyle \mathbf$ {U}$$$=$ U }

SVD의 수학적 응용에는 의사 역행렬 근사 계산 및 행렬의 순위, 범위 및 늘 공간의 결정이 포함된다.SVD는 신호 처리, 데이터의 최소 제곱 적합, 프로세스 제어 등 과학, 엔지니어링 및 통계의 모든 영역에서도 매우 유용합니다.

직관적인 해석

회전, 좌표 축척 및 반사

M이 m × m 실제 제곱 행렬인 특별한 경우에는 행렬 U 및^⁎ V도 실제 m × m 행렬로 선택할 수 있다.이 경우, "유니터리"는 "직교"와 같다.여기서 A로 요약되는 대각행렬과 유니터리행렬을 모두 공간^m R의 선형 변환 x ax Ax로 해석하면 행렬 U와^⁎ V는 공간의 회전 또는 반사를 $나타내며{\displaystyle \mathbf{}}$, ${\$ \$displaystyle \mathbf \sigma }$는 각 좌표_i x의 배율 σ을_i 나타낸다.따라서 SVD 분해는 R의 선형^m 변환을 회전 또는 반사(V^⁎)의 세 가지 기하학적 변환의 구성으로 분해하고 좌표별 스케일링($δ$ \displaystyle \$mathbf$ \$Sigma$} $$$}$ )에 이어 또 다른 회전 또는 반사(U$)$로 분해한다.

특히 M이 양의 결정 인자를 갖는 경우 U와^⁎ V는 반사가 있는 회전 또는 반사가 없는 회전으로 선택할 수 있습니다.행렬식이 음수일 경우 정확히 그 중 하나가 반사를 갖게 됩니다.행렬식이 0이면 각각 독립적으로 두 유형 중 하나를 선택할 수 있습니다.

행렬 M이 실재하지만 정사각형이 아닌 m×n, 즉 mθn이면 R에서ⁿ R로의^m 선형 변환으로 해석할 수 있다.다음으로 U와^⁎ V를 각각 R과ⁿ R의 회전^m/반사로 선택할 수 있으며, ${\$ { $displaystyle$\$mathbf$ { $Sigma }$$}$ e e 、 ${\displaystyle 첫}$ 번째${\displaystyle }$min {${\displaystyle m}$ , ${\displaystyle n}$ $}$좌표를$$ 스케일링하는 것 외에 $removes{\displaystyle \mathbf{}}$ { $displaystyle \min$\ {$m$ , n \ n \ n \$$}}} e e e e e^nm eeeeee removeseeeeee removes removeseeee removesee removeseeee removesee removesee removesee removesee removesee removes removese removesee

타원 또는 타원체의 반축과 같은 특이값

그림과 같이 특이치는 2D로 타원의 반각형의 크기로 해석할 수 있다.이 개념은 n × n 정사각형 행렬의 단수 값을 n차원 타원체의 반축의 크기로 볼 때 n차원 유클리드 공간으로 일반화할 수 있다.마찬가지로 m × n 행렬의 특이치는 예를 들어 3D 공간의 (기울어진) 2D 평면에서의 타원으로서 m차원 공간에서의 n차원 타원체의 반축의 크기로 볼 수 있다.특이값은 반축의 크기를 인코딩하고 특이 벡터는 방향을 인코딩합니다.상세한 것에 대하여는, 이하를 참조해 주세요.

U와 V의 기둥은 직교 정규 기저입니다.

U와^⁎ V는 단일이기 때문에 각각의 열은 기저 벡터로 간주될 수 있는 일련의 직교 정규 벡터를 형성한다.행렬 M은 베이스 벡터_i V를 신장 단위 벡터 δ_ii U에 매핑한다. 유니터리 행렬의 정의에 따르면, 신장 시 특이값의 기하학적 해석을 제외하고, 이들의 켤레 전치^⁎ U와 V에 대해서도 마찬가지다.즉, U, U^⁎, V, V의^⁎ 기둥은 직교 기저이다.$M{\displaystyle \mathbf{}}${\$displaystyle \mathbf {M}}$이(가) 정의-반정의 에르미트 행렬인 경우 U와 V는 모두 M ${\$$}}$을(를) 대각화하는 데 사용되는 유니터리 행렬과 $동일$하지만 M ${\displaystyle \mathbf$ {M$}이($가)이$$ 양의 반정의 행렬이 아닌 여전히 에르미트 행렬인 $경우{\displaystyle \mathbf{}}$)입니다.특이값 분해는 구별됩니다.

기하학적 의미

U와 V는 단일이기 때문에 U의₁ U, ..., U는_m K의^m 직교 기저를 나타내고 V의 V, ..., V는_1n K의ⁿ 직교 기저를 나타낸다(이러한 공간의 표준 스칼라 곱에 대하여).

선형 변환

$\displaystyle T\colon \left\{\begin{aligned}K^{n}&\x&\mapsto \mathbf {M}x\end{aligned}\right.}$

이 직교 정규 기저에 관해 특별히 간단한 설명을 가지고 있습니다: 우리는

${\displaystyle T(\mathbf {V} _{i})=\mathbf {U} _{i},\qquad i=1,\ldots,\min(m,n),}$

여기서 θ는_i$\delta {\displaystyle \mathbf{}}$ \$displaystyle \mathbf {Sigma$ $\}$의 i번째 대각선 엔트리이며, t_i(V) = 0은 i > min(m,n)입니다.

따라서 SVD 정리의 기하학적 내용은 다음과 같이 요약할 수 있다: 모든 선형 지도 T : Kⁿ → K에^m 대해 T가 K의ⁿ i번째 기저 벡터를 K의^m i번째 기저 벡터의 음이 아닌 배수에 매핑하고, 나머지 기저 벡터를 0으로 보내도록 K와^m K의ⁿ 직교 정규 기저를 찾을 수 있다.따라서 이들 베이스에 관해 맵 T는 음이 아닌 실대각 엔트리를 가진 대각행렬로 표현된다.

적어도 실제 벡터 공간에서 작업할 때 특이값과 SVD 인수분해의 보다 시각적인 맛을 얻으려면 R에서ⁿ 반지름 1의 구 S를 고려하십시오.선형 지도 T는 이 구를 R의^m 타원체에 매핑합니다. 0이 아닌 단수 값은 단순히 이 타원체의 반축 길이입니다.특히 n = m이고 모든 단수값이 0이 아닌 경우 선형 지도 T의 SVD는 연속적인 3개의 움직임으로 쉽게 해석할 수 있다. 즉, 타원체 T(S)와 그 축을 고려한 다음 T가 이들 축에 보내는 R의ⁿ 방향을 고려한다.이 방향들은 우연히도 서로 직교하고 있다.우선 R의ⁿ 좌표축에 이 방향을 전송하는 등각선^⁎ V를 적용한다.두 번째 동작에서는 T(S)의 반축길이를 신장계수로 하여 좌표축을 따라 대각선화되어 각 방향으로 신장 또는 수축하는 내형성 D를 적용한다.그런 다음 구성 D^⁎ v V는 단위-구를 T(S)에 대한 타원체 등각선 위에 보냅니다.세 번째이자 마지막 움직임 U를 정의하기 위해 이 타원체에 등각도를 적용하여 T(^{[clarification needed]}S) 위로 이동시킨다.쉽게 확인할 수 있듯이 성분 U d D coincides^⁎ V는 T와 일치한다.

예

4 × 5 행렬을 고려합니다.

${\displaystyle \mathbf {M} = beginb { bmatrix }1 & 0 & 0 & 0 & 2 \ 0 & 0 & 0 \ 0 & 0 & 0 }$

이 행렬의 특이값 분해는 UΩV에^⁎ 의해 주어진다.

${\displaystyle{\begin{정렬}\mathbf{U}&={\begin{bmatrix}\color{그린}0&, \color{블루}-1&, \color{시안}0&,\color{에메랄드}0\\\color{그린}-1&, \color{블루}0&, \color{시안}0&,\color{에메랄드}0\\\color{그린}0&, \color{블루}0&, \color{시안}0&,\color{에메랄드}-1\\\color{그린}0&, \color{블루}0&, \color{시안.}-1&, \color{에메랄드}0\end{bmatrix}}\\[6pt]{\bold기호는{\Sigma}}&={\begin{bmatrix}3&, 0&, 0&, 0&, \color{그레이}{\mathit{0}}\\0&,{\sqrt{5}}&0&, 0&, \color{그레이}{\mathit{0}}\\0&, 0&, 2&, 0&, \color{그레이}{\mathit{0}}\\0&, 0&, 0&, \color{레드}\mathbf{0}&\color{그레이}{\mathit{0}}\end{bmatrix}};={\begin{bmatrix}\color{Viole{V}^{*}& \\[6pt]\mathbf.T}0&, \color{바이올렛}0&, \color{바이올렛}-1&, \color{바이올렛}0&,\color{바이올렛}0.\\color {Plum}-{\sqrt {0}.2)}&\color {Plum} 0&\color {Plum} 0&\color {Plum} 0&\color {Plum}-{\sqrt {0}.8}}\color {Magenta} 0&\color {Magenta} 1&\color {Magenta} 0&\color {Orchid} 0&\color {Orchid} 0&\color {Orchid} 0&\color {Orchid} 0&\color} 0&18}} &\color {Purple} 0 &\color {Purple} 0 &\color {Purple} 0 &\color {\sqrt {0}.2)\end {bmatrix}\end {aligned}}$

스케일링 행렬$\delta {\displaystyle \mathbf{}}$(\$displaystyle \mathbf {Sigma })$는 대각선(회색 이탤릭체)의 바깥쪽은 0이고 대각선 요소는 0(빨간색 굵은 글씨)입니다.또한 행렬 U와^⁎ V는 유니터리이기 때문에 각각의 켤레 전이를 곱하면 아래와 같이 항등 행렬이 된다.이 경우 U와^⁎ V는 실제 값이므로 각각 직교 행렬입니다.

${\displaystyle{\begin{정렬}\mathbf{U}\mathbf{U}^{*}&, ={\begin{bmatrix}1&, 0&, 0&, 0\\0&, 1&, 0&, 0\\0&, 0&, 1&, 0\\0&, 0&, 0&, 1\end{bmatrix}}=\mathbf{나는}_ᆰ\\[6pt]\mathbf{V}\mathbf{V}^{*}&, ={\begin{bmatrix}1&, 0&, 0&, 0&, 0\\0&, 1&, 0&, 0&, 0\\0&, 0&, 1&, 0&, 0\\0&, 0&, 0&amp을 말한다.1&, 0\\0&, 0&, 0&, 0&, 1\end{bmatrix}}=\mathbf{나는}_{5}\end{정렬}}}$

이 특정 특이값 분해는 고유하지 않습니다.V$(\$를 선택하면 $다음$과 같이 됩니다.

${\displaystyle \mathbf {V} ^{*}=param {bmatrix}\color {Violet} 1&\color {Violet} 0&\color {Violet} 0&\color {Plum} 0&\color {Violet} 1&\color {Plum}2)}&\color {Magenta}0&\color {Magenta}0&\color {Magenta}0&\color {Magenta}{\sqrt {0}8}}\\color {Orchid}{\sqrt {0.4}}}&\color {Orchid}0&\color {Orchid}0&\color {Orchid}{\sqrt {0.5}&\color {Orchid}-{\sqrt {0}.1}}\\color {Purple}-{\sqrt {0.4}}}&\color {Purple}0&\color {Purple}0&\color {\sqrt {0.5}&\color {Purple}{\sqrt {0}.1}}\end {bmatrix}}$

또한 유효한 단수값 분해입니다.

SVD 및 스펙트럼 분해

특이치, 특이 벡터 및 SVD와의 관계

음이 아닌 실수 θ는 다음과 같이 $K$에 단위 길이 벡터^m$$u(\$style \mathbf {u})$와 $K$에 vⁿ$(\$가 존재하는 경우에만 M의 단수값이다.

${\displaystyle \mathbf {Mv} =\display \mathbf {u} ,{\text { and }}\mathbf {M} ^{*}\mathbf {u} =\display \mathbf {v} .}$

$벡터{\displaystyle \mathbf{}}$u(\$displaystyle \mathbf {u})$와 v$(\$는 각각 θ의 왼쪽-싱글 벡터, 오른쪽-싱글 벡터라고 불립니다.

어떤 특이값 분해에서도

${\displaystyle \mathbf {M} = \mathbf {U} {\boldsymbol {Sigma }} \mathbf {V} ^{*}$

$\delta {\displaystyle \mathbf{}}${$displaystyle \mathbf {Sigma }$의 대각선 항목은 M의 단수와 같다.U와 V의 첫 번째 p = min(m, n) 열은 각각 해당 단수 값에 대한 좌편향 벡터 및 우편향 벡터이다.따라서 위의 정리는 다음을 의미한다.

• m × n 행렬 M은 최대 p개의 구별되는 특이값을 가진다.
• M의 각 특이값의 왼쪽-싱글 벡터에 걸친 기저 벡터의 서브셋을 갖는 K에 대한^m 단일 기저 U를 항상 찾을 수 있다.
• M의 각 단수값의 오른쪽-단수 벡터에 걸친 기저 벡터의 서브셋을 갖는 K에 대한ⁿ 단일 기저 V를 항상 찾을 수 있다.

선형적으로 독립적인 두 개의 왼쪽(또는 오른쪽) 단수 벡터를 찾을 수 있는 단수 값을 퇴화라고 합니다.${\displaystyle {\mathrm{}}_{}}$ 1$(\$ _${1})$과 ${\displaystyle {\mathrm{}}_{}}$2(\$displaystyle \mathbf {u} _{2})$가 둘 다 특이값 ,에 대응하는 왼쪽-싱글 벡터일 $경우{\displaystyle {\mathbf{}}_{}}$ 두 벡터의 정규화 선형 조합도 특이값 σ에 대응하는 왼쪽-싱글 벡터입니다.오른쪽 단수 벡터에 대해서도 같은 문장이 적용됩니다.$좌우$ 단수 벡터의 수가 일치하며, 이들 단수 벡터는$δ의$$$대각 요소에 대응하는 U와 V의 동일한 열에 모두 동일한 값 θ로 나타난다.

예외적으로 뛰어난 이상적인 값은 0의 왼쪽과right-singular 벡터 M의 rank–nullity 정리에 의해가 될 수 없다는 것 같은 치수를 만약 m을 만약 m≠ n.더라도 모든 특이한 가치, 조금은 커널과 cokernel, 각각,,;n 다음 cokernel고 Um− northog로 패드가 대어져는 심상치 않은 모든 단위 벡터로 구성되었다.에서l개의 벡터가 cokernel에서 생성됩니다.반대로 m < n이면 V는 커널에서 n - m 직교 벡터로 패딩된다.그러나 단수 값 0이 존재하는 경우 U 또는 V의 추가 열은 이미 왼쪽 또는 오른쪽 단일 벡터로 나타납니다.

비퇴화 단수 값은 항상 고유한 좌/우 단일 벡터를 가지며, 단위 위상 계수^iφ e에 의한 곱셈까지입니다(실제의 경우 부호까지).따라서 사각행렬 M의 모든 특이값이 비퇴화 및 비제로일 경우, 그 특이값 분해는 단위위상계수에 의한 U열 및 대응하는 V열의 동시배수까지 유일하다.일반적으로 SVD는 각 특이치의 서브스페이스에 걸쳐 있는 U와 V의 양쪽 열 벡터에 균일하게 적용되는 임의의 유니터리 변환까지, 그리고 각각 M의 커널과 코커널에 걸쳐 있는 U와 V의 벡터에 대해 임의의 유니터리 변환까지 유일하다.

고유값 분해와의 관계

특이값 분해는 m × n 행렬에 적용할 수 있는 반면 고유값 분해는 대각선화 행렬에만 적용할 수 있다는 점에서 매우 일반적이다.그럼에도 불구하고, 두 분해는 관련이 있다.

위에서 설명한 바와 같이 SVD가 M일 경우 다음 2개의 관계가 유지됩니다.

${\displaystyle{\begin{정렬}\mathbf{M}^{*}\mathbf{M}&=\mathbf{V}{\boldsymbol{\Sigma}}^{*}\mathbf{U}^{*}\,\mathbf{U}{\boldsymbol{\Sigma}}\mathbf{V}^{*}=\mathbf{V}({\boldsymbol{\Sigma}}^{*}{\boldsymbol{\Sigma}})\mathbf{V}^{*}\\\mathbf{M}\mathbf{M}^{*}&, =\mathbf{U}{\boldsymbol{\Sigma}}{V}^{*}\,\mathbf \mathbf.{V}{\boldsymbol {Sigma } ^{*} = \mathbf {U} ({\boldsymbol {Sigma }} {\boldsymbol {Sigma }} ^*} \end{aligned})$

이러한 관계의 오른쪽은 왼쪽의 고유값 분해를 나타냅니다.그 결과:

• V(오른쪽-싱글 벡터) 열은 MM의 고유^⁎ 벡터입니다.
• U(좌측-싱글 벡터) 열은 MM의 고유^⁎ 벡터입니다.
• $\$단수값이 아닌 경우)의 0이 아닌 요소는 MM 또는^⁎ MM의^⁎ 고유값의 제곱근입니다.

M이 정의상 정사각형이어야 하는 특수한 경우, 스펙트럼 정리는 고유 벡터의 기저를 이용하여 M = UDU^⁎, 그리고 대각선을 따라 복소수 원소 θ를_i 갖는 대각행렬 D로 쓸 수 있다고 말한다.M이 양의 반소수일 때, θ는_i 음이 아닌 실수가 되므로 분해^⁎ M = UDU도 단수값 분해가 된다.그렇지 않으면 각 δ의_i 위상^iφ e를 대응하는_i V 또는_i U로 이동함으로써 SVD로 재캐스팅할 수 있습니다.SVD와 비정규 행렬의 자연적 연결은 극분해 정리를 통해 이루어집니다.M = SR(여기서 S = UΩU는^⁎ 양의 반무한 정규값, R = UV는^⁎ 단일값)이다.

따라서, 긍정적인 semi-definite 매트릭스, M의 고유 값 분해 및 simultaneous, 관련을 제외한:고유 값 분해는 M)UDU−1, U이 반드시 단일하지 않으며 D건 딱히 긍정적인 semi-definite, 반면 simultaneous은 M)UΣV⁎,Σ{\displaystyle \mathbf{\Sigma}}과 긍정적인 땅이 대각선이 다르다.mi-확정 행렬, 그리고 U와 V는 행렬 M을 통해서만 관련이 있는 행렬이다.결함이 없는 정사각형 행렬만이 고유값 분해를 가지지만${\displaystyle ,}$ ${\displaystyle m}$× n {$displaystyle$ m$\times$ n$}$ $행렬$에는 SVD가 있습니다.

SVD의 응용 프로그램

유사역

특이값 분해는 행렬의 의사 역수를 계산하는 데 사용될 수 있다. (각각의 저자들은 의사 역수에 대해 다른 표기법을 사용한다; 여기서는 우리는 사용한다.) 실제로, 특이값 분해 M = UΩV인^⁎ 행렬 M의 의사 역수는

M^† = V σ^†⁎ U

여기서 δ는^† 0이 아닌 모든 대각 엔트리를 그 역수로 치환하고 결과 행렬을 전치함으로써 형성되는 δ의 의사 역수이다.의사 역행은 선형 최소 제곱 문제를 푸는 한 가지 방법입니다.

균질 선형 방정식 풀기

일련의 균질 선형 방정식은 행렬 A와 벡터 x에 대해 Ax = 0으로 쓸 수 있습니다. 전형적인 상황은 A가 알려져 있고 방정식을 충족하는 0이 아닌 x가 결정되어야 하는 것입니다.이러한 x는 A의 Null 공간에 속하며 A의 (오른쪽) Null 벡터라고도 합니다.벡터 x는 A의 단수값인 0에 대응하는 우싱글 벡터로서 특징지을 수 있다.이 관측치는 A가 정사각형 행렬이고 사라지는 특이값이 없으면 방정식에는 0이 아닌 x가 해로 포함되지 않음을 의미합니다.또한 여러 개의 소멸하는 특이값이 있는 경우, 대응하는 오른쪽-싱글 벡터의 선형 조합이 유효한 솔루션임을 의미합니다.(오른쪽) 늘 벡터의 정의와 유사하게, x가 x의 켤레 전치임을 나타내는^⁎ xA^⁎ = 0을 만족하는 0이 아닌 x를 A의 왼쪽 늘 벡터라고 한다.

최소 제곱합계

총 최소 제곱 문제는 제약 조건 x = 1에서 벡터 Ax의 2-노름을 최소화하는 벡터 x를 찾습니다.이 해는 가장 작은 단수값에 대응하는 A의 오른쪽 단수 벡터인 것으로 밝혀졌다.

범위, 늘스페이스 및 순위

SVD의 또 다른 적용은 매트릭스 M의 범위와 늘 공간을 명시적으로 나타낸다는 것이다.M의 소실특이치에 대응하는 우싱글 벡터는 M의 늘공간에 걸쳐 있고, M의 비제로특이치에 대응하는 좌싱글 벡터는 M의 범위에 걸쳐 있다.예를 들어 위의 예에서 null 공간은 V의 마지막^⁎ 두 행에 걸쳐 있고 범위는 U의 처음 세 열에 걸쳐 있습니다.

$그$ 결과, M의 순위는 0이 아닌 단수값의 수와 같으며, 이는$$$δ의 0$이 아닌 대각 요소의 수와 같다. 숫자 선형 대수에서 단수값은 반올림 오차가 작지만 0이 아닌 singu로 이어질 수 있으므로 행렬의 유효 순위를 결정하는 데 사용할 수 있다.순위 결손 행렬의 lar 값.유의한 갭을 넘는 특이값은 수치적으로 0과 동등하다고 가정합니다.

하위 행렬 근사

일부 실용적 적용에서는 행렬 M을 다른 $행렬{\displaystyle \stackrel{}{\mathbf{}}}$M$$~ {\$displaystyle {\tilde {\$mathbf {$M$로 근사하는 문제를 해결해야 합니다. 이 행렬은 특정 순위 r을 갖는 잘림이라고 합니다.M과${\displaystyle \stackrel{}{}}M$의 차이에 대한 프로베니우스 규범을 최소화하는 ${\displaystyle 것}$에 근거하는 ${\displaystyle 근사치}$인 경우$,$ ${\displaystyle (}$ (${\displaystyle \stackrel{}{}}$M${\displaystyle }$~ ) ${\displaystyle =}$ ( \ $displaystyle \operatorname${rank } \ lefts \ $tilde$\ $mathbf${$M }$$= r$ r r right = right style \ displaystyle \ mathbf { mathbf { mathbf { $M$} } } } 。즉, M의 SVD에 의해

${\displaystyle\mathbf {M}}=\mathbf {U} {\tilde\boldsymbol\Sigma}}\mathbf {V} ^{*}$

$\sigma {\displaystyle \stackrel{}{\mathbf{}}}$~ ${\$ : ${\$ { \ $displaystyle \mathbf \Sigma }}$ 와$$$$ 동일한 매트릭스입니다.단, r개의 최대 단수값(다른 단수값은 0으로 대체됩니다).이것은 Eckart라고 알려져 있습니다.1936년 두 저자에 의해 증명된 젊은 정리(나중에 초기 작가들에게 알려진 것으로 밝혀졌지만; 스튜어트 1993 참조).

분리 가능한 모델

SVD는 행렬을 분리 가능한 행렬의 가중치, 순서 합계로 분해하는 것으로 생각할 수 있습니다.분리가능하다는 것은 행렬 A를 2개의 벡터 A = u v v 또는 좌표상 ${\displaystyle A_{}}$ ${\displaystyle i_{}}$ ${\displaystyle {}_{}}$ $=$ ${\displaystyle u_{}}$ ${\displaystyle {}_{}{}_{}}$ ({$displaystyle A_${ij$}=u_{i}v_{$j$\})$의 외적으로서 쓸 수 있다는 것을 의미한다. 구체적으로는 행렬 M은 다음과 같이 분해할 수 있다.

${\displaystyle \mathbf {M} =\sum _{i}\mathbf {A} _{i}=\sum _{i}\mathbf {U} _{i}\otimes \mathbf {V} _{i}}$

여기서_i U와_i V는 대응하는 SVD 행렬의 i번째 열이고, θ는_i 순서 단수값이며, 각_i A는 분리 가능하다.SVD는 분리 가능한 수평 및 수직 필터로 이미지 처리 필터를 분해하는 데 사용할 수 있습니다.0이 아닌 θ의_i 수는 정확히 행렬의 순위입니다.

분리 가능한 모델은 종종 생물학적 시스템에서 발생하며, SVD 인수분석은 그러한 시스템을 분석하는 데 유용하다.예를 들면, 일부의 시역 V1 단순 셀의 수용 필드는, 시간 영역의 변조 함수에 곱한 공간 영역의 Gabor 필터에 의해서^[1] 잘 기술할 수 있다.따라서, 예를 들어 역상관을 통해 평가된 선형 필터가 주어지면, 두 공간 차원을 한 차원으로 재배치할 수 있으며, 따라서 SVD를 통해 분해될 수 있는 2차원 필터(공간, 시간)를 생성할 수 있다.SVD 인수분해에서 U의 첫 번째 열은 Gabor이고, V의 첫 번째 열은 시간 변조를 나타냅니다(또는 그 반대).그런 다음 분리성 지수를 정의할 수 있다.

${\displaystyle \alpha = param frac {\sum _{i}\param _{i}^2}}$

분해에서 ^[2]첫 번째 분리 가능한 행렬이 설명하는 행렬 M의 검정력 비율입니다.

가장 가까운 직교 행렬

정사각형 행렬 A의 SVD를 사용하여 A에 가장 가까운 직교 행렬 O를 결정할 수 있습니다.적합성 근접도는 O - A의 프로베니우스 노름으로 측정된다.해결책은 제품^{⁎ [3]}UV입니다.직교 행렬은 I가^⁎ 항등 행렬인 분해 UIV를 가지므로 A = UVV이면^⁎ 곱 A = UV는^⁎ 단수 값을 1로 대체하는 것과 같기 때문이다.마찬가지로 상기 용액은 위와 같이 스트레치, 회전의 순서로 단일한 매트릭스 R = 극분해^⁎ M의 UV = RP = P'R이다.

형상 분석에서 흥미로운 응용 분야와 유사한 문제는 직교 프로크러스테스 문제로, A와 B를 가장 밀접하게 매핑하는 직교 행렬 O를 찾는 것으로 구성됩니다.구체적으로는

${\displaystyle \mathbf {O} = 언더셋 {\operatorname {operatorname}}}}\mathbf {A} {b} {boldsymbol {Omega }}}-\mathbf {B} \ quad {text{to}}\symbold {B} {B} {B} {b} {b} {b} {b} {b} {b} {b} {b} {boldsymb} {b} {b} {b} {b} {b} {b}$

여기서${\displaystyle }$"$F\$style\$cdot\_{F}"$는 Frobenius 규격을 나타냅니다.

이 문제는 주어진 행렬 M = AB에^T 가장 가까운 직교 행렬을 찾는 것과 같습니다.

Kabsch 알고리즘

Kabsch 알고리즘(다른 분야에서는 Wahba의 문제라고 함)은 SVD를 사용하여 점 집합을 해당 점 집합과 정렬하는 최적의 회전(최소 제곱 최소화와 관련)을 계산합니다.그것은 다른 응용 분야들 중에서 분자의 구조를 비교하기 위해 사용된다.

신호 처리

SVD 및 의사 역방향은 신호 처리,^[4] 영상 처리^{[citation needed]} 및 빅데이터(예: 게놈 신호 처리)^[5][6][7][8]에 성공적으로 적용되었습니다.

기타 예

SVD는 선형 역문제 연구에도 광범위하게 적용되며 티코노프와 같은 정규화 방법의 분석에 유용하다.주성분 분석 및 대응 분석과 관련된 통계 및 신호 처리 및 패턴 인식에 널리 사용됩니다.또한 출력 전용 모달 분석에서도 사용되며, 비스케일 모드 모양은 단일 벡터에서 확인할 수 있습니다.그러나 또 다른 용도는 자연어 텍스트 처리에 잠재된 의미 색인화이다.

선형 또는 선형화된 시스템을 포함하는 일반적인 수치 계산에는 문제의 규칙성 또는 특이성을 특징짓는 보편적 상수가 있습니다. 즉, 시스템의 "조건 번호"${\displaystyle }\kappa {\displaystyle }$ : ${\displaystyle ={}_{}{\text{max}}_{}}$ max / ${\displaystyle {\text{min}}_{}}$min { \ $displaystyle$\ $kappa$ : =$$_ min$_$ { \ text { max } / \ $text${ $min}$ }$$。오류율 또는 co를 제어하는 경우가 많습니다.그러한 ^[9][10]시스템에서 주어진 계산 방식의 nvergence rate.

SVD는 또한 종종 슈미트 분해라고 불리는 형태로 양자 정보 분야에서 중요한 역할을 한다.이를 통해 2개의 양자계 상태가 자연스럽게 분해되어 $\$$}$ 행렬의 순위가 1보다 클 경우 양자계가 얽히기 위한 필요충분한 조건을 제공한다.

다소 큰 행렬에 대한 SVD의 한 가지 적용은 수치 기상 예측에서 Lanczos 방법은 주어진 초기 전진 시간 동안 중앙 수치 기상 예측에 대해 가장 선형적으로 빠르게 성장하는 소수의 섭동을 추정하기 위해 사용된다. 즉, 선형에서 가장 큰 단수 값에 해당하는 특이 벡터이다.그 시간 간격 동안 지구 기후에 맞춰 전파기를 정지시킵니다.이 경우 출력 단수 벡터는 전체 기상 시스템입니다.그런 다음 이러한 섭동은 전체 비선형 모델을 통해 실행되어 앙상블 예측을 생성하며, 현재 중앙 예측 주변에서 허용해야 하는 불확실성의 일부를 처리한다.

SVD는 또한 축소 차수 모델링에도 적용되었습니다.축소 차수 모델링의 목적은 모델링할 복잡한 시스템에서 자유도를 줄이는 것입니다.SVD는 3차원 비정상 흐름 ^[11]문제에 대한 해결책을 보간하기 위해 방사형 기저 함수와 결합되었다.

흥미롭게도, SVD는 지상 중력파 간섭계 aLIGO에 ^[12]의한 중력파 모델링을 개선하기 위해 사용되었습니다.SVD는 중력파 검색을 지원하고 두 가지 다른 파형 모델을 업데이트하기 위해 파형 생성의 정확성과 속도를 높이는 데 도움이 됩니다.

특이치 분해는 추천자 시스템에서 사람들의 항목 ^[13]등급을 예측하기 위해 사용됩니다.분산 알고리즘은 상용 ^[14]머신의 클러스터 상에서 SVD를 계산하기 위해 개발되었습니다.

낮은 등급의 ^[15]SVD는 질병 발생 검출에 응용된 시공간 데이터에서 핫스팟 검출에 적용되었다.질병 ^[16]감시의 복잡한 데이터 스트림(공간 및 시간 차원이 있는 다변량 데이터)에서 실시간 이벤트 검출을 위해 SVD와 고차 SVD의 조합도 적용되었다.

존재 증명

행렬 M의 고유값 θ는 대수적 관계 Mu = δu로 특징지어진다.M이 Hermitian인 경우 변형 특성화도 사용할 수 있습니다.M을 실제 n × n 대칭 행렬이라고 하자.정의

$\displaystyle {\mathbb {R} ^{n}\to \mathbb {R} \f:\mathbf {x} \mapsto \mathbf {x} ^{\textsf {T}} \mathbf {M} \mathbf {x} }$

극단값 정리에 따르면, 이 연속 함수는 단위구 { x = 1)로 제한될 때 일부 u에서 최대값에 도달한다.라그랑주 승수 정리에 따르면, u는 필연적으로 다음을 만족한다.

${\displaystyle \mathbf {u}^{\displayf {T}}\mathbf {M}\mathbf {u} -\displayda \cdot \displayla \mathbf {u}^{\displayf {T}}\mathbf {u} =0}$

어떤 실수 λ에 대해서요.nabla 기호 ,는 del 연산자(x에 대한 미분)입니다.M의 대칭을 이용하여 얻을 수 있다.

$\displaystyle \mathbf {x}^{\displayf {T}\mathbf {M}\mathbf {x} -\displayda \cdot \mathbf {x} ^{\displayf {T}} =2(\mathbf {M} -\da {mathbf {x})$

따라서 Mu = µu이므로 u는 M의 단위 길이 고유 벡터입니다.M의 모든 단위 길이 고유 벡터 v에 대해 고유값은 f(v)이므로 θ는 M의 최대 고유값이다.u의 직교 보수에 대해 동일한 계산이 수행되면 다음으로 큰 고유값 등을 얻을 수 있습니다.복잡한 에르미트식 경우도 비슷하다. f(x) = x* M x는 2n 실수 변수의 실수값 함수이다.

특이값은 대수적으로 또는 변동 원리로 설명할 수 있다는 점에서 유사하다.그러나 고유값의 경우와 달리 M의 은둔성 또는 대칭성은 더 이상 필요하지 않습니다.

이 섹션에서는 단수값 분해의 존재에 대한 이 두 가지 주장을 제시합니다.

스펙트럼 정리에 의거하여

M$(\$을 m × n 복소 행렬로 $합니다{\displaystyle \mathbf{}}$.M${\displaystyle {}^{}\mathbf{}}$M {\$displaystyle \mathbf {M} ^{*}\mathbf {M} }$ 은$$ 양의 반확정이고 에르미트이므로 스펙트럼 정리에 의해 다음과 같은 n × n 유니터리 $행렬{\displaystyle \mathbf{}}$ V ${\$ 가$$ 존재한다.

${\displaystyle \mathbf {V} ^{*}\mathbf {M} \mathbf {V} =mathbf {D} =mathbf {D} =mathbf {D} & 0\0&0\end {matrix}}$

$여기$서 D$(\$는 치수${\displaystyle }$${\displaystyle {}^{}\mathbf{}}$ ×$$ {\$displaystyle \times$\$ell$$\}$의 대각선이며,$M{\displaystyle }$$(\$^{*}\$mathbf${M})$$의 0이 아닌 고유값의 수는 다음과 $같습니다{\displaystyle }$$.$$tyle \ell \leq \min(n,m)}$ 입니다.$V{\displaystyle }$$($는 고유값 $dmathbar{\displaystyle {\stackrel{}{\mathbf{}}}_{}}$에 대응하는$$${\displaystyle {}^{}}$의$i$$(\$$displaystyle$$$i$)$ - 고유벡터인 매트릭스${\displaystyle {}^{}}$$displaystyle$$\mathbf {M$$mathbf {M}$또한, $J{\displaystyle \mathbf{}}$>$ℓ$ {$$$displaystyle$ $j$> \ ell의 V$${ \ $displaystyle$ j$$$\}$ - $column{\displaystyle }$ ${\displaystyle {}^{}\mathbf{}}${$displaystyle$\$mathbf { M$ } ^ { * } \ $mathbf${$$$M }$의 $고유{\displaystyle {\mathbf{}}^{}}$ $벡터$이며, $고유값$은 $display$ style$$ ${\displaystyle {}_{}}$ { M }이다.이}V로 V{\displaystyle \mathbf{V}을 써서){\displaystyle \mathbf{V}={\begin{bmatrix}\mathbf{V}_{1}&[V1V2], \mathbf{V}_{2}\end{bmatrix}}}, V1의 기둥{\displaystyle \mathbf{V}_{1}}과 V2{\displaystyle \mathbf{V}_{2}}표현될 수 있다. 따라서 각각 0이 아닌 값과 0이 아닌 값에$$ 해당하는 M${\displaystyle {}^{}\mathbf{}}$M $\displaystyle \mathbf${M}$^{*}\mathbf$ {$M} }$의 $고유{\displaystyle {\mathbf{}}^{}}$ 벡터를 포함합니다.이$$V ${\displaystyle$ \$mathbf${V$\}\}$의 개서를 사용하면 방정식은 다음과 같습니다.

$^{*}\mathbf {M} ^{*}\mathbf {M} \mathbf {V} _{1}&\mathbf {V} _{2}^{*}\mathbf {M} \mathbf {V} _{2}\end{matrix}={df}mathbf {mathbf}}$

이는 을 암시한다.

${\displaystyle \mathbf {V} _{1}^{*}\mathbf {M} ^{*}\mathbf {V},\display \mathbf {V} _{2}^*}\mathbf {M} \mathbf {V}$

게다가, 두번째 방정식 V1{\displaystyle \mathbf{V}_{1}의 관점에서 MV2=0{\displaystyle \mathbf{M}\mathbf{V}_{2}=\mathbf{0}}.[17]마지막으로, V{\displaystyle \mathbf{V}}은 기호의 unitary-ness,}과 V2{\displaystyle \mathbf{V}_{2}}, 다음 C.에 의미를 내포하고ondi기간:

${\displaystyle {{aligned}\mathbf {V}_{1}&={I}_{1},\mathbf {V}_{2}^{*}\mathbf {V}_{2}_{2}&=\mathbf {I}_2},\mathbf {V}_1},$

여기서 항등 행렬의 첨자는 서로 다른 차원을 나타내기 위해 사용됩니다.

이제 정의하겠습니다.

${\displaystyle \mathbf {U} _{1}=\mathbf {M} \mathbf {V} _{1}\mathbf {D} ^{-{\frac {1}{2}}}}.}$

그리고나서,

$\displaystyle \mathbf {U} _{1} \mathbf {D} ^{\frac {2} ^{1} {V} =\mathbf {M} \mathbf {V} _{1} \mathbf {D} ^{-{\frac {2} {D} } {D}$

${\displaystyle M{\mathbf{}}_{}}$ V ${\displaystyle {\mathrm{}}_{}}$ ${\displaystyle {}_{}0\mathbf{}}$. $({displaystyle$ \$mathbf${M} \$mathbf {V} _{2$}=\$mathbf {0}$ .} 이는$$ ${\displaystyle M{\mathbf{}}_{}}$ V ${\displaystyle {\mathrm{}}_{}}$ ${\displaystyle {}_{}^{}}$ {\$displaystyle \mathbf {M$$}$ \$mathbf$ {$V}$ _1$}$의 직접적인 결과로도 볼 수 있습니다.${\displaystyle 1_{}^{}}$ { $displaystyle$ \ { \ $boldsymbol${ $v } _$ { $i } _$ { i } { i $}$ { i } ${\displaystyle {\_}_{}^{}}$ { i } _$$ { i$$ ${\displaystyle {}_{}{}_{}^{}}$$$ M$display$ M$display{\displaystyle {\mathbf{}}^{}}$display display display display display display display ${\displaystyle {\mathrm{display}}_{}^{}}$ $=$ 1 \ display style display ${\displaystyle {}_{}^{}}$ display display display${\displaystyle }$display displaydisplay displaydisplaydisplaydisplay display display $displaydisplaydisplaydisplay$displaydisplaydisplay display display display display display display display display display $display$ ${\displaystyle {}_{}}$ display displaydisplay display$\mathbf {M}({boldsymbol {v}\}_{i=1}^{\ell})$은 직교 벡터 집합이며$,{\displaystyle }$ { {${\displaystyle i_{}^{}}$-${\displaystyle {}_{}^{}}$1 / ${\displaystyle 2_{}^{}}$ ${\displaystyle {}_{}^{}\mathbf{}}$ ${\displaystyle {vi}_{}^{}}$ i ${\displaystyle {=}_{}^{}}$ ${\displaystyle 1_{}^{}}${\ { $displaystyle$ \ {\$symbdda _ 1$ / $2 }{-1/$}\$mbol$ {$mb$} {mb} {mb} {$mb}$ {mb} {$mb$}}} {mb} {$mb$}} {mb} {mb} {mb} {mb} }이는 열이$${${\displaystyle {}_{}{}_{}^{}}$ ${\displaystyle i_{}^{}}$ ${\displaystyle {=}_{}^{}}$ ${\displaystyle 1_{}^{}}$ $†$ {$displaystyle$ $\{\$$boldsymbol {v}_{i}\}_{i=1}^{\ell$인 ${\displaystyle {}_{}}$을 V$$ {$displaystyle$ \$mathbf$${V$$}_$${\ell$}로 나타내는$$ 위의 행렬 형식과 일치합니다$.$${\displaystyle {}^{}}$고유값이 소실된 $M$displaystyle \$mathbf${M$}$^{*}\$mathbf$ {M$}$ }${\displaystyle {}^{}}$$u$ $1$ { displaystyle \$mathbf$ {${\displaystyle {}_{}^{}}$$} _{$1$$}열 벡터 $\{{\displaystyle }$ ${\displaystyle i_{\mathrm{i}}^{}}$- 1 / $2$ ${\displaystyle {}_{}{}_{vi}^{}}$ ${\displaystyle {\}}_{}^{}}$ ${\displaystyle {\mathrm{i}}_{}^{}}$ = $display${ displaystyle \ \ \ \ { \ \ \ \$$$mathbf$ { \ $da$ } } { 1 / 2 } { 1 } { $1 }$

${\displaystyle {\mathrm{}}_{}}$ 1$(\$과 ${\displaystyle {\mathrm{}}_{}}$ 1$(\$이 정사각형은 아닐 수 있으므로 일반적으로 공칭이라는 $점$을 제외하고는 거의 원하는 결과임을 알 수 있습니다.단$,$ D(\$displaystyle\mathbf {D})$의 치수가 m$(\displaystyle$ m$)$ 및$$$n{\displaystyle }$(\$displaystyle$ n$)$ $이하$이므로 $(\$${1$})의 행 수는 열 수보다 작지 않습니다.

${{displaystyle \mathbf {U} _{1}^*} \mathbf {U} _{1} ^{D} ^{-{\frac {1}{2}} \mathbf {M} ^{*} \mathbf {M} {M} {M} {M} {M} {D} _mathbf {D}$

${\displaystyle {\mathrm{}}_{}}$ 1$(\$의 열은 직교 정규이며 직교 정규 기준으로 확장할 수 있습니다.$즉$, U$$ [ U $]$ { $displaystyle$$$\ $mathbf { U$} { } { displaystyle \$mathbf { U$ } $= begin${ { $bmatrix$} \ $mathbf { U$ }$_${ { } & \ $mathbf${ $U }$ary ary aryaryary $aryaryaryaryaryary{\displaystyle {\mathbf{}}_{}}$ aryaryaryaryaryaryaryaryaryaryaryaryaryaryary aryaryaryaryaryaryaryaryaryaryaryaryaryaryaryaryaryaryaryaryaryaryaryaryaryaryaryary

V의₁ 경우 V를₂ 통일적으로 만들 수 있습니다.이제 정의하겠습니다.

${\displaystyle {\symbol {Sigma } = param {bmatrix} {\frac {1} {D} ^{\frac {1} {\end {bmatrix}}\0\end {bmatrix}},$

여기서 0 행을 추가 또는 삭제하여 0 행의 수가 U₂ 열 수와 같으므로$where$ \ $displaystyle{\displaystyle \mathbf{}}$ \$symbol$\ $Sigma }$의 전체 치수는 m${\displaystyle }$×$$ \ $displaystyle$m \ $times$n$$이 $됩니다{\displaystyle }$.

${\displaystyle{\begin{bmatrix}\mathbf{U}_{1}&, \mathbf{U}_{2}\end{bmatrix}}{\begin{bmatrix}{\begin{bmatrix}\mathbf{}D^{\frac{1}{2}}&0\\0&, 0\end{bmatrix}}\\0\end{bmatrix}}{\begin{bmatrix}\mathbf{V}_{1}&, \mathbf{V}_{2}\end{bmatrix}}{U}_{1}& ^{*}={\begin{bmatrix}\mathbf, \mathbf{U}_{2}\end{bmatrix}}{\begin{bmatrix}\mathbf. {D}^{\frac{1}{2}})mathbf {V} _{1}^{*}\\0\end{bmatrix}=\mathbf {U}_{1}\mathbf {D}^{\frac {1}{2}}\mathbf {V}_{1}^{*}=\mathbf {M},}$

이것이 바람직한 결과입니다.

${\displaystyle \mathbf {M} = \mathbf {U} {\boldsymbol {Sigma }} \mathbf {V} ^{*}.}$

인수는 MM 대신^⁎ 대각선 MM으로^⁎ 시작할 수 있습니다(이는 MM과^⁎ MM의 고유값이 0이 아님을 직접^⁎ 나타냅니다).

변이 특성에 근거하다

단수값은 u와 v의 함수로 간주되는^T uMv의 특정 서브스페이스에 대한 최대값으로 특징지을 수도 있다.단수 벡터는 이러한 최대값이 얻어지는 u와 v의 값이다.

M은 실수 엔트리가 있는 m × n 행렬을 나타낸다.Sk−1 단위(k1−)Rkm그리고 4.9초 만{\displaystyle \mathbb{R}^{k}에{\displaystyle(k-1)}-sphere}, 너 TMvσ(u, v)을 정의한 x, u∈ Sm− 1, v∈ Sn1−.{\displaystyle \sigma(\mathbf{너},\mathbf{v})=\mathbf{너}^{\textsf{T}}\mathbf{M}\mathbf{v},\ \mathbf{u}\in S^{m-1},\자.엄마.$thbf {v} \in S^{n-1}.$$}$

S × S로^m−1n−1 제한되는 함수 δ를 생각해 보자. S와ⁿ⁻¹ S는 모두^m−1 콤팩트 세트이므로 제품도 콤팩트하다.또한 δ는 연속적이므로 적어도 1쌍의 벡터 u δS^m−1 및 v δS에ⁿ⁻¹ 대해 최대값을 얻는다.이 가장 큰 값은 and로₁ 표기하고 대응하는 벡터는 u 및₁ v로 표기한다₁. is는₁ ,(u, v)의 가장 큰 값이기 때문에 음이 아니어야 한다.만약 음수라면, u나₁ v의₁ 부호를 바꾸면 양수가 되고, 따라서 더 커집니다.

스테이트먼트.u₁, v는₁ M의 좌우 단수 벡터이며, 대응하는 단수값 θ이다₁.

증명. 고유값의 경우와 마찬가지로 두 벡터는 가정에 의해 라그랑주 승수 방정식을 만족한다.

$\displaystyle \mathbf {u}^{\displaystyle \mathbf {T}\mathbf {M} \mathbf {v} -\displayda _{1}\cdot \cdot \mathbf {u} ^{\displaystypartf {U} \mathbf {u} \mathbf {u} \cda {u} \cdf {u} \cdf {u} \cdf {u} \cdf {mathbf {u} \cd$

약간의 대수 후에, 이것은

${\displaystyle {mathbf {M} \mathbf {v} _{1} \mathbf {u} _{1} + 0 \ \ mathbf {M} ^{\mathbf {u} _{1} & 0 + 2 \ mathbf {U} _ {u} \ mathbf {u} _{1}$

왼쪽에서 첫 $번째{\displaystyle {\mathbf{}}_{}^{}}$ ${\displaystyle {}_{}^{}}$에 $u$ 1 T$({$displaystyle $\mathbf {u}_{1}^{\displayf {T}})$를 곱하고, 왼쪽에서 두 번째 방정식에 ${\displaystyle {\mathrm{}}_{}^{}}$ 1 $({$${1}^{\displayf {T}}}}}})$를 곱하면 다음과 같이 계산된다.

$\displaystyle _{1}=2\displayda _{1}=2\displayda _{2}.}$

이것을 위의 방정식 쌍에 연결하면, 우리는

${\displaystyle {\mathbf {M} \mathbf {v} _{1} &=\mathbf {u} _{1} \\mathbf {M} ^{1} &=\mathbf {u} _{1} \mathbf {u} \mathbf {u} {{1} \mathbf {u} {\mathbf {u} {u} {{{{{{{1}}} } arigned}$

이것이 그 진술을 증명한다.

각각 u 및₁ v에₁ 직교하는 정규화 u에 대해 θ(u, v)를 최대화함으로써 보다 단수 벡터와 단수값을 구할 수 있다.

실수에서 복소로 가는 경로는 고유값 대소문자와 유사합니다.

SVD의 계산

특이값 분해는 다음 관측치를 사용하여 계산할 수 있습니다.

• M의 왼쪽-싱글 벡터는 MM의^⁎ 직교 정규 고유 벡터 집합입니다.
• M의 오른쪽-싱글 벡터는 MM의^⁎ 직교 정규 고유 벡터 집합입니다.
• M의 0이 아닌 단수값$($의 대각선 엔트리에 있음$)$은 MM과^⁎ MM의^⁎$0$이 아닌 $고유값의$제곱근입니다.

수치적 접근법

행렬 M의 SVD는 일반적으로 2단계 절차에 의해 계산됩니다.제1단계에서는 행렬을 쌍대각행렬로 환원한다.여기에는 O(mn²)의 부동소수점 연산(플롭)이 필요합니다.두 번째 단계는 쌍대각 행렬의 SVD를 계산하는 것입니다.이 단계는 고유값 알고리즘과 같이 반복 방법을 통해서만 수행할 수 있습니다.그러나 실제로는 기계 엡실론과 같은 특정 정밀도로 SVD를 계산하는 것으로 충분합니다.이 정밀도가 일정하다고 간주될 경우 두 번째 단계는 O(n)번의 반복을 수행하며, 각 단계는 O(n)번의 실패가 발생합니다.따라서 첫 번째 단계는 더 비싸고 전체 비용은 O(mn²) flops입니다(Trefeten & Bau III 1997, 강의 31).

첫 번째 단계는 단수 벡터가 아닌 단수 값만 필요하다고 가정할 때 4mn² - 4n³/3 Flops의 비용으로 Householder 반사를 사용하여 수행할 수 있다.m이 n보다 훨씬 크면 먼저 행렬 M을 QR 분해와 함께 삼각행렬로 줄인 후 Householder reflection을 사용하여 행렬을 쌍대각 형태로 줄이는 것이 유리하다. 결합 비용은 2mn² + 2n³ flops이다(Trefeten & Bau III 1997, 강의 31).

두 번째 단계는 Golub & Kahan(1965)에 의해 최초로 기술된 고유값 계산을 위한 QR 알고리즘의 변형에 의해 수행될 수 있다.LAPACK 서브루틴 DBDSQR은^[18] 이 반복 방법을 구현하고 단수값이 매우 작은 경우를 커버하기 위해 몇 가지 수정을 가했다(Demmel & Kahan 1990).Householder reflections 및 QR 분해(해당하는 경우)를 사용하는 첫 번째 단계와 함께, 이것은 특이값 분해 계산을 위한 DGESVD^[19] 루틴을 형성한다.

같은 알고리즘이 GNU Scientific Library(GSL)에도 실장되어 있습니다.GSL은 또한 2단계(GSL Team 2007)에서 단측 Jacobi 직교화를 사용하는 대체 방법을 제공합니다.이 방법은 Jacobi 고유값 알고리즘이 2 × 2 고유값 방법의 시퀀스를 해결하는 방법과 유사하게 2 × 2 SVD 문제의 시퀀스를 풀어서 쌍대각 행렬의 SVD를 계산한다(Golub & Van Loan 1996, § 8.6.3).그러나 스텝 2의 또 다른 방법은 분할 및 정복 고유값 알고리즘의 개념을 사용한다(Trefeten & Bau III 1997, 강의 31).

고유값 ^[20]분해를 명시적으로 사용하지 않는 다른 방법이 있습니다.일반적으로 행렬 M의 특이값 문제는 M M^⁎, MM^⁎ 또는 MM과 같은 동등한 대칭 고유값 문제로 변환됩니다.

${\displaystyle {bgin{bmatrix}\mathbf {M}\mathbf {M}^{*}&\mathbf {O}\end{bmatrix}}.}$

고유값 분해를 사용하는 접근법은 안정적이고 빠르게 개발된 QR 알고리즘을 기반으로 합니다.단수 값은 실재하며, 유사성 변환을 형성하기 위해 오른쪽 및 왼쪽 단수 벡터가 필요하지 않습니다.QR 분해와 LQ 분해를 반복하여 번갈아 가며 실제 대각선 에르미트 행렬을 찾을 수 있습니다.QR 분해는 M q Q R, R의 LQ 분해는 R p^⁎ L P를 나타낸다.따라서 모든 반복에서 M l Q L^⁎ P를 사용하고 M l L을 업데이트하며 직교화를 반복합니다.결국,^{[clarification needed]} QR 분해와 LQ 분해 사이의 반복은 좌/우 단일 행렬을 생성한다.이 접근법은 QR 알고리즘이 스펙트럼 이동 또는 감압과 함께 쉽게 가속될 수 없다.이는 유사도 변환을 사용하지 않고서는 이동 방법을 쉽게 정의할 수 없기 때문입니다.그러나 이 반복적인 접근방식은 구현이 매우 간단하기 때문에 속도가 중요하지 않은 경우에는 적절한 선택입니다.또한 이 방법은 순수하게 직교/단일 변환이 SVD를 얻을 수 있는 방법에 대한 통찰력을 제공합니다.

2 × 2 SVD 분석 결과

2 × 2 행렬의 특이값은 분석적으로 찾을 수 있습니다.$행렬$을 M ${\displaystyle =}$ ${\displaystyle {z\mathrm{}}_{}}$ 0${\displaystyle {}_{}\mathbf{}}$ + ${\displaystyle {z\mathrm{}}_{}}$ 1 ${\displaystyle {1\mathrm{}}_{}}$1 + ${\displaystyle {z\mathrm{}}_{}}$ 2 ${\displaystyle {2\mathrm{}}_{}}$2 + ${\displaystyle {}_{}}$ ${\displaystyle {3\mathrm{}}_{}}$ 3 \ $displaystyle$\ $mathbf${ $M$} =$z _${ $0$} \ $mathbf${ $I$} + $z _$ { $1$} \ $sparam$ _ { { 2 } \ $sparamplic _$ { $2$} +$z$ _ { 3 .$}\syslog_{3}}$

${\displaystyle {여기}_{}}$서 z i${\displaystyle {}_{}c\mathbb{}}$C {\$displaystyle z_{i}\in \mathbb {C}}$는 행렬을 파라미터화하는 복소수, I는 항등행렬, ${\displaystyle i_{}}$ i ${\$ _${i}}$는 Pauli행렬을 나타냅니다.그러면 두 개의 특이값이 다음과 같이 주어집니다.

${\displaystyle{\begin{정렬}\sigma _{\pm}&, ={\sqrt{z_{0}^{2}+ z_{1}^{2}+ z_{2}^{2}+ z_{3}^{2}\pm{\sqrt{ᆨ ^{2}- z_{0}^{2}-z_{1}^{2}-z_{2}^{2}-z_{3}^{2}^{2}}}}}\\&, ={\sqrt{z_{0}^{2}+ z_{1}^{2}+ z_{2}^{2}+ z_{3}^{2}\pm 2{\sqrt{ᆩ ^{2}+(\operatornam.e{리}z_{0}z_{2}^{*}^{2}+({0}z_{3}^{*})^2}+({Im} z_{1}z_{2}^{*})^2}+({Operatorname {Im} z_{2}^{*})^{2}+({operatorname {Im})^{2}+({{{{{})^{})^{{{{{{})})^{{{{{{{{{{{{{{{{})})})})} {operatorname} {op$

SVD 감소

응용 프로그램에서 행렬의 늘 공간의 완전한 단일 분해를 포함한 완전한 SVD가 요구되는 것은 매우 드문 일이다.대신, 축소된 버전의 SVD를 계산하는 데 충분한 시간(스토리지의 경우 더 빠르고 더 경제적)을 사용하는 경우가 많습니다.순위 r의 m×n 행렬 M에 대해 다음을 구별할 수 있다.

신SVD

행렬 M의 얇은 또는 이코노미 사이즈의 SVD는 다음과^[21] 같이 주어진다.

${\displaystyle \mathbf {M} =\mathbf {U} _{k} {\boldsymbol {Sigma }} _{k} \mathbf {V} _{k} {*}$

어디에

${\displaystyle k}$ ${\displaystyle =}$ ${\displaystyle \min }$ ${\displaystyle }$ ${\displaystyle m}$ ( m${\displaystyle }$,${\displaystyle n}$) { $displaystyle$ k = \$operatorname {min$} ($m$ ,$n$ )$$,

행렬_k U와_k V는 U와 V의 첫 번째 k개의 열만 포함하며, σ는_k σ의 첫 번째 k개의 단수 값만 포함합니다.따라서_k 행렬 U는 m×k, δ는_k k×k_k, V*는 k×n이다.

신 SVD는 k µ max(m, n)일 경우 공간 및 계산 시간을 상당히 적게 사용합니다.계산의 첫 번째 단계는 보통 M의 QR 분해로, 이 경우 훨씬 더 빨리 계산할 수 있습니다.

콤팩트 SVD

${\displaystyle \mathbf {M} =\mathbf {U} _{r} {\boldsymbol {Sigma }} _{r} \mathbf {V} _{r} {{*}$

0이 아닌 단수값 δ에_r 대응하는 U의 r열 벡터 및 V*의 r행 벡터만을 산출한다.U와 V*의 나머지 벡터는 계산되지 않습니다.이는 r µmin(m, n)일 경우 얇은 SVD보다 빠르고 경제적입니다.따라서_r 행렬 U는 m×r, δ는_r r×r, V*는_r r×n이다.

잘린 SVD

많은 애플리케이션에서 0이 아닌 단수값의 숫자 r이 커서 콤팩트 SVD조차 계산하기 어렵습니다.이 경우 0이 아닌 t µ r 단수 값만 계산하려면 가장 작은 단수 값을 잘라내야 할 수 있습니다.잘린 SVD는 더 이상 원래 행렬 M의 정확한 분해가 아니라 고정 순위 t의 행렬에 의해 최적의 하위 행렬 $근사{\displaystyle \stackrel{}{\mathbf{}}}$M ~$$\$displaystyle \tilde \mathbf {M}}$을(를)

${\displaystyle \stackrel{}{\mathbf{M}}}$~ ${\displaystyle =}$ ${\displaystyle {}_{}}$ t ${\displaystyle {}_{}}$ ${\displaystyle {}_{}^{}}$ ${\$ { $displaystyle${$tilde${ $mathbf${ $M$} } = \ $mathbf${$U$} _ { t } { \ $boldsymbol${ $Sigma$} } }$_${ {$t$ } { { { $t$}$$、

여기서 행렬_t U는 m×t, δ는_t t×t 대각선_t, V*는 t×n이다.t개의 가장 큰 단수값_t δ에 대응하는 V*의 U행 벡터와 t행 벡터의 t열 벡터만을 산출한다.이 방법은 t,r일 경우 콤팩트 SVD보다 훨씬 빠르고 경제적이지만 완전히 다른 수치 솔버 도구 세트가 필요합니다.

행렬 M의 무어-펜로즈 역행렬에 대한 근사치를 필요로 하는 애플리케이션에서, M의 가장 작은 단수 값은 가장 큰 값에 비해 계산하기가 더 어렵다.

잘린 SVD는 잠재의미적 ^[22]색인에 사용된다.

규범

Ky Fan 규범

M의 가장 큰 k개의 단수값의 합은 행렬 노름,^[23] M의 Ky Fan k-norm이다.

Ky Fan 규범 중 첫 번째 Ky Fan 1-norm은 K와ⁿ K의^m 유클리드 규범에 관해 선형 연산자로서 M의 연산자 규범과 동일하다.즉, Ky Fan 1-norm은 표준 δ² 유클리드 내적물에 의해 유도되는 연산자 노름이다.따라서 연산자 2-노름이라고도 합니다.Ky Fan 1 노름과 단수 값 사이의 관계를 쉽게 확인할 수 있습니다.이것은 일반적으로 (아마도 무한 차원) 힐베르트 공간의 유계 연산자 M에 대해 사실이다.

${\displaystyle \\mathbf {M} \=\mathbf {M} ^{*}\mathbf {M} \^{\frac {1}{2}}$

그러나 행렬의 경우, (M*^1/2M)은 정규 행렬이므로, M*M은 (M*M)^1/2의 가장 큰 고유값, 즉 M의 가장 큰 특이값입니다.

Ky Fan 규범 중 마지막, 모든 특이값의 합은 M = Tr[(M*M)]^1/2로 정의되는 추적 규범('핵 규범'이라고도 함)이다(M*M의 고유값은 특이값의 제곱).

힐베르트-슈미트 노름

특이값은 연산자 공간의 또 다른 규범과 관련이 있습니다.다음과 같이 정의된 n × n 행렬에 대한 힐베르트-슈미트 내적을 고려한다.

$(\displaystyle \mathbf {M} ,\mathbf {N} \rangle =\operatorname {tr} \left (\mathbf {N} ^{*}\mathbf {M} \right).}$

그래서 유도 규범은

$({displaystyle \mathbf {M} \ =rightrt {mathbf {M} ,\mathbf {M} \rangle } =rt {operatorname {tr} \left(\mathbf {M} ^{*} \right} ).}$

트레이스는 유니터리 등가 하에서는 불변하기 때문에, 이것은 다음과 같다.

$({displaystyle \\mathbf {M} \ = sum _ {i} \ sum _ {i} ^{2} } )$

여기서 θ는_i M의 단수값입니다.이것은 M의 프로베니우스 노름, 샤텐 2-노름 또는 힐베르트-슈미트 노름이라고 불린다. 직접 계산은 M = (m)의_ij 프로베니우스 노름이 다음과 일치함을 보여준다.

$(\displaystyle\sum_{ij}m_{ij}^{2}}).}$

또한 프로베니우스 노름과 추적 노름(핵 노름)은 섀튼 노름의 특별한 경우이다.

변형 및 일반화

Mode-k 표현

${\displaystyle M}$ ${\displaystyle =}$ ${\displaystyle U}$ ${\displaystyle V^{}}$ T$({$ M$=USV^{\textsf {T}})$는 행렬$$S({$displaystyle$S})의 mode-k 곱셈을 ${\displaystyle {사용}_{}}$하여 ${\displaystyle {}_{}}$ 수 있다$.{\displaystyle {}_{}}$ 행렬 S({$displaystyle \times$ _${1}U$$\}){\displaystyle {}_{}}$ × ${\displaystyle {}_{}}$({$displaystyle \times _{2}V})$는 결과 S${\displaystyle {}_{}}$는 $다음$과 같다.}$V$^[24]

텐서 SVD

텐서 분해에는 두 가지 유형이 있으며, 이는 다중 방향 배열에 대한 SVD를 일반화합니다.그 중 하나는 텐서를 1등급 텐서의 합으로 분해하는데, 이를 텐서 순위 분해라고 한다.두 번째 분해 유형은 텐서가 살고 있는 벡터 공간의 텐서 곱에 나타나는 다른 인자와 연관된 직교 정규 부분 공간을 계산합니다.이 분해는 문헌에서는 고차 SVD(HOSVD) 또는 Tucker3/TuckerM이라고 부릅니다.또한, 다선형 부분 공간 학습에서 다선형 주성분 분석은 터커 분해와 동일한 수학적 연산을 포함하며, 차원 감소의 다른 맥락에서 사용된다.

스케일 불변 SVD

행렬 A의 특이값은 고유하게 정의되며 A의 왼쪽 및/또는 오른쪽 유니터리 변환과 관련하여 불변합니다.즉, UAV의 유니터리 U와 V의 특이값은 A의 특이값과 같다.이것은 회전과 관련하여 유클리드 거리와 불변성을 보존할 필요가 있는 애플리케이션에 대한 중요한 특성이다.

스케일 불변 SVD 또는 SI-SVD는 ^[25]고유하게 결정된 단수 값이 A의 대각 변환에 대해 불변하다는 점을 제외하면 기존 SVD와 유사합니다.즉, 가역 대각 행렬 D와 E에 대한 DAE의 특이값은 A의 특이값과 같다.이것은 변수에 대한 단위 선택에 대한 불변성(예: 미터법 대 영국 단위)이 필요한 애플리케이션에 중요한 속성이다.

고차 SVD 기능(HOSVD)

텐서 곱(TP) 모형 변환은 함수의 HOSVD를 수치적으로 재구성합니다.상세한 것에 대하여는, 다음의 Web 사이트를 참조하십시오.

• 텐서 곱 모형 변환
• HOSVD 기반의 표준 TP 기능 및 qLPV 모델
• 제어 이론에서의 TP 모델 변환

힐베르트 공간의 유계 연산자

인수분해 M = UΩV는^⁎ 분리 가능한 힐베르트 공간 H 상의 유계 연산자 M으로 확장될 수 있다. 즉, 유계 연산자 M의 경우, 부분 등각 U, 유니터리 V, 측정 공간 (X, μ) 및 다음과 같이 음이 아닌 측정 가능한 f가 존재한다.

${\displaystyle \mathbf {M} =\mathbf {U} T_{f}\mathbf {V} ^{*}$

${\displaystyle {여기}_{}}$서 T$$f {\$displaystyle T_{f}}$는 L(X, μ)에서² f를 곱한 값입니다.

이것은 위의 결혼 사례에 대한 선형 대수 인수를 모방함으로써 나타낼 수 있다.VTV*는_f M*M의 고유한 양의 제곱근이며, 자기접합 연산자에 대한 보렐 함수 미적분에 의해 제공됩니다.U가 유니터리일 필요가 없는 이유는 유한 차원 사례와 달리, 중요하지 않은 커널을 가진 등각₁ U가 주어졌을 때, 적절한₂ U가 발견되지 않을 수 있기 때문이다.

$(\displaystyle \ bmatrix \U_{1}\U_{2}\end {bmatrix}}$

는 유니터리 연산자입니다.

행렬의 경우, 특이값 인수분해는 연산자를 위한 극성 분해와 같다: 우리는 간단히 쓸 수 있다.

${\displaystyle \mathbf {M} =\mathbf {U} \mathbf {V} ^{*}\cdot \mathbf {V} T_{f}\mathbf {V} ^{*}}$

그리고_f VTV*가 양성이지만 UV*는 여전히 부분 등각이라는 점에 유의하십시오.

특이값 및 콤팩트 연산자

단수값과 좌/우 단수 벡터의 개념은 힐베르트 공간의 콤팩트 연산자로 확장될 수 있다. 이들은 이산 스펙트럼을 가지고 있기 때문이다.T가 콤팩트한 경우 스펙트럼 내의 0이 아닌 모든 θ는 고유값입니다.게다가 콤팩트한 자기접합 연산자는, 그 고유 벡터에 의해서 대각화할 수 있다.M이 콤팩트한 경우 MM도^⁎ 마찬가지입니다.대각화 결과를 적용하면 양의 제곱근_f T의 유니터리 이미지는 엄밀하게 양의 고유값 {}.}에_i 대응하는 일련의 직교 정규 고유 벡터 {e_i}를 가집니다.임의의 ψ hH에 대해서

$\displaystyle \mathbf {M} \psi =\mathbf {U} T_{f} \mathbf {V} ^{*} \psi =\sum _{i} \sum \mathbf {U} T_{f} \mathbf {V} ^{*} \psi} \mathbf}$

여기서 급수는 H의 표준 위상에 수렴한다. 이것이 유한 차원 사례의 표현과 어떻게 유사하는지 주목하라.θ를 M_i. {Ue}(resp)의 단수값이라고 합니다_i.{Ve_i}은(는) M의 왼쪽-싱글러(오른쪽-싱글러) 벡터로 간주할 수 있습니다.

힐베르트 공간의 콤팩트 연산자는 균일한 연산자 토폴로지에서 유한 순위 연산자의 폐쇄입니다.위의 급수식은 이러한 표현을 명확하게 제시합니다.이로 인한 즉각적인 결과는 다음과 같습니다.

정리.MM이 컴팩트한 경우에만^⁎ M은 컴팩트합니다.

역사

특이값 분해는 원래 미분 기하학에 의해 개발되었으며, 그들은 실제 이중선형 형태가 작용하는 두 공간의 독립적인 직교 변환에 의해 다른 것과 같아질 수 있는지 여부를 결정하기를 원했다.Eugenio Beltrami와 Camille Jordan은 각각 독립적으로 1873년과 1874년에 매트릭스로 표현되는 쌍선형 형태의 특이값이 직교 치환 하에서 쌍선형 형식에 대한 완전한 불변량을 형성한다는 것을 발견했다.제임스 조셉 실베스터는 1889년 벨트라미와 요르단에서 독립한 것으로 보이는 실제 제곱 행렬의 특이값 분해에 도달했다.실베스터는 이 단수를 행렬 A의 정칙승수라고 불렀다.독자적으로 특이값 분해를 발견한 네 번째 수학자는 극분해로 1915년에 도착한 오톤이다.직사각형 행렬과 복소 행렬에 대한 특이값 분해의 첫 번째 증거는 1936년 ^[26]칼 에카트와 게일 J. 영으로 보인다. 그들은 그것을 에르미트 행렬에 대한 주축 변환의 일반화라고 보았다.

1907년, 에르하르트 슈미트는 적분 연산자를 위한 특이값의 유사점을 정의했다(이것은 일부 약한 기술적 가정 하에서 콤팩트하다). 그는 유한 행렬의 특이값에 대한 병렬 작업을 알지 못한 것으로 보인다.이 이론은 1910년 에밀 피카르에 의해 더욱 발전되었는데, 그는 최초로 숫자를 ${\displaystyle k_{}}$ k$(프랑스어$로 발레르 싱굴리에르$)$의 단수값이라고 불렀다.

SVD를 계산하는 실용적인 방법은 1954-1955년 Kogbetliantz와 1958년 ^[27]Hestenes로 거슬러 올라가며, 평면 회전 또는 기븐스 회전을 사용하는 야코비 고유값 알고리즘과 매우 유사하다.그러나 이들은 1965년에 ^[28]발표된 Gene Golub과 William Kahan의 방법으로 대체되었다. 이 방법은 Householder 변환 또는 반사를 사용한다.1970년에 Golub와 Christian Reinch는^[29] 오늘날에도 가장 많이 사용되는 Golub/Kahan 알고리즘의 변형을 발표했습니다.

「 」를 참조해 주세요.

메모들

레퍼런스

• Banerjee, Sudipto; Roy, Anindya (2014), Linear Algebra and Matrix Analysis for Statistics, Texts in Statistical Science (1st ed.), Chapman and Hall/CRC, ISBN 978-1420095388
• Chicco, D; Masseroli, M (2015). "Software suite for gene and protein annotation prediction and similarity search". IEEE/ACM Transactions on Computational Biology and Bioinformatics. 12 (4): 837–843. doi:10.1109/TCBB.2014.2382127.
• Trefethen, Lloyd N.; Bau III, David (1997). Numerical linear algebra. Philadelphia: Society for Industrial and Applied Mathematics. ISBN 978-0-89871-361-9.
• Demmel, James; Kahan, William (1990). "Accurate singular values of bidiagonal matrices". SIAM Journal on Scientific and Statistical Computing. 11 (5): 873–912. CiteSeerX 10.1.1.48.3740. doi:10.1137/0911052.
• Golub, Gene H.; Kahan, William (1965). "Calculating the singular values and pseudo-inverse of a matrix". Journal of the Society for Industrial and Applied Mathematics, Series B: Numerical Analysis. 2 (2): 205–224. Bibcode:1965SJNA....2..205G. doi:10.1137/0702016. JSTOR 2949777.
• Golub, Gene H.; Van Loan, Charles F. (1996). Matrix Computations (3rd ed.). Johns Hopkins. ISBN 978-0-8018-5414-9.
• GSL Team (2007). "§14.4 Singular Value Decomposition". GNU Scientific Library. Reference Manual.
• Haldor, Bjornsson and Vengas, Silvia A.(1997)."기후 데이터의 EOF 및 SVD 분석을 위한 매뉴얼"McGill University, CCGR 보고서 No. 97-1, Montréal, Quebec, 52pp.
• Hansen, P. C. (1987). "The truncated SVD as a method for regularization". BIT. 27 (4): 534–553. doi:10.1007/BF01937276. S2CID 37591557.
• Horn, Roger A.; Johnson, Charles R. (1985). "Section 7.3". Matrix Analysis. Cambridge University Press. ISBN 978-0-521-38632-6.
• Horn, Roger A.; Johnson, Charles R. (1991). "Chapter 3". Topics in Matrix Analysis. Cambridge University Press. ISBN 978-0-521-46713-1.
• Samet, H. (2006). Foundations of Multidimensional and Metric Data Structures. Morgan Kaufmann. ISBN 978-0-12-369446-1.
• Strang G. (1998). "Section 6.7". Introduction to Linear Algebra (3rd ed.). Wellesley-Cambridge Press. ISBN 978-0-9614088-5-5.
• Stewart, G. W. (1993). "On the Early History of the Singular Value Decomposition". SIAM Review. 35 (4): 551–566. CiteSeerX 10.1.1.23.1831. doi:10.1137/1035134. hdl:1903/566. JSTOR 2132388.
• Wall, Michael E.; Rechtsteiner, Andreas; Rocha, Luis M. (2003). "Singular value decomposition and principal component analysis". In D.P. Berrar; W. Dubitzky; M. Granzow (eds.). A Practical Approach to Microarray Data Analysis. Norwell, MA: Kluwer. pp. 91–109.
• Press, WH; Teukolsky, SA; Vetterling, WT; Flannery, BP (2007), "Section 2.6", Numerical Recipes: The Art of Scientific Computing (3rd ed.), New York: Cambridge University Press, ISBN 978-0-521-88068-8

외부 링크

• 온라인 SVD 계산기