텐서 순위 분해

다중선 대수학에서 텐서 순위 분해 또는 정합 폴리아디치 분해(CPD)는 통계, 신호 처리, 컴퓨터 비전, 컴퓨터 그래픽, 심리측정학, 언어학, 화학측정학에서 응용을 발견한 매트릭스 단수값 분해(SVD)를 텐서에 일반화한 것이다.텐서 계급 분해는 1927년^[1] 히치콕에 의해 도입되었고 이후 여러 번 재발견되었으며, 특히 정신측정학에서 두드러졌다.^[2][3]이러한 이유로 텐서 순위 분해는 흔히 CANDECOMP,^[2] PARAFAC ^[3]또는 CANDECOMP/PARAFAC(CP)라고 부른다.

Matrix SVD의 또 다른 일반적인 일반화는 고차 단수 값 분해로 알려져 있다.

표기법

스칼라 변수는 $소문자{\displaystyle }$ 기울임꼴 문자, ${\displaystyle a},$ 상수$$ 스칼라는 대문자 기울임꼴 문자 $A{\displaystyle }$ ${\displaystyle A}$로 표시된다$.$

Indices are denoted by a combination of lowercase and upper case italic letters, ${\displaystyle 1\leq i\leq I}$. Multiple indices that one might encounter when referring to the multiple modes of a tensor are conveniently denoted by ${\displaystyle 1\leq i_{m}\leq I_{m}}$ where ${\displays$$Tyle 1\leq$ m$\leq M$

벡터는 $소문자{\displaystyle \mathbf{}}$ 굵게 표시된 타임스 로만, ${\$ 행렬은$$ 굵은 대문자로 $표시$된 A ${\$

A higher order tensor is denoted by calligraphic letters,${\displaystyle {\mathcal {A}}}$. An element of an ${\displaystyle M}$-order tensor ${\displaystyle {\mathcal {A}}\in \mathbb {C} ^{I_{1}\times I_{2}\times \dots I_{m}\times \dots I_{M}}}$ is denoted by ${\displaystyle a_{}}$${\displaystyle a_{i_{1},i_{2},\dots ,i_{m},\dots i_{M}}}$ or ${\displaystyle {\mathcal {A}}_{i_{1},i_{2},\dots ,i_{m},\dots i_{M}}}$.

정의

텐서(tensor)는 일련의 벡터 공간을 다른 벡터 공간에 매핑하는 다중선 변환이다.데이터 텐서(data tensor)는 M-way 배열로 구성된 다변량 관측치의 집합이다.

데이터 텐서 $F{\displaystyle {}^{}}$ I ${\displaystyle {{1\mathrm{}}_{}}^{}}$ ${\displaystyle {{}_{}}^{}}$ I ${\displaystyle {{2\mathrm{}}_{}{}_{}}^{}}$ …${\displaystyle {}^{}}$× ${\displaystyle {}^{}}$ ${\displaystyle {M_{}}^{}}$ ${\displaystyle {{}_{}}^{}}$ F I ${\displaystyle {{1\mathrm{}}_{}}^{}}$ ${\displaystyle {{}_{}}^{}}$ ${\displaystyle {}^{}}$ ${\displaystyle {I{}_{}}^{}}$ ${\displaystyle {{2\mathrm{}}_{}}^{}}$ ${\displaystyle {{}_{}}^{}}$… ${\displaystyle \otimes }$ F ${\displaystyle {I_{}}^{}}$ M ${\$$I_{1}\time I_{2}\time \dots \time I_{M}\cong F^{{}}$$I_{1}}\여러 번 F^{$$I_{2}}회\몇 번 \ldots \몇 번 F^{$$I_{M}}}$, where ${\displaystyle F}$ is either the real field ${\displaystyle \mathbb {R} }$ or the complex field ${\displaystyle \mathbb {C} }$. Every (order-${\displaystyle M}$, refers to the number of modes) tensor in this space may then be represented with a suitably large ${\displaystyle r}$ as a lin$r{\displaystyle }$ ${\displaystyle r}$ 순위$$ 텐서의 이어 조합:

${\displaystyle {\mathcal {A}}=\sum _{i=1}^{r}\lambda _{i}\mathbf {a} _{1,i}\otimes \mathbf {a} _{2,i}\dots \otimes \mathbf {a} _{m,i}\otimes \cdots \otimes \mathbf {a} _{M,i},}$

여기서 $\lambda {\displaystyle {}_{}}$ ${\displaystyle i_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle F}$ ${\displaystyle \lambda _{i}\in F}$ 및 ${\displaystyle {}_{}}$ , ${\displaystyle i_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle {}^{}}$ ${\displaystyle {I{}_{}}^{}}$ ${\displaystyle {m_{}}^{}}$ ${\$ F$^{}$$I_{m}}}$ where ${\displaystyle 1\leq m\leq M}$. When the number of terms ${\displaystyle r}$ is minimal in the above expression, then ${\displaystyle r}$ is called the rank of the tensor, and the decomposition is often referred to as a (tensor) rank decomposition, minimal CP decomposition, or Canonical Polyadic DecoMPD(CPD)반대로 항 수가 최소가 아닌 경우 위의 분해는 종종 $r{\displaystyle }$ ${\displaystyle r}$ -term$$ 분해, CANDECOMP/PARAFAC 또는 Polyadic 분해라고 한다.

텐서 순위

행렬의 경우와 달리, 텐서(tensor)의 계급은 현재 잘 이해되지 않는다.텐서 순위 산정 문제는 NP-hard인 것으로 알려졌다.^[4]유일하게 잘 이해된 사례는 F ${\displaystyle {I{}_{}}^{}}$ m${\displaystyle {{}_{}}^{}{m_{}}^{}}$ F ${\displaystyle {}^{}}$ ${\displaystyle {n_{}}^{}}$ ${\displaystyle {{}_{}}^{}}$ ${\displaystyle {}^{}}$ ${\displaystyle {2\mathrm{}}^{}}$ ${\$ F$^{$의 텐서들로 구성되어 있다.$I_{m}\여러 번 F^{$Kronecker–에서 순위를 얻을 수 있는 $I_{n}\otimes$ F$^{2$}}명$.$Weierstrass는 텐서가 나타내는 선형 매트릭스 연필의 정상적인 형태.^[5]텐서가 1위, 즉 고차 단수 값 분해임을 인증하기 위한 간단한 다항식 시간 알고리즘이 존재한다.

0의 텐서 순위는 관례상 0이다.${\displaystyle {1{}_{}}^{}{}_{}}$${\displaystyle {\mathrm{}}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle \otimes }$ ${\displaystyle \otimes }$ ${\displaystyle {}_{}}$ ${\$ \otimes $\$${\displaystyle {{mathbf}_{}}^{}}$${a$${\displaystyle \}}$${$${\displaystyle \mathrm{a}}$$}$ ${\displaysty \mathbf {a} _{m}{m}}{$$M$^{}}}}}}}가$$ 1인 경우.$I_{m}\setminus \{0$

현장 의존성

텐서의 등급은 텐서가 분해되는 영역에 따라 달라진다.일부 실물 텐서들은 같은 텐서의 실제 분해 등급보다 등급이 엄격히 낮은 복합 분해 등급을 인정할 수도 있다고 알려져 있다.예를 들어 다음과 같은 실제 텐셔너를 고려하십시오.^[6]

${\displaystyle {\mathcal {A}}=\mathbf {x} _{1}\otimes \mathbf {x} _{2}\otimes \mathbf {x} _{3}+\mathbf {x} _{1}\otimes \mathbf {y} _{2}\otimes \mathbf {y} _{3}-\mathbf {y} _{1}\otimes \mathbf {x} _{2}\otimes \mathbf {y} _{3}+\mathbf {y} _{1}\otimes \mathbf {y} _{2}\otimes \mathbf {x} _{3},}$

여기서 $x{\displaystyle {\mathbf{}}_{}}$ ${\displaystyle {}_{}}$, y ${\displaystyle {}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle {\mathrm{}}^{}}$ ${\displaystyle {\mathbb{}}^{}}$ ${\$이 텐서(reals)의 상위는 3인 것으로 알려져 있는 반면, 복합 랭킹은 복합적인 1 텐서(complex tensor)와 복합적인 결합, 즉, 2인칭으로 되어 있기 때문에 2인칭에 불과하다.

${\displaystyle {\mathcal {A}}={\frac {1}{2}}({\bar {\mathbf {z} }}_{1}\otimes \mathbf {z} _{2}\otimes {\bar {\mathbf {z} }}_{3}+\mathbf {z} _{1}\otimes {\bar {\mathbf {z} }}_{2}\otimes \mathbf {z} _{3}),}$

${\displaystyle {}_{}}$서 $z{\displaystyle {\mathbf{}}_{}}$= ${\displaystyle {\mathbf{}}_{}}$ ${\displaystyle {}_{}}$+ ${\displaystyle {\mathbf{}}_{}}$ ${\displaystyle {}_{}}$ ${\$

대조적으로, 실제 행렬의 순위는 $C{\displaystyle \mathbb{}}$ ${\$까지 필드 확장에서 절대 감소하지 않는다$.$ 즉, 실제 행렬의 순위와 복잡한 행렬 순위는 일치한다.

일반 순위

The generic rank ${\displaystyle r(I_{1},\ldots ,I_{M})}$ is defined as the least rank ${\displaystyle r}$ such that the closure in the Zariski topology of the set of tensors of rank at most ${\displaystyle r}$ is the entire space ${\displaystyle F^{$$I_{1}}\여러 번 \cdots \여러 번 F^{$$I_{M}}}$. In the case of complex tensors, tensors of rank at most ${\displaystyle r(I_{1},\ldots ,I_{M})}$ form a dense set ${\displaystyle S}$: every tensor in the aforementioned space is either of rank less than the generic rank, or it is the limit in the Euclidean topology of a sequence of tensors from${\displaystyle S}$ ${\displaystyle S$ 실제 텐더의 경우, $최대{\displaystyle }$r${\displaystyle {}_{}}$(${\displaystyle {I\mathrm{}}_{}}$1, ${\displaystyle \dots ,}$ ${\displaystyle {}_{}}$ ${\displaystyle M_{}}$)$${\$displaystyle r(I_{1},\ldots, I_{M})$의 순위 텐서 집합은 유클리드 위상에서 개방된 양의 측정 집합만$$ 형성한다.일반 순위보다 엄격히 높은 등급의 유클리드 오픈 텐서 집합이 존재할 수 있다.유클리드 위상에서의 오픈 세트에 나타나는 모든 순위를 전형적인 순위라고 부른다.가장 작은 전형적인 순위를 일반 순위라고 부른다. 이 정의는 복잡한 텐서 및 실제 텐서 모두에 적용된다.텐서 공간의 일반적인 등급은 볼커 스트라센에 의해 1983년에 연구되었다.^[7]

As an illustration of the above concepts, it is known that both 2 and 3 are typical ranks of ${\displaystyle \mathbb {R} ^{2}\otimes \mathbb {R} ^{2}\otimes \mathbb {R} ^{2}}$ while the generic rank of ${\displaystyle \mathbb {C} ^{2}\otimes \mathbb {C} ^{2}\otimes \math$$bb {C} ^{2}}:$ 2$$.실질적으로 이것은 $크기$가 2${\displaystyle }$× ${\displaystyle 2}$× ${\displaystyle 2}$ $(\displaystyle$ 2$\time$ 2$\times 2)$인 무작위로 표본 추출된 실제 텐서(텐서 공간에 대한 연속 확률 측정)가 확률 0을 가진 순위 1 텐서, 양의 확률을 가진 순위 2 텐서, 그리고 양의 확률을 가진 순위 3위가 된다는$$ 것을 의미한다.반면, 같은 크기의 무작위로 표본 추출된 복합 텐서는 확률 0의 1등급 텐서, 확률 1의 2등급 텐서, 확률 0의 3등급 텐서가 된다.${\displaystyle {\mathrm{}}^{}}$ 2${\displaystyle {}^{}}$⊗ ${\displaystyle {\mathbb{}}^{}}$ ${\displaystyle {\mathrm{}}^{}}$ ${\displaystyle {}^{}}$ ${\displaystyle {\mathbb{}}^{}}$ ${\displaystyle {\mathrm{}}^{}}$ $\$ R 2 {\$displaystyle \mathb$ {$R} ^{2$}\$otimes \mathb${R}$^{2$}\$otimes$ \mathb ${R} ^{2$} \mathb {R} ^{$1}}}}}}}}}}$의 일반 순위-3는 2와 동일한 복합 순위일 것으로$$ 알려져 있다.

텐서 공간의 일반적인 순위는 균형잡힌 텐서 공간과 불균형한 텐서 공간의 구분에 따라 달라진다.텐서 스페이스 $F{\displaystyle {}^{}}$ ${\displaystyle {I{}_{}}^{}}$ ${\displaystyle {{1\mathrm{}}_{}}^{}}$ ${\displaystyle {{}_{}}^{}}$ ${\displaystyle \cdots }$ F ${\displaystyle {I_{}}^{}}$ ${\displaystyle {M{}_{}}^{}}$ ${\$$I_{1}}\여러 번 \cdots \여러 번 F^{$$I\_{\displaystyle {}_{}}$${M$ 여기서 I ${\displaystyle {1\mathrm{}}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle {2\mathrm{}}_{}\ge }$ ${\displaystyle \cdots }$ ${\displaystyle {}_{}}$ ${\$}}은$($는) 항상 불균형이라고 불린다.

${\displaystyle I_{1}]1+\prod _{m=2}^{M}I_{m}-\sum _{m=2}^{M}(I_{m}-1),}$

그리고 그것은 다른 방법으로 균형이라고 불린다.

불균형 텐서 공간

텐서 제품의 다른 요소와 관련하여 첫 번째 요인이 매우 크면 텐서 공간은 본질적으로 매트릭스 공간으로 작용한다.불균형한 텐서 공간에서 생활하는 텐서들의 일반적인 등급은 동일한 것으로 알려져 있다.

${\displaystyle r(I_{1},\ldots, I_{M}=\min \left\{{{}}I_{1},\prod _{m=2}^{M}I_{m}\right\}}}$

거의 모든 곳에${\displaystyle \mathrm{보다}}$ 정확히 말하면 불균형 텐서 공간 $F{\displaystyle {}^{}}$ ${\displaystyle {I{}_{}}^{}}$ ${\displaystyle {{1\mathrm{}}_{}}^{}}$ ${\displaystyle {{}_{}}^{}}$ ${\displaystyle {\times }^{}}$× I ${\displaystyle {M_{}}^{}}$ ${\displaystyle {{}_{}}^{}}$ Z ${\displaystyle F^{$$I_{1}\time \cdots \time I_{M}\setminus Z$ 여기서 $Z$ ${\displaystyle$ Z$}$은(는) Zariski 토폴로지에서 불확실한 폐쇄 집합으로, 위의 값과 같다.^[8]

균형 텐서 공간

균형 잡힌 텐서 공간에서 생활하는 텐서들의 예상 일반 순위는 다음과 같다.

${\displaystyle r_{E}(I_{1},\ldots, I_{M}=\왼쪽\lceil {\frac {\Pi }{\Sigma +1}\오른쪽\rceil }}}}$

거의 모든 곳에서 복잡한 텐서들을 위해 그리고 실제 텐서들을 위한 유클리드 오픈 세트에서.

${\displaystyle \Pi =\prod _{m=1}^{M}I_{m}\quad {\text{and}}\quad \Sigma =\sum _{m=1}^{M}(I_{m}-1)}$

More precisely, the rank of every tensor in ${\displaystyle \mathbb {C} ^{I_{1}\times \cdots \times I_{M}}\setminus Z}$, where ${\displaystyle Z}$ is some indeterminate closed set in the Zariski topology, is expected to equal the above value.^[9]실제 텐셔너의 경우 $r{\displaystyle {}_{}}$ E${\displaystyle {}_{}{I}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$, …${\displaystyle }$,${\displaystyle I_{}}$ M${\displaystyle {}_{}}$) ${\displaystyle r_{E}(I_{1},\ldots, I_{M})$는 일련의 양성 유클리드 측정에서 발생할 것으로 예상되는 최소 등급이다$$.$r{\displaystyle {}_{}}$ ${\displaystyle E_{}}$( ${\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$,${\displaystyle }$…,${\displaystyle I_{}}$ ${\displaystyle {}_{}}$) ${\displaystyle r_{E}(I_{1},\ldots,$ ${\displaystyle {{I\_\mathrm{}}_{}}^{}}$${M})$ 값은 종종$$ 텐서 공간 $F{\displaystyle {}^{}}$ ${\displaystyle {1{}_{}}^{}}$ ${\displaystyle {{}_{}}^{}}$ × ${\displaystyle {\times }^{}}$ I ${\displaystyle {M_{}}^{}}$ ${\$의 예상 일반 순위라고 한다.$I_{1}\time \cdots \time I_{M}}$ 추측적으로만 정확하기$$ 때문에 \cdots \time I_{M}.진정한 일반 계급은 항상 만족한다고 알려져 있다.

${\displaystyle r(I_{1},\ldots, I_{M})\geq r_{E}(I_{1},\ldots, I_{M}).$

The Abo–Ottaviani–Peterson conjecture^[9] states that equality is expected, i.e., ${\displaystyle r(I_{1},\ldots ,I_{M})=r_{E}(I_{1},\ldots ,I_{M})}$, with the following exceptional cases:

• ${\displaystyle F^{(2m+1)\time (2m+1)\time 3}{\text{{}}{{}m=1,2,\ldots }}$
• ${\displaystyle F^{(m+1)\time (m+1)\time 2\time 2}{\text{{}}}}{}m=2,3,\ldots }}}$

In each of these exceptional cases, the generic rank is known to be ${\displaystyle r(I_{1},\ldots ,I_{m},\ldots ,I_{M})=r_{E}(I_{1},\ldots ,I_{M})+1}$. Note that while the set of tensors of rank 3 in ${\displaystyle F^{2\times 2\times 2$$\cHB2}$은(는) 결함$$(13개, 예상 14개)이며, 해당 공간의 일반 등급은 여전히 예상 등급인 4개다.

AOP의 추측은 여러 특수한 경우에서 완전히 입증되었다.Lickteig 이미 1985년에 r(n, n, n))r E(n, n, n){\displaystyle r(n,n,n)=r_{E}(n,n,n)}, 그 n2011년은 중요한 돌파구 Catalisano, Geramita, Gimigliano는 모든 계급의 집합의 예상 차원{s\displaystyle}을 증명에 의해 설립되었습니다 3{\displaystyle n\neq 3}.[10]≠을 보여 주었다.형식 $2{\displaystyle \mathrm{}}$ ${\displaystyle \times }$ ${\displaystyle 2}$ ${\displaystyle \times }$ ${\displaystyle \times }$ ${\displaystyle \times }$ ${\displaystyle 2}$ $×$ × × × × × × × × × $\displaystyle 2\cdots \cdots \cdots$ 2$}$는 4인자 케이스에서 3위 텐더를 제외하고 예상 텐서지만$$, 그 경우 예상 랭크는 여전히 4이다.그$$ 결과,${\displaystyle \mathrm{r}}$ (${\displaystyle 2}$, 2,${\displaystyle \dots ,}$2${\displaystyle }$) = ${\displaystyle {}_{}}$ ${\displaystyle E_{}}$(${\displaystyle 2}$, ${\displaystyle 2,}$…${\displaystyle }$, ${\displaystyle 2}$) ${\displaystyle r (2,2,\ldots,2$)=$r_{E}(2,$^[11]2,\$ldots$ ,$2)}}.$

최대 순위

텐서 공간에 있는 텐서들 중 어떤 사람이든 인정할 수 있는 최대 등급은 일반적으로 알려져 있지 않다; 이 최대 등급에 대한 추측조차도 빠져 있다.현재 최상의 일반 상한은 $F{\displaystyle {}^{}}$ I ${\displaystyle {{1\mathrm{}}_{}}^{}}$ ⊗${\displaystyle }$⊗${\displaystyle }$${\displaystyle \cdots }$ ${\displaystyle {m_{}}^{}}$ ${\displaystyle {}^{}}$ I M$${\$displaystyle r_${\mbox${max}}(I_${1$},\ldots$, $I_{M})$의 최대 $순위{\displaystyle {}_{}}$ $({\$$displaystyle$ F$^{\}}}}$을(를${\displaystyle {}_{}}$라고 명시하고 있다.$I_{1}}\여러 번 \cdots \여러 번 F^{$${\displaystyle {I\_\mathrm{}}_{}}$${M$ 여기서 $I{\displaystyle {}_{}}$ 1 ${\displaystyle {}_{}}$ I ${\displaystyle {2\mathrm{}}_{}}$ ${\displaystyle \ge }$ ⋯ ${\displaystyle \cdots }$ ${\displaystyle I_{}}$ ${\$은$($는) 만족한다.

${\displaystyle r_{\mbox{max}}(I_{1},\ldots,I_{M})\leq \min \좌측\{\prod _{m=2}^{M}}I_{m},2\cdot r(I_{1},\ldots, I_{M}\right\}}}$

여기서 $r{\displaystyle }$( ${\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$, ${\displaystyle ...}$ , ${\displaystyle {}_{}}$ ${\displaystyle M_{}}$) ${\displaystyle r(I_{1},\ldots, I_{M}}}$은(는) F $I{\displaystyle {}^{}}$ ${\displaystyle {{1\mathrm{}}_{}}^{}}$⊗ ${\displaystyle \otimes }$ ${\displaystyle {}^{}}$ $I$ ${\displaystyle {M_{}}^{}}$ ${\$ F$^{)$의 (최소) 일반 순위다.$I_{1}}\여러 번 \cdots \여러 번 F^{$$I_{M$^[12] 앞서 말한 불평등이 엄격할 수 있다는 것은 잘 알려져 있다.예를 들어 R ${\displaystyle {\mathrm{}}^{}}$ ${\displaystyle {\times }^{}}$ ${\displaystyle 2^{}}$ ${\displaystyle {\times }^{}}$ ${\displaystyle 2^{}}$ ${\$ 2$\times2$}}:$$2이므로 위의$$ 바운드가 ${\displaystyle {\text{rmax}}_{}}$ (${\displaystyle 2{,}_{}}$2 ,${\displaystyle 2}$)${\displaystyle 4}$ 4$${\$displaystyle r_{\mbox}}{max$}($2,2),\leq$ 4$\}$가 되도록 한다.^[6]

경계 순위

만약 계급의 tensors의 시퀀스 대부분의 r<>에서 존재하{s\displaystyle}}한{\displaystyle{{A\mathcal}텐서 Arank- s}국경 텐섰잖니{\displaystyle r&lt니다.}의 한계가 있는{\displaystyle{{A\mathcal}}}. 만약 r{r\displaystyle}가장 값 그런 수렴 sequ라고 불린다.eencexists, 그 $다음$에는 A의 경계 순위라고 부른다$.$ 순서-2 텐셔의 경우, 즉 행렬, 순위 및 경계 순위는 항상 일치하지만, 순서 ${\displaystyle 3}$ 3의 경우$(\displaystyle \geq$ 3$}).$테두리 텐서는 1980년 비니, 로티, 로마니에 의해 빠른 근사 행렬 곱셈 알고리즘의 맥락에서 처음 연구되었다.^[13]

테두리 텐서의 전형적인 예로는 3등급 텐서가 있다.

${\displaystyle {\mathcal {A}}=\mathbf {u} \otimes \mathbf {u} \otimes \mathbf {v} +\mathbf {u} \otimes \mathbf {v} \otimes \mathbf {u} +\mathbf {v} \otimes \mathbf {u} \otimes \mathbf {u} ,\quad {\text{with }}\ \mathbf {u} \ =\ \mathbf {v} \ =1{\text{ and }}\langle \mathbf {u} ,\mathbf {v} \rangle \neq 1.}$

다음과 같은 순위 2 텐서 순서에 의해 임의로 잘 추정할 수 있다.

${\displaystyle{\begin{정렬}{{A\mathcal}}_{m}&, =m(\mathbf{너}와{\frac{1}{m}}\mathbf{v})\otimes(\mathbf{너}와{\frac{1}{m}}\mathbf{v})\otimes{u}\otimes{u}\otimes \mathbf{u}\\& \mathbf(\mathbf{너}와{\frac{1}{m}}\mathbf{v})-m\mathbf, =\mathbf{u}\otimes{u}\otimes{u}\otimes \mathbf{v}+\mathbf \mathbf{v}\otimes \mathbf. \mathbf{u} +\mathbf {v} \otimes \mathbf {u} \otimes \mathbf {u} +{\frac {1}{m}}(\mathbf {u} \otimes \mathbf {v} \otimes \mathbf {v} +\mathbf {v} \otimes \mathbf {u} \otimes \mathbf {v} +\mathbf {v} \otimes \mathbf {v} \otimes \mathbf {u} )+{\frac {1}{m^{2}}}\mathbf {v} \otimes \mathbf {v} \otimes \mathbf {v} \end{aligned}}}$

$m{\displaystyle }$→$∞[\displaystyle$ m$\to \infit }.$ 따라서 경계 등급은 2로, 절대 등급에 미치지 못한다$.$두 벡터가 직교하는 경우 이 예는 W 상태라고도 한다.

특성.

식별 가능성

It follows from the definition of a pure tensor that ${\displaystyle {\mathcal {A}}=\mathbf {a} _{1}\otimes \mathbf {a} _{2}\otimes \cdots \otimes \mathbf {a} _{M}=\mathbf {b} _{1}\otimes \mathbf {b} _{2}\otimes \cdots \otimes \mathbf {b} _{M}}$ if and onlyif there exist ${\displaystyle \lambda _{k}}$ such that ${\displaystyle \lambda _{1}\lambda _{2}\cdots \lambda _{M}=1}$ and ${\displaystyle \mathbf {a} ^{m}=\lambda _{m}\mathbf {b} _{m}}$ for all m.이러한 이유로 순위 1 $텐서{\displaystyle \mathcal{}}$ A$$ ${\${${\displaystyle {}_{}^{}}$$}$$_{m}\mathbf {a}_{$m}_{$m=1}^{$$M$}}은$($는$){\displaystyle }$ 식별 가능하거나 본질적으로 고유하다고 한다$$.순위 ${\displaystyle }$ ${\displaystyle r}$ 텐서$$ $A{\displaystyle \mathcal{}}$or F ${\displaystyle {}^{}}$ ${\displaystyle {{1\mathrm{}}_{}}^{}}$ ${\displaystyle {{}_{}}^{}}$ ${\displaystyle {}^{}}$ I ${\displaystyle {{2\mathrm{}}_{}}^{}}$ ${\displaystyle {{}_{}}^{}}$ ${\displaystyle \cdots }$ ${\displaystyle {}^{}}$ I ${\displaystyle {M_{}}^{}}$ ${\${A$}\in$ F$^{$$I_{1}}\여러 번 F^{$$I_{2}}회\일회 \cdots \일회 F^{$$I_{M}}}$ is called identifiable if every of its tensor rank decompositions is the sum of the same set of ${\displaystyle r}$ distinct tensors ${\displaystyle \{{\mathcal {A}}_{1},{\mathcal {A}}_{2},\ldots ,{\mathcal {A}}_{r}\}}$ where the ${\displaystyle {\mathcal {A}}_$${i}}$은$($는) 1등급이다.따라서$$ 식별 가능한 ${\displaystyle }$ 순위$${\$displaystyle r$}은(는) 기본적으로 하나의 고유한 분해만 가지고 있음

$그리고$ 모든 $r{\displaystyle !}$ ${\$$displaystyle$ $r$$!}$의 순위 분해는 합계 순서를 허용하여 얻을 수 있다$$$.$텐서 순위 분해에서 모든$$${\displaystyle A_{}}$ i ${\$s가 구별되는지 관찰하십시오. 그렇지 않으면 $A{\displaystyle \mathcal{}}$ ${\$의 순위는 최대 $r{\displaystyle }$- ${\displaystyle 1}$ ${\displaysty r-1$이 될 수 있습니다$$.

일반 식별성

$순서{\displaystyle {}^{}}$ 2 F ${\displaystyle {I{}_{}}^{}}$ ${\displaystyle {{1\mathrm{}}_{}}^{}}$ ${\displaystyle {{}_{}}^{}}$ ${\displaystyle {}^{}}$ ${\displaystyle {I{}_{}}^{}}$ ${\displaystyle {{2\mathrm{}}_{}}^{}}$ ${\displaystyle {{}_{}}^{}}$ ${\displaystyle {}^{}}$ I ${\displaystyle {{1\mathrm{}}_{}}^{}}$ ${\displaystyle {{}_{}}^{}}$ ${\displaystyle {{I\mathrm{}}_{}}^{}}$ ${\displaystyle {{}_{}}^{}}$ ${\$ F$^{$$I_{1}}\여러 번 F^{$$I_{2}}\simeq F^{$$I_{1}\time I_{2$ 즉 행렬은 > ${\displaystyle r>1}$에 대해 식별할 수 없다이것은 본질적으로 관찰에서 따온 것이다.

where ${\displaystyle X\in \mathrm {GL} _{r}(F)}$ is an invertible ${\displaystyle r\times r}$ matrix, ${\displaystyle A=[\mathbf {a} _{i}]_{i=1}^{r}}$ , ${\displaystyle B=[\mathbf {b} _{i}]_{i=1}^{r}}$, ${\displaystyle A{X}^{-1}=[{\mathbf{c}}_i}$${\displaystyle {]}_{}^{}}$ ${\displaystyle i_{}^{}}$= ${\displaystyle 1_{}^{}}$ ${\displaystyle {}_{}^{}}$ ${\$ 및 $B$ X ${\displaystyle T^{}}$=${\displaystyle }$[${\displaystyle {}_{}}$ i ${\displaystyle {}_{}{}_{}^{}}$ ${\displaystyle {}_{}^{}}$= 1 ${\displaystyle {\mathrm{r}}_{}^{}}$ ${\$$T}=[\mathbf {d} _{i}]_{i=1}^{r}}$. It can be shown^[14] that for every ${\displaystyle X\in \mathrm {GL} _{n}(F)\setminus Z}$, where ${\displaystyle Z}$ is a closed set in the Zariski topology, the decomposition on the right-hand side is a sum of a different set of rank-1 tensors than the decomposition on the left-hand 측면은, 순서 tensor r> ${\displaystyle r>1$}을$($를) 일반적으로 식별할 수 없다는 것을 수반한다.

$F{\displaystyle {}^{}}$ ${\displaystyle {I{}_{}}^{}}$ ${\displaystyle {{1\mathrm{}}_{}}^{}}$ ${\displaystyle {{}_{}}^{}}$ ${\displaystyle {}^{}}$ I ${\displaystyle {{2\mathrm{}}_{}}^{}}$ ${\displaystyle \otimes }$ ${\displaystyle {}^{}}$ ${\displaystyle {I{}_{}}^{}}$ ${\displaystyle {M_{}}^{}}$ ${\$displaystyle F^{ ${$ ${\displaystyle \{}$ F I M {\$displaystyle$ F^{$I_{1}}\여러 번 F^{$$I_{2}}회\일회 \cdots \일회 F^{$I_{M}}}M을, 2{\displaystyle M>2}과 모든 나는 ≥ 2{\displaystyle I_{m}\geq 2}. 표기법에 간단을 위하여, 일반성의 손실 없이 ≥ 2≥ M이 요인 1과 같이 ≥{\displaystyle I_{1}\geq I_{2}\geq \cdots \geq I_{M}\geq 2}나는 2≥ ⋯ 지시 받게 된다. Sr⊂ F자 I 1을 가정하고 있다. ⊗ ⋯ F${\$$I_{1}}\여러 번 \cdots F^{$$I_{m}}\몇 번 \cdots \몇 번 F^{$$I_{M}}$은 $r{\displaystyle }$ ${\displaystyle r}$에 의해 경계된 등급 텐서 집합을 의미한다$.$ 그 후 치수 < ${\displaystyle \Pi <15000$^[15]의 모든 공간에 대해 컴퓨터 지원 증거를 사용하여 다음과 같은 진술이 올바르다는 것이 증명되었으며, 일반적으로 유효한 것으로 추측된다.^[15][16][17]

There exists a closed set ${\displaystyle Z_{r}}$ in the Zariski topology such that every tensor ${\displaystyle {\mathcal {A}}\in S_{r}\setminus Z_{r}}$is identifiable (${\displaystyle S_{r}}$ is called generically identifiable in this case), unless either one of the following exceptional다음과 같은 경우:

1. 순위가 너무 큼: > r , , I ) ${\displaystyle r>r_{E}(I_{1},I_{2},\ldots ,I_{M$
2. The space is identifiability-unbalanced, i.e., ${\textstyle I_{1}>\prod _{m=2}^{M}i_{m}-\sum _{m=2}^{M}(I_{m}-1)}$, and the rank is too large: ${\textstyle r\geq \prod _{m=2}^{M}$$I_{m}-\sum _{m=2}^{M$$I_{m}-1);$
3. 공간은 불량 케이스 ${\displaystyle {F\mathrm{}}^{}}$ $4{\displaystyle {}^{}}$ ${\displaystyle {}^{}}$ ${\displaystyle {}^{}}$ ${\displaystyle {4\mathrm{}}^{}}$ ${\displaystyle {}^{}}$ ${\displaystyle {}^{}}$ 3 ${\$ F$^{4}\otimes F^{4}\otimes F^{3}$이며, $순위$는 ${\displaystyle \mathrm{r}}$= 5 ${\displaysty r=5$
4. The space is the defective case ${\displaystyle F^{n}\otimes F^{n}\otimes F^{2}\otimes F^{2}}$, where ${\displaystyle n\geq 2}$, and the rank is ${\displaystyle r=2n-1}$;
5. 공간은 $F{\displaystyle {}^{}}$ ${\displaystyle {4\mathrm{}}^{}}$ ${\displaystyle {}^{}}$ ${\displaystyle {}^{}}$ ${\displaystyle {4\mathrm{}}^{}}$ ${\displaystyle {}^{}}$ ${\displaystyle {}^{}}$ ${\displaystyle {4\mathrm{}}^{}}$ ${\$ F$^{4}\otimes F^{4}\otimes F^{4}}$이고, 순위는 $r{\displaystyle }$= ${\displaystyle 6}$ ${\displaystyle$r=$6}$;
6. 공간은 $F{\displaystyle {}^{}}$ ${\displaystyle {6\mathrm{}}^{}}$ ${\displaystyle {}^{}}$ F ${\displaystyle {6\mathrm{}}^{}}$ ${\displaystyle {}^{}}$ ${\displaystyle {}^{}}$ 3 ${\$ F$^{6}\otimes$ F$^{6}\otimes F^{3}$이고, 순위는 ${\displaystyle \mathrm{r}}$= 8 ${\displaysty r=8$ 또는
7. 공간은 $F{\displaystyle {}^{}}$ ${\displaystyle {2\mathrm{}}^{}}$ ${\displaystyle {}^{}}$ ${\displaystyle {}^{}}$ ${\displaystyle {2\mathrm{}}^{}}$ ${\displaystyle {}^{}}$ F ${\displaystyle {2\mathrm{}}^{}}$ ${\displaystyle {}^{}}$ ${\displaystyle {}^{}}$ 2 ${\displaystyle {}^{}}$ F 2$$⊗ F ${\displaystyle {2\mathrm{}}^{}}$ {\$displaystyle F^{2}\otimes$ F$^{2}\$otimes $F^{2}\$otimes F^{2}\$otimes$ F^{2}}{{2$}}\otimes$ F$^{2$}}}이며$,$ $순위$는${\displaystyle }$r = ${\displaystyle 5}${\$displaystystylease$ r$=r=5$이다.
8. The space is perfect, i.e., ${\textstyle r_{E}(I_{1},I_{2},\ldots ,I_{M})={\frac {\Pi }{\Sigma +1}}}$ is an integer, and the rank is ${\textstyle r=r_{E}(I_{1},I_{2},\ldots ,I_{M})}$.

이러한 예외적인 경우, 일반적(그리고 최소적)의 복잡한 분해 횟수는 다음과 같다.

• 처음 4건의 사례에서$$ $\infty {\displaystyle \mathrm{}}$ ${\displaystyle \infit }$인 것으로 입증되었다.
• 5번 사례에서 2번인 것으로 판명되었다.^[18]
• 사례 6의 경우 6이 될 것으로^[19] 예상됨.
• 사례 7에서 2명임이 입증되었다.^[20]
• expected^[19] to be at least two in case 8 with exception of the two identifiable cases ${\displaystyle F^{5}\otimes F^{4}\otimes F^{3}}$ and ${\displaystyle F^{3}\otimes F^{2}\otimes F^{2}\otimes F^{2}}$.

요약하면, 식별불균형이 맞지 않는 일반적인 순서 > ${\displaystyle M>2}$ r< style +1 ${\$의 일반 텐셔너는 식별할 수 있을 것으로 예상된다(작은 공간의 예외적인 경우로 수정).

표준 근사 문제의 잘못된 위치

순위 근사 문제는 (일반적인 유클리드 위상에서) $순위$ r {\displaystyle $s}$ $텐서$ ${\displaystyle }$ ${\${$A$$}$에 가장 가까운(일반적인 유클리드 위상에서의$)$ 순위 ${\displaystyle }$}분해를$$ 요구한다$($서 r< ${\displaystyle$ r<$s$즉, 사람은 해결하려고 한다.

${\displaystyle \min _{\mathbf {a} _{i}^{m}\in F^}I_{m}}\\\\mathcal {A}-\sum _{i=1}^{r}\mathbf {a} _{i}^{a}\{i}}}\otimes \cdots \mathbf {a} _{i}}{F}}}}}}}}}}}}$

여기서$$ $\Vert {\displaystyle }$ ${\displaystyle {}_{}}$ ${\displaystyle F_{}}$ ${\$\$\{F}$는 프로베니우스 표준이다.

드 실바와 임씨의^[6] 2008년 논문에서 위의 표준 근사 문제가 잘못될 수 있다는 것을 보여주었다.앞서 언급한 문제에 대한 해결책은 최적화되어 있는 세트가 닫히지 않기 때문에 존재하지 않을 수 있다.따라서 최소가 존재하더라도 최소화가 존재하지 않을 수 있다.특히, 시퀀스의 한계가 $r{\displaystyle }$ ${\displaystyle r}$보다 엄격히 높은 랭크 텐서(tensor)로 수렴되더라도$,$ 이른바 특정 경계 텐서(border tensor)는 $최대$ r {\displaystyle $r}$에서 순위 텐서(tensor)의 시퀀스에 의해 임의적으로 잘 추정될 수 있다고 알려져 있다$.$3위 텐서

${\displaystyle {\mathcal {A}}=\mathbf {u} \otimes \mathbf {u} \otimes \mathbf {v} +\mathbf {u} \otimes \mathbf {v} \otimes \mathbf {u} +\mathbf {v} \otimes \mathbf {u} \otimes \mathbf {u} ,\quad {\text{with }}\ \mathbf {u} \ =\ \mathbf {v} \ =1{\text{ and }}\langle \mathbf {u} ,\mathbf {v} \rangle \neq 1}$

다음과 같은 순위 2 텐서 순서에 의해 임의로 잘 추정할 수 있다.

${\displaystyle {\mathcal {A}}_{n}=n(\mathbf {u} +{\frac {1}{n}}\mathbf {v} )\otimes (\mathbf {u} +{\frac {1}{n}}\mathbf {v} )\otimes (\mathbf {u} +{\frac {1}{n}}\mathbf {v} )-n\mathbf {u} \otimes \mathbf {u} \otimes \mathbf {u} }$

$n{\displaystyle }$→ ${\displaystyle \mathrm{\infty }}$ ${\displaystyle n\to \infit }$과 같이$.$ 이 예는 엄격하게 상위 순위 텐서(tensor)로 수렴되는 순위 ${\displaystyle }$ ${\displaysty r}$ 텐서$$(stensor)의 순서가 규범이 한없이 되는 최소 두 개의 개별 순위-1 용어를 인정해야 한다는 일반적인 원리를 깔끔하게 보여준다.순서가 있을 때마다 공식적으로 언급됨

${\displaystyle {\mathbf{A}_{n}}=\sum _{i=1}^{r}}\mathbf {a}_{i,n}^{1}}\otimes \cdots \otimes \mathbf {a}_{i,n}}}}{M}}}}}}}}}$

has the property that ${\displaystyle {\mathcal {A}}_{n}\to {\mathcal {A}}}$ (in the Euclidean topology) as ${\displaystyle n\to \infty }$, then there should exist at least ${\displaystyle 1\leq i\neq j\leq r}$ such that

${\displaystyle \ \mathbf {a} _{i,n}^{1}\otimes \mathbf {a} _{i,n}^{2}\otimes \cdots \otimes \mathbf {a} _{i,n}^{M}\ _{F}\to \infty {\text{ and }}\ \mathbf {a} _{j,n}^{1}\otimes \mathbf {a} _{j,n}^{2}\otimes \cdots \otimes \mathbf {a} _{j,n}^{M}\ _{F}\to \infty }$

$n{\displaystyle }$→ ${\displaystyle \mathrm{▼}}$ ${\displaystyle n\to \infit$ $\}.$ 수치 최적화 알고리즘을 사용하여 텐서 근사치를 시도할 때 이러한 현상이 자주 발생한다.그것은 때때로 요소들을 분리하는 문제라 불린다.또한, 실제보다 무작위적으로 낮은 순위의 텐서는 양의 확률로 2등급 근사치를 인정하지 않을 수 있다는 것을 보여 주었고, 이는 텐서 순위 분해를 채택할 때 잘못된 코의 문제가 중요한 고려사항이라는 것을 이해하게 했다.

코딱지 문제에 대한 일반적인 부분적 해결책은 개별 1위 항의 규범을 일정하게 제한하는 추가적인 불평등 제약조건을 부과하는 것으로 구성된다.폐쇄적인 집합을 초래하고, 따라서 잘 조정된 최적화 문제를 야기하는 다른 제약조건에는 추구된 분해에 나타나는 상위 1위 용어들 간의 통일성보다 엄격하게 낮은 긍정성 또는 경계된 내부 생산물이 포함된다.

CPD 계산

교대 알고리즘:

• 교대 최소 제곱(ALS)
• 교대 슬라이스-와이즈 대각화(ASD)

직접 알고리즘:

• 연필 기반 알고리즘^{[21][22][23][24][25][26][27]}
• 모멘트 기반 알고리즘^[28]

일반 최적화 알고리즘:

• 동시 대각화(SD)
• 동시 일반화 슈르 분해(SGSD)
• 레벤베르크-마르콰르트(LM)
• 비선형 접합 구배(NCG)
• 제한된 메모리 BFGS(L-BFGS)

일반 다항식 시스템 해결 알고리즘:

• 호모토피 연속^[29]

적용들

머신러닝에서 CP-디포메이션은 모멘트 매칭 기법을 통해 확률론적 잠재 변수 모델을 학습하는 데 중요한 요소다.예를 들어 확률론적 잠재 변수 모델인 다중 뷰 모델을^[30] 고려해 보십시오.이 모델에서 표본의 생성은 다음과 같이 가정된다. 직접 관측되지 않는 숨겨진 랜덤 변수가 존재하며, 이 경우 숨겨진 변수의 서로 다른 "보기"로 알려진 여러 조건부 독립 랜덤 변수가 있다.단순성을 위해 $k{\displaystyle }$ ${\displaystyle k}$ -state$$ 범주형 숨겨진 $변수{\displaystyle }$ h ${\displaystyle h}$의 대칭 뷰 x ${\displaystyle x}$이(가) 있다고 가정하십시오$.$ 그러면 이 잠재적 변수 모델의 경험적 세 번째 모멘트는 $다음$과 같이 기록될 수 있다: ${\displaystyle \underset{}{\overset{}{T}}}$= ${\displaystyle \underset{}{\overset{}{}}}$ i${\displaystyle \underset{}{\overset{}{}}}$= ${\displaystyle \underset{}{\overset{}{1}}}$ ${\displaystyle \underset{}{\overset{}{}}}$ ${\displaystyle r}$(${\displaystyle i}$= i ) ${\displaystyle {\mathrm{E}}^{}}$[$x$ ${\displaystyle h}$= i = i ]${\displaystyle {}^{}}$ $]$3 {\$displaystayplaystate$)$_{i=1}^{k}Pr(h=i)E[x h=i]^{\otimes 3$

주제 모델링과 같은 응용프로그램에서, 이것은 문서에서 단어들의 공동 발생으로 해석될 수 있다.그러면 이 경험적 모멘트 텐서의 고유값은 특정 주제를 선택할 확률로 해석될 수 있으며, 인자 행렬 $E{\displaystyle }$[${\displaystyle x}$ ${\displaystyle h}$= ${\displaystyle k}$ ${\displaystyle ]}${\$displaystyle E[x h=k]}$의 각 열은 해당 주제의 어휘에 있는 단어의 확률에 해당한다$$.

참고 항목

• 잠재계층분석
• 다변형 서브공간 학습
• 단수 값 분해
• 터커 분해
• 고차 단수 값 분해
• 텐서 분해

참조

추가 읽기

• Kolda, Tamara G.; Bader, Brett W. (2009). "Tensor Decompositions and Applications". SIAM Rev. 51 (3): 455–500. CiteSeerX 10.1.1.153.2059. doi:10.1137/07070111X.
• Landsberg, Joseph M. (2012). Tensors: Geometry and Applications. AMS.

외부 링크

• PARAFAC 자습서
• PARAFAC(병렬 인자 분석)
• FactoryMineR(R에 연결된 자유 탐색 다변량 데이터 분석 소프트웨어)