다중선 주성분 분석

Multilinear principal component analysis

다중선 주성분 분석(MPCA)은 주성분 분석(PCA)의 다중선 확장이다.MPCA는 n-way 배열, 즉 숫자의 입방체 또는 하이퍼 큐브 분석에 사용되며 비공식적으로 "데이터 텐서"라고도 한다.N-way 배열을 분해, 분석 또는 모델링할 수 있음

  • CANDECOMP/Parafac과 같은 선형 텐서 모델 또는
  • 다중선 주성분 분석(MPCA) 또는 다중선 독립성분 분석(MICA)과 같은 다중선 텐서 모델

MPCA의 기원은 터커 분해와[1] 피터 크로넨버그의 "M-모드 PCA/3-모드 PCA" 작업으로 거슬러 올라갈 수 있다.[2]In 2000, De Lathauwer et al. restated Tucker and Kroonenberg's work in clear and concise numerical computational terms in their SIAM paper entitled "Multilinear Singular Value Decomposition",[3] (HOSVD) and in their paper "On the Best Rank-1 and Rank-(R1, R2, ..., RN ) Approximation of Higher-order Tensors".[4]

2001년경 Vasilescu는 대부분의 관측된 데이터가 데이터 형성의 여러 인과 요인의 구성적 결과이며 다중 모델 데이터 텐서 분석에 매우 적합하다는 통찰에 기초하여 데이터 분석, 인식 및 합성 문제를 다선 텐서 문제로 재구성하였다.다음 작품에서 데이터 형성의 인과인자 관점에서 인간의 움직임 관절 각도, 얼굴 이미지 또는 질감을 분석하여 텐서 프레임워크의 힘을 보여주었다.Human Motion[5] Signatures(CVPR 2001, ICPR 2002), 얼굴 인식 – TensorFaces([6][7]ECCV 2002, CVPR 2003 등) 및 컴퓨터 그래픽 – TensorTextures[8](Sigraph 2004).

역사적으로, MPCA는 "M-mode PCA"로 언급되어 왔는데, 이 용어는 1980년에 Peter Kroonenberg에 의해 만들어졌다.[2]2005년, Vasilescu과 Terzopoulos한 치료법과 나머지 변수 선형 텐서 분해뿐만 아니라 간 총리는 2일 순서통 계량 각 데이터 텐서 mode(축)와 관련된를 계산했다는 work[5][6][7][8], Multilinear Ind에 일련의 작업을 구분할 차별화하는 Multilinear PCA[9]용어를 소개했다컴퍼ependentnent 각 텐서 모드/축과 관련된 고차 통계량을 계산한 분석[9].

다중선 PCA는 데이터 형성의 인과 인자를 계산하기 위해 또는 개별 관측치가 벡터화되었거나 [5][6][7][8]관측치가 행렬로[10] 처리되어 데이터 텐서 안에 결합되는 데이터 텐서에서의 신호 처리 도구로서 적용될 수 있다.

MPCA는 행렬 SVD로 계산한 행렬의 직교 행 및 열 공간과 유사한 데이터 텐서의 각 모드와 연관된 직교 행렬 집합을 계산한다.이 변환은 각 데이터 텐서 모드(축)와 관련된 데이터의 변동성의 대부분을 설명하면서 가능한 한 높은 분산을 포착하는 것을 목표로 한다.

알고리즘

MPCA 솔루션은 교류 최소 제곱(ALS) 접근방식을 따른다.[2]그것은 천성적으로 반복적이다.PCA에서와 같이, MPCA는 중심 데이터에서 일한다.센터링은 텐셔너의 경우 조금 더 복잡하고, 문제 의존적이다.

피쳐 선택

MPCA 기능:감독되는 MPCA 특징 선택은 객체 인식에[11] 사용되며, 감독되지 않은 MPCA 특징 선택은 시각화 작업에 사용된다.[12]

확장

MPCA의 다양한 확장이 개발되었다.[13]

  • Uncorreated MPCA([14]Uncorreated MPCA) 이와는 대조적으로, Uncorreated MPCA(Uncorreated MPCA)는 상관관계가 없는 다중선 기능을 생성한다.[14]
  • 부스팅+MPCA[15]
  • 비음성 MPCA(Non-negative MPCA)[16]
  • 강력한 MPCA(RMPCA)[17]
  • MTF([18]Multi-Tensor Factorization), 자동으로 성분 수 찾기

참조

  1. ^ Tucker, Ledyard R (September 1966). "Some mathematical notes on three-mode factor analysis". Psychometrika. 31 (3): 279–311. doi:10.1007/BF02289464. PMID 5221127.
  2. ^ a b c P. M. Kroonenberg와 J. de Luew, 최소 제곱 알고리즘을 교대로 사용한 3-모드 데이터의 주성분 분석, 45 (1980), 페이지 69–97.
  3. ^ Lathauwer, L.D.; Moor, B.D.; Vandewalle, J. (2000). "A multilinear singular value decomposition". SIAM Journal on Matrix Analysis and Applications. 21 (4): 1253–1278. doi:10.1137/s0895479896305696.
  4. ^ Lathauwer, L. D.; Moor, B. D.; Vandewalle, J. (2000). "On the best rank-1 and rank-(R1, R2, ..., RN ) approximation of higher-order tensors". SIAM Journal on Matrix Analysis and Applications. 21 (4): 1324–1342. doi:10.1137/s0895479898346995.
  5. ^ a b c M.A.O. 바실레스쿠(2002) "휴먼 모션 서명: 분석, 합성, 인식," 패턴 인식에 관한 국제 회의 (ICPR 2002), 2002년 8월, 456–460 캐나다 퀘벡시, 제3권, Vol. 3권.
  6. ^ a b c M.A.O. 바실레스쿠, D. Terzopoulos(2002) "이미지 앙상블의 다중선 분석: TensorFaces," 2002년 5월 덴마크 코펜하겐의 컴퓨터 비전에 관한 제7차 유럽 회의(ECCV'02)에서 열린 컴퓨터 비전 – ECCV 2002, 컴퓨터 과학 강의 노트, 2350, A. 헤이든 외 연구진(Eds). 2002년 베를린 스프링거-베를라크, 447–460.
  7. ^ a b c M.A.O. 바실레스쿠, D.Terzopoulos(2003) "이미지 앙상블을 위한 다중선 서브공간 분석, M. A. O. Vasilescu, D. 테르조풀로스, 프락 Computer Vision and Pattern Incognition Conf. (CVPR '03), Vol.2, Madison, WI, 2003년 6월, 93–99.
  8. ^ a b c M.A.O. 바실레스쿠, D.Terzopoulos(2004) "TensorTextures: 다중선 이미지 기반 렌더링", M. A. O. Vasilescu 및 D. 테르조풀로스, 프락 ACM SIGRAPH 2004 컨퍼런스 로스앤젤레스, 2004년 8월, 컴퓨터 그래픽 프로시저, 연례 컨퍼런스 시리즈, 2004, 336–342.
  9. ^ a b M. A. O. Vasilescu, D.Terzopoulos(2005) "멀티린어 독립 컴포넌트 분석", "컴퓨터 비전 및 패턴 인식에 관한 IEEE 회의 진행 (CVPR'05), 샌디에이고, CA, 2005년 6월, vol.1, 547–553".
  10. ^ Lu, H.; Plataniotis, K. N.; Venetsanopoulos, A. N. (2008). "MPCA: Multilinear principal component analysis of tensor objects" (PDF). IEEE Trans. Neural Netw. 19 (1): 18–39. CiteSeerX 10.1.1.331.5543. doi:10.1109/tnn.2007.901277. PMID 18269936.
  11. ^ M. A. O. Vasilescu, D.Terzopoulos(2003) "이미지 앙상블의 멀티린어 서브스페이스 분석", "컴퓨터 비전 및 패턴 인식에 관한 IEEE 회의 진행 (CVPR'03), Madison, WI, 6월, 2003"
  12. ^ H. Lu, H.L. Eng, M.Thida, 그리고 K.N. Plataniotis, K.N. Plataniotis, "MPCA 서브스페이스에서 크라우드 비디오 콘텐츠의 시각화와 클러스터링"은 2010년 10월 캐나다 토론토, ON, 정보 및 지식 관리에 관한 제19차 ACM 컨퍼런스(Conference of Information and Knowled Management 2010)의 진행에서 발표되었다.
  13. ^ Lu, Haiping; Plataniotis, K.N.; Venetsanopoulos, A.N. (2011). "A Survey of Multilinear Subspace Learning for Tensor Data" (PDF). Pattern Recognition. 44 (7): 1540–1551. doi:10.1016/j.patcog.2011.01.004.
  14. ^ a b H. Lu, K. N. Plataniotis, A.N. Venetsanopulos, "비감독 다중선 하위공간 학습을 위한 비코어 관련 다중선 주성분 분석," IEEE Trans.Neural Netw, 20권, 11권, 페이지 1820–1836, 2009년 11월.
  15. ^ H. Lu, K. N. Plataniotis, A.N. Venetsanopulos, "웨이백 기계에 보관된 2010-10-22 MPCA 기능을 사용한 보행 인식에 대한 판별 학습자 증가", 이미지 및 비디오 처리에 관한 EURASIP 저널 2009, 제713183, 제11페이지, 2009. doi:10.1155/2009/7133.
  16. ^ Y. 파나가키스, C. 코트로풀로스, G. R. Arce, "음악 장르 분류를 위한 청각적 시간적 변조의 비음극 다변형 주성분 분석", IEEE Trans.오디오, 음성 및 언어 처리, 제18권, 3, 페이지 576–588, 2010.
  17. ^ K. 이노우에 K.하라, K.우라하마, "Robust multillear primary 성분 분석", Proc.IEEE 컴퓨터 비전 콘퍼런스, 2009, 페이지 591–597.
  18. ^ Khan, Suleiman A.; Leppäaho, Eemeli; Kaski, Samuel (2016-06-10). "Bayesian multi-tensor factorization". Machine Learning. 105 (2): 233–253. arXiv:1412.4679. doi:10.1007/s10994-016-5563-y. ISSN 0885-6125.

외부 링크