다변형 서브공간 학습

Multilinear subspace learning
다중 행 하위 공간 학습을 위해 열 x 행 x 시간의 3차 텐서로 표현되는 비디오 또는 이미지 시퀀스.

다층적 아공간 학습은 차원성 감소에 대한 접근법이다.[1][2][3][4][5] 치수 감소는 관측치가 벡터화되어[1] 데이터 텐서로 구성되었거나 관측치가 데이터 텐셔너에 통합된 행렬인 데이터 텐서에서 수행할 수 있다.[6][7] 다음은 관측치가 벡터화되거나 관측치가 데이터 텐서 이미지(2D/3D), 비디오 시퀀스(3D/4D), 과대망상 큐브(3D/4D)에 연결된 데이터 텐서의 몇 가지 예다.

고차원 벡터 공간에서 저차원 벡터 공간 집합으로의 매핑은 다선 투영이다.[4] 관측치가 센서가 제공하는 것과 동일한 조직 구조로 유지되는 경우 행렬 또는 상위 텐서처럼 관측치의 표식은 N개의 다중 선형 투영을 수행하여 계산된다.[6]

다중선 서브공간 학습 알고리즘은 주성분 분석(PCA), 독립적 구성요소 분석(ICA), 선형판별분석(LDA), 표준상관분석(CCA) 등 선형 서브공간 학습방법의 고차 일반화다.

배경

데이터 수집과 스토리지 기술의 발달로 빅데이터(또는 대용량 데이터 세트)가 다양한 신흥 애플리케이션에서 매일 생성되고 있다. 이런 빅데이터는 대부분 다차원적이다. 더욱이 그들은 대개 매우 고차원적이며, 많은 양의 중복성을 가지고 있으며, 입력 공간의 일부만 차지하고 있다. 따라서 가능한 한 많은 정보를 보유하면서 고차원 데이터를 저차원 공간에 매핑하기 위해 차원성 감소가 자주 사용된다.

선형 아공간 학습 알고리즘은 입력 데이터를 벡터로 표현하고 저차원 공간에 대한 최적의 선형 매핑을 위해 해결하는 전통적인 차원성 감소 기법이다. 불행히도, 그들은 다차원적인 방대한 데이터를 처리할 때 종종 불충분해진다. 그 결과 매우 고차원 벡터가 생성되어 많은 수의 모수를 추정하게 된다.[1][6][7][8][9]

멀티라인 서브스페이스 학습은 차원성 저감을 위해 다양한 유형의 데이터 텐서 분석 도구를 사용한다. 다중선 서브스페이스 학습은 측정이 벡터화되어 데이터 텐서로 구성되었거나 [1]측정이 행렬로 처리되어 텐서로 연결된 관측치에 적용할 수 있다.[10]

알고리즘

다중선 주성분 분석

역사적으로 다중선 주성분 분석은 피터 크로넨버그가 만든 용어인 "M-mode PCA"로 불렸다.[11] 2005년, Vasilescu과 Terzopoulos한 치료법은 2일 순서통 계량 각 데이터와 연관된 Multilinear 독립 구성 요소 Analysis[12]에 더 높은 순서를 계산했다 modeᆯs,[1][2][3][13][8]and 일련의 작업 텐서를 계산했다 나머지 변수 텐서 decompositions 사이에 구별하다에 Multilinear PCA[12]용어를 소개했다. 통계 관련된 각 텐서 모드/축마다 MPCA는 PCA의 확장이다.

다중선 독립 성분 분석

다중선 독립 성분 분석은[12] ICA의 확장이다.

다선형 선형 판별 분석

  • LDA의 다중선 확장
    • TTP 기반: 텐서표현을 이용한 판별분석(DATER)[9]
    • TTP 기반: 일반 텐서 판별 분석(GTDA)[14]
    • TVP 기반: 상관 관계가 없는 다중선 판별 분석(UMLDA)[15]

다행성 표준 상관 분석

  • CCA의 다중선 확장
    • TTP 기반: 텐서 표준 상관 분석(TCA)[16]
    • TVP 기반: 다중선 표준 상관 분석(MCA)[17]
    • TVP 기반: BMTF(Bayesian Multilinar Canonical Interference Analysis)[18]
  • TTP는 N번째 순서 텐서에 대한 N 투영 행렬을 사용하여 동일한 순서의 저차원 텐서에 고차원 텐서를 직접 투영하는 것이다. 각 단계에서 텐서 매트릭스 곱하기(제품)를 수행하는 N 단계로 수행할 수 있다. N 단계는 교환할 수 있다.[19] 이 투영은 고차 단수 값 분해[19](HOSVD)를 아공간 학습으로 확장한 것이다.[8] 따라서, 그것의 기원은 1960년대에 터커의 부패로[20] 거슬러 올라간다.
  • TVP는 고차원 텐서를 저차원 벡터에 직접 투영하는 것으로, 이것을 1등급 투영이라고도 한다. TVP는 벡터에 텐서를 투영하기 때문에 텐서로부터 스칼라에 이르는 다중 투영으로 볼 수 있다. 따라서 텐서의 P차원 벡터에 대한 TVP는 텐서로부터 스칼라까지 P 투영으로 구성된다. 텐서로부터 스칼라로의 투영은 기본적인 다선 투영이다. EMP에서 텐서는 N 단위 투영 벡터를 통해 한 점에 투영된다. 그것은 각 모드에서 하나의 투영 벡터를 가진 단일 선에 텐서의 투영이다. 따라서 P차원 벡터 공간에서 벡터에 대한 텐서 객체의 TVP는 P EMP로 구성된다. 이 투영은 PARAFAC(병렬 인자) 분해라고도 하는 표준 분해의 확장이다.[21][22]

MSL의 일반적인 접근 방식

각 모드에 하나씩 해결해야 할 파라미터 세트가 N개 있다. 한 세트에 대한 해법은 다른 세트에 따라 달라지는 경우가 많다(N=1, 선형 케이스 제외). 따라서 의 하위[23] 최적 반복 절차를 따른다.

  1. 각 모드에서 투영 초기화
  2. 각 모드에 대해 다른 모든 모드에서 투영을 고정하고 현재 모드에서 투영을 해결하십시오.
  3. 몇 번 반복하거나 수렴될 때까지 모드별 최적화를 수행하십시오.

이는 다원 데이터 분석을 위한 교차 최소 제곱법에서 비롯된다.[11]

장단점

이 그림은 벡터 대 벡터 투영(VVP), (즉 선형 투영), 텐서 대 벡터 투영(TVP), 텐서 대 텐서 투영(TTP)에 의해 동일한 치수 감소량에 대해 추정할 파라미터 수를 비교한다. 다중선 투영은 훨씬 더 적은 매개변수를 필요로 하며 얻은 표현은 더 작다. (이 수치는 설문지[6] 표 3에 기초하여 작성)

표현력이 자연적으로 다소 긴요한 공통 영역에서 기존의 선형 아공간 모델링에 비해 MSL의 장점은 다음과 같다.[6][7][8][9]

  • MSL은 다차원 데이터의 자연적 시제적 표현으로 작동함으로써 원래 데이터가 투영되기 전에 가지고 있던 구조와 상관관계를 보존한다.
  • MSL은 선형상대방보다 더 작은 표현을 배울 수 있다. 즉, 훨씬 적은 수의 매개변수를 추정할 필요가 있다. 따라서 MSL은 크기가 더 적은 표현으로 계산을 수행함으로써 빅 텐서 데이터를 보다 효율적으로 처리할 수 있다. 이는 계산 자원에 대한 수요 감소로 이어진다.

그러나 MSL 알고리즘은 반복적이며 수렴이 보장되지 않는다. MSL 알고리즘이 수렴되는 경우 국소 최적에서 이를 수행할 수 있다. ( 대조적으로 전통적인 선형 아공간 모델링 기법은 종종 정확한 폐쇄형 솔루션을 생산한다.) MSL 수렴 문제는 적절한 아공간 차원성, 초기화 전략, 종료 전략, 그리고 예측이 해결되는 순서를 선택함으로써 완화될 수 있다.[6][7][8][9]

교육학적 자원

코드

텐서 데이터 세트

참고 항목

참조

  1. ^ a b c d e M. A. O. Vasilescu, D. Terzopoulos(2003) "이미지 앙상블의 멀티린어 서브스페이스 분석", "컴퓨터 비전 및 패턴 인식에 관한 IEEE 회의 진행 (CVPR'03), Madison, WI, 6월, 2003"
  2. ^ a b M. A. O. Vasilescu, D. Terzopoulos(2002) "이미지 앙상블의 다중선 분석: TensorFaces", Proc. 2002년 5월, 덴마크 코펜하겐, 제7차 컴퓨터 비전 유럽 회의(ECCV'02)
  3. ^ a b M. A. O. Vasilescu, (2002) "휴먼 모션 서명: 분석, 종합, 인식", "패턴 인식에 관한 국제회의의 진행 (ICPR 2002), 2002년 8월, 456–460, 캐나다 퀘벡시의 제3권.
  4. ^ a b Vasilescu, M.A.O.; Terzopoulos, D. (2007). Multilinear Projection for Appearance-Based Recognition in the Tensor Framework. IEEE 11th International Conference on Computer Vision. pp. 1–8. doi:10.1109/ICCV.2007.4409067..
  5. ^ Lu, Haiping; Plataniotis, K.N.; Venetsanopoulos, A.N. (2013). Multilinear Subspace Learning: Dimensionality Reduction of Multidimensional Data. Chapman & Hall/CRC Press Machine Learning and Pattern Recognition Series. Taylor and Francis. ISBN 978-1-4398572-4-3.
  6. ^ a b c d e f Lu, Haiping; Plataniotis, K.N.; Venetsanopoulos, A.N. (2011). "A Survey of Multilinear Subspace Learning for Tensor Data" (PDF). Pattern Recognition. 44 (7): 1540–1551. doi:10.1016/j.patcog.2011.01.004.
  7. ^ a b c d X. He, D. Cai, P. Niyogi, Tensor 하위공간 분석: NIPSC 18(Neural Information Processing System, NiPS), 2005.
  8. ^ a b c d e H. Lu, K. N. Plataniotis, A. N. Venetsanopulos, "MPCA: 텐서 객체의 다중선 주성분 분석," IEEE Trans. Neural Netw, 19권, 1권, 18-39권, 2008년 1월.
  9. ^ a b c d S. Yan, D. Shu, Q. Yang, L. Zhang, X. 탕, 그리고 H.J. 장은 Proc에서 "텐서 표현으로 차별적 분석"을 했다. IEEE 컴퓨터 비전 및 패턴 인식 회의, vol. 나, 2005년 6월 페이지 526~532.
  10. ^ "Future Directions in Tensor-Based Computation and Modeling" (PDF). May 2009.
  11. ^ a b P. M. Kroonenberg와 J. de Luew, 최소 제곱 알고리즘을 교대로 사용한 3-모드 데이터의 주성분 분석, 45 (1980), 페이지 69–97.
  12. ^ a b c M. A. O. Vasilescu, D. Terzopoulos(2005) "멀티린어 독립 컴포넌트 분석", "컴퓨터 비전 및 패턴 인식에 관한 IEEE 회의 진행 (CVPR'05), 샌디에이고, CA, 2005년 6월, vol.1, 547–553".
  13. ^ M. A. O. Vasilescu, D. Terzopoulos(2004) "TensorTextures: 다중선 이미지 기반 렌더링", M. A. O. Vasilescu 및 D. 테르조풀로스, 프락 ACM SIGRAPH 2004 컨퍼런스 로스앤젤레스, 2004년 8월, 컴퓨터 그래픽 프로시저, 연례 컨퍼런스 시리즈, 2004, 336–342.
  14. ^ D. Tao, X. Li, X. Wu, S. J. Maybank, "보행 인식을 위한 일반 텐서 판별 분석 및 가버 특징", IEEE Trans. 패턴 항문. 마하. 인텔, 제29권, 제10권, 페이지 1700–1715, 2007년 10월.
  15. ^ H. Lu, K. N. Plataniotis, A. N. Venetsanopulos, "텐서 객체 인식을 위한 정규화 및 집계를 통한 비코어 관련 다중선 판별 분석," IEEE Trans. Neural Netw, 제20권, 제1권, 페이지 103–123, 2009년 1월.
  16. ^ T.K. Kim과 R. 치폴라. IEEE Trans는 "동작 분류 및 탐지를 위한 비디오 볼륨 텐서의 캐논닉 상관 분석"을 실시하였다. 패턴 항문. 마하. 인텔, 31권, 8권 1415–1428, 2009.
  17. ^ H. Lu, "텐서-벡터 투영을 통한 쌍체 텐서 집합의 표준 상관관계 학습", 2013년 8월 3일 중국 베이징, 2013년 제23회 국제 인공지능 공동회의(IJCAI 2013), 3–9일 개최
  18. ^ Khan, Suleiman A.; Kaski, Samuel (2014-09-15). Calders, Toon; Esposito, Floriana; Hüllermeier, Eyke; Meo, Rosa (eds.). Machine Learning and Knowledge Discovery in Databases. Lecture Notes in Computer Science. Springer Berlin Heidelberg. pp. 656–671. doi:10.1007/978-3-662-44848-9_42. ISBN 9783662448472.
  19. ^ a b L.D. Lathauer, B.D. Moor, J. Vandewalle, 다행성 단수 값 분해, SIAM Journal of Matrix Analysis and Applications 제21권, 페이지 1253–1278, 2000
  20. ^ Ledyard R Tucker (September 1966). "Some mathematical notes on three-mode factor analysis". Psychometrika. 31 (3): 279–311. doi:10.1007/BF02289464. PMID 5221127.
  21. ^ J. D. Carroll & J. Chang (1970). "Analysis of individual differences in multidimensional scaling via an n-way generalization of 'Eckart–Young' decomposition". Psychometrika. 35 (3): 283–319. doi:10.1007/BF02310791.
  22. ^ R. A. Harshman, PARAFAC 절차의 기초: "설명 가능한" 다모드 인자 분석을 위한 모델과 조건 2004-10-10을 웨이백 기계에 보관한다. UCLA 음성학 워크 페이퍼, 16페이지 1970년 8월 8일.
  23. ^ L. D. Lathawer, B. D. Moor, J. Vandewalle, 최고의 순위 1과 순위-(R1, R2, ..., RN )의 근사치, 고차 텐서, Matrix Analysis and Applications 21 (4) (2000) 1324–1342.