매니폴드 얼라인먼트

매니폴드 정렬은 원래 데이터 집합이 공통 매니폴드에 있는 경우 데이터 집합 간에 투영을 생성하는 기계 학습 알고리즘의 한 클래스입니다.이 개념은 ^[1]2003년 함, 리, 사울에 의해 처음 도입되었으며 고차원 벡터 ^[2]집합의 상관관계에 대한 일반적인 문제에 다지관 제약이 추가되었다.

개요

매니폴드 정렬은 유사한 생성 프로세스에 의해 생성된 이질적인 데이터 집합이 유사한 기본 매니폴드 표현을 공유한다고 가정합니다.각 원공간에서 공유 매니폴드로의 투영을 학습함으로써 대응관계를 회복하고 한 영역으로부터의 지식을 다른 영역으로 이전할 수 있다.대부분의 매니폴드 정렬 기법은 두 개의 데이터 세트만 고려하지만 개념은 임의로 많은 초기 데이터 세트로 확장됩니다.

$X$ $(\displaystyle$ X $)$ 와 $X$ Y $(\displaystyle$ Y $Y$ 의 2개의 데이터 세트를 $(\$ 의 \mathbb { $R}의$ \mathbb { $m$ $}$ 과 $displaystyle Y_{i})$ 의 \mathbbb {n $Y_{i}\in \mathbb {R} ^{n}$ 의 \mathbbbbb {n $}$ 에 정렬하는 경우를 검토합니다.

매니폴드 정렬 알고리즘은 X $(\displaystyle$ X $)$ 와 $X$ Y $(\displaystyle$ Y $)$ 를 $Y$ 모두 새로운 d차원 공간에 투영하여 해당 점 사이의 거리를 최소화하고 원본 데이터의 로컬 매니폴드 구조를 보존합니다.투영 함수는 다음과 같이 표시됩니다.

$\displaystyle \phi _{X}:,\mathbb {R}^{m}\rightarrow \mathbb {R}^{d}$

$\displaystyle \phi _{Y}:,\mathbb {R}^{n}\rightarrow \mathbb {R}^{d}$

$(\displaystyle$ W $)$ 가 $W$ X $(\displaystyle$ X $)$ 와 $X$ Y $(\displaystyle$ Y $Y$ 점 사이의 이진 대응 행렬을 나타냅니다.

$\displaystyle W_{i,j}=\begin{case}1&if,X_{i}\왼쪽 화살표 Y_{j}\\0>\end{case}}$

$S_{X}$ X $(\$ 와 $S_{X}$ S $(\$ 가 $S_{Y}$ 데이터 세트 내의 점 단위 유사성을 나타내도록 $S_{X}$ .이것은 보통 k-근접 인접 그래프 인접 행렬의 열 커널로 인코딩됩니다.

마지막으로 '다양체 구조 유지' 목표의 가중치를 조정하도록 조정할 수 있는 $0\leq \mu \leq 1$ 0 $0\leq \mu \leq 1$ 1 ${\displaystyle$ 0 $\leq \mu$ \ $leq$ 1 $0\leq \mu \leq 1$ 을 '해당 지점 거리 최소화' 목표와 비교하여 도입한다.

이러한 정의를 사용하면 매니폴드 정렬에 대한 손실 함수를 다음과 같이 작성할 수 있습니다.

$\displaystyle \arg \min _{X},\phi _{Y}}\mu \sum _{i,j}\left \Vert \phi _{X}\left (X_{i}\right)-\phi _{X}\left (X_{j}\right)\Vert ^{S},{X},{X}\{X}\{X}\}\}\\\\\\\\\\\x}t)\Vert^{2}W_{i,j}}$

이 최적화 문제를 해결하는 것은 G: 접합 행렬의 그래프 라플라시안을^[3] 사용하여 일반화 고유값 문제를 해결하는 것과 같습니다.

$\displaystyle G=\left[{\begin{array}{cc}\mu S_{X}&\left(1-\mu \right)W\\left(1-\mu\오른쪽)W^{T}&\mu S_{Y}\end {array}\right]}$

데이터 간 대응

위에서 설명한 알고리즘에는 입력 데이터 세트 간의 완전한 쌍방향 대응 정보, 즉 감독 학습 패러다임이 필요합니다.그러나, 이 정보는, 통상, 실제의 애플리케이션에서는 입수하기 어렵거나 불가능합니다.최근 연구에서는 코어 매니폴드 정렬 알고리즘을 반감시, 비감시 및 다중 인스턴스 설정으로 확장했습니다.

원스텝 얼라인먼트와 2스텝 얼라인먼트

위에서 설명한 알고리즘은 두 데이터 세트에 대한 임베딩을 동시에 찾는 "원스텝" 정렬을 수행합니다.약간 수정된 절차에 따라 "2단계"^[8] 정렬에서도 유사한 효과를 얻을 수 있습니다.

다양한 차원 축소 알고리즘을 사용하여 각 입력 데이터 세트를 저차원 공간에 독립적으로 투영합니다.
내장된 데이터에 선형 매니폴드 정렬을 수행하고 첫 번째 데이터 세트를 고정하고 각 추가 데이터 세트를 첫 번째 매니폴드에 매핑합니다.이 접근방식은 필요한 계산을 분해할 수 있다는 장점이 있어 메모리 오버헤드를 줄이고 병렬 구현을 가능하게 합니다.

인스턴스 수준 예측과 기능 수준 예측

매니폴드 정렬을 사용하여 선형(피처 수준) 투영 또는 비선형(인스턴스 수준) 임베딩을 찾을 수 있습니다.인스턴스 수준 버전은 일반적으로 보다 정확한 정렬을 생성하지만 학습된 임베딩은 매개 변수를 지정하기가 어렵기 때문에 상당한 수준의 유연성을 희생합니다.피쳐 레벨 투영을 사용하면 새로운 인스턴스를 매니폴드 공간에 쉽게 삽입할 수 있으며 투영을 조합하여 원래 데이터 표현 간에 직접 매핑할 수 있습니다.이러한 속성은 지식 전달 애플리케이션에서 특히 중요합니다.

적용들

매니폴드 얼라인먼트는 각 말뭉치가 다른 차원일 때에도 공유 다지관에 있는 여러 말뭉치의 문제에 적합합니다.많은 실제 문제들이 이 설명에 들어맞지만, 전통적인 기법으로는 모든 말뭉치를 동시에 이용할 수 없습니다.또한 매니폴드 정렬은 하나의 도메인에 대한 지식을 사용하여 상관된 도메인에서 학습을 시작하는 전달 학습을 용이하게 한다.

매니폴드 정렬의 적용 분야는 다음과 같습니다.

다국어 정보 검색/자동^[8] 번역
- 매니폴드 얼라인먼트는 문서를 워드 카운트의 벡터로 표현함으로써 다른 언어의 문서 간의 매핑을 회복할 수 있다.
- 다국어 문서 서신은 특히 유럽연합과 같은 다국어 조직에서 비교적 쉽게 입수할 수 있습니다.
강화^[8] 학습을 위한 정책 및 상태 표현 전달 학습
단백질 NMR 구조의^[8] 정렬
다른 로봇에 의해 생성된 데이터를 공유하여 로봇공학에서의 모델 학습 가속화

「」를 참조해 주세요.

다양체 가설

레퍼런스

^ Ham, Ji Hun; Daniel D. Lee; Lawrence K. Saul (2003). "Learning high dimensional correspondences from low dimensional manifolds" (PDF). Proceedings of the Twentieth International Conference on Machine Learning (ICML-2003).
^ Hotelling, H (1936). "Relations between two sets of variates" (PDF). Biometrika. 28 (3–4): 321–377. doi:10.2307/2333955. JSTOR 2333955.
^ Belkin, M; P Niyogi (2003). "Laplacian eigenmaps for dimensionality reduction and data representation" (PDF). Neural Computation. 15 (6): 1373–1396. CiteSeerX 10.1.1.192.8814. doi:10.1162/089976603321780317. S2CID 14879317.
^ Ham, Ji Hun; Daniel D. Lee; Lawrence K. Saul (2005). "Semisupervised alignment of manifolds" (PDF). Proceedings of the Annual Conference on Uncertainty in Artificial Intelligence.
^ Wang, Chang; Sridhar Mahadevan (2009). Manifold Alignment without Correspondence (PDF). The 21st International Joint Conference on Artificial Intelligence.^{[영구 데드링크]}
^ Wang, Chang; Sridhar Mahadevan (2011). Heterogeneous Domain Adaptation using Manifold Alignment (PDF). The 22nd International Joint Conference on Artificial Intelligence. Archived from the original (PDF) on 2012-04-15. Retrieved 2011-12-14.
^ Lafon, Stephane; Yosi Keller; Ronald R. Coifman (2006). "Data fusion and multicue data matching by diffusion maps" (PDF). IEEE Transactions on Pattern Analysis and Machine Intelligence. 28 (11): 1784–1797. CiteSeerX 10.1.1.419.1814. doi:10.1109/tpami.2006.223. PMID 17063683. S2CID 1186335.^{[영구 데드링크]}
^ ^a ^b ^c ^d Wang, Chang; Sridhar Mahadevan (2008). Manifold Alignment using Procrustes Analysis (PDF). The 25th International Conference on Machine Learning.^{[영구 데드링크]}
^ Makondo, Ndivhuwo; Benjamin Rosman; Osamu Hasegawa (2015). Knowledge Transfer for Learning Robot Models via Local Procrustes Analysis. The 15th IEEE-RAS International Conference on Humanoid Robots (Humanoids). doi:10.1109/HUMANOIDS.2015.7363502.

추가 정보

Xiong, L.; F. Wang; C. Zhang (2007). "Semi-definite manifold alignment". Proceedings of the 18th European Conference on Machine Learning. CiteSeerX 10.1.1.91.7346.
Wang, Chang; Sridhar Mahadevan (2009). "A General Framework for Manifold Alignment" (PDF). AAAI Fall Symposium on Manifold Learning and Its Applications.^{[영구 데드링크]}
Wang, Chang; Sridhar Mahadevan (2010). "Multiscale Manifold Alignment" (PDF). Univ. Of Massachusetts TR UM-CS-2010-049.
Ma, Yunqian (Apr 15, 2012). Manifold Learning Theory and Applications. Taylor & Francis Group. p. 376. ISBN 978-1-4398-7109-6.
Chang Wang의 매니폴드 정렬 개요

[1] Ham, Ji Hun; Daniel D. Lee; Lawrence K. Saul (2003). "Learning high dimensional correspondences from low dimensional manifolds" (PDF). Proceedings of the Twentieth International Conference on Machine Learning (ICML-2003).

[2] Hotelling, H (1936). "Relations between two sets of variates" (PDF). Biometrika. 28 (3–4): 321–377. doi:10.2307/2333955. JSTOR 2333955.

[3] Belkin, M; P Niyogi (2003). "Laplacian eigenmaps for dimensionality reduction and data representation" (PDF). Neural Computation. 15 (6): 1373–1396. CiteSeerX 10.1.1.192.8814. doi:10.1162/089976603321780317. S2CID 14879317.

[4] Ham, Ji Hun; Daniel D. Lee; Lawrence K. Saul (2005). "Semisupervised alignment of manifolds" (PDF). Proceedings of the Annual Conference on Uncertainty in Artificial Intelligence.

[5] Wang, Chang; Sridhar Mahadevan (2009). Manifold Alignment without Correspondence (PDF). The 21st International Joint Conference on Artificial Intelligence.^{[영구 데드링크]}

[6] Wang, Chang; Sridhar Mahadevan (2011). Heterogeneous Domain Adaptation using Manifold Alignment (PDF). The 22nd International Joint Conference on Artificial Intelligence. Archived from the original (PDF) on 2012-04-15. Retrieved 2011-12-14.

[7] Lafon, Stephane; Yosi Keller; Ronald R. Coifman (2006). "Data fusion and multicue data matching by diffusion maps" (PDF). IEEE Transactions on Pattern Analysis and Machine Intelligence. 28 (11): 1784–1797. CiteSeerX 10.1.1.419.1814. doi:10.1109/tpami.2006.223. PMID 17063683. S2CID 1186335.^{[영구 데드링크]}

[procrustes-8] Wang, Chang; Sridhar Mahadevan (2008). Manifold Alignment using Procrustes Analysis (PDF). The 25th International Conference on Machine Learning.^{[영구 데드링크]}

[9] Makondo, Ndivhuwo; Benjamin Rosman; Osamu Hasegawa (2015). Knowledge Transfer for Learning Robot Models via Local Procrustes Analysis. The 15th IEEE-RAS International Conference on Humanoid Robots (Humanoids). doi:10.1109/HUMANOIDS.2015.7363502.

[1]

[2]

[3]

[8]

Search

매니폴드 얼라인먼트

네임스페이스

더

목차

개요

데이터 간 대응

원스텝 얼라인먼트와 2스텝 얼라인먼트

인스턴스 수준 예측과 기능 수준 예측

적용들

「」를 참조해 주세요.

레퍼런스

추가 정보

Search

매니폴드 얼라인먼트

개요

데이터 간 대응

원스텝 얼라인먼트와 2스텝 얼라인먼트

인스턴스 수준 예측과 기능 수준 예측

적용들

「 」를 참조해 주세요.

레퍼런스

추가 정보

「」를 참조해 주세요.