독립 성분 분석

시리즈의 일부
기계 학습 및 데이터 마이닝
문제 분류 클러스터링 회귀 이상 검출 데이터 클리닝 자동 ML 어소시에이션 규칙 강화 학습 구조화된 예측 기능 엔지니어링 기능 학습 온라인 학습 준지도 학습 비지도 학습 순위 매기기 학습 문법 유도
지도 학습 (분류 • 회귀) 의사결정 트리 앙상블 배깅 부스팅 랜덤 포레스트 k-NN 선형 회귀 네이비 베이즈 인공신경망 로지스틱 회귀 분석 퍼셉트론 관련 벡터 머신(RVM) 서포트 벡터 머신(SVM)
클러스터링 버치 치유하다 계층적 k자형 기대 최대화(EM) DBSCAN 광학 평균 이동
치수 축소 인자 분석 CCA ICA LDA NMF PCA PGD t-SNE
구조화된 예측 그래픽 모델 베이즈 네트 조건부 랜덤 필드 히든 마르코프
이상 검출 k-NN 국소 특이치 계수
인공신경망 자동 인코더 인지 컴퓨팅 딥 러닝 딥 드림 다층 퍼셉트론 RNN LSTM GRU ESN 저장고 계산 제한 볼츠만 기계 GAN somerset. 컨볼루션 뉴럴 네트워크 유넷 트랜스포머 비전. 스파이킹 뉴럴 네트워크 메모리 트랜지스터 전기화학 RAM(ECRAM)
강화 학습 Q-러닝 사사 시간차(TD) 멀티 에이전트 셀프 플레이
인간과의 학습 액티브 러닝 크라우드 소싱 휴먼 인 더 루프
모델 진단 학습 곡선
이론. 커널 머신 바이어스-분산 트레이드오프 컴퓨터 학습 이론 경험적 리스크 최소화 오컴 러닝 PAC 학습 통계학 학습 VC 이론
기계학습장 NeurolIPS ICML ML JMLR ArXiv:cs.LG
관련 기사 인공지능 용어집 기계 학습 연구를 위한 데이터 세트 목록 기계학습의 개요
v t

이 글은 검증을 위해 추가 인용문이 필요합니다. 신뢰할 수 있는 출처에 인용문을 추가하여 이 기사를 개선하는 데 도움을 주십시오. 조달되지 않은 자재는 제거될 수 있습니다.출처 : '독립 성분 분석'– 뉴스 · 신문 · 서적 · 학자 · JSTOR (2011년 10월) (이 템플릿 메시지 삭제 방법 및 삭제 시기 확인)

신호 처리에서 독립 성분 분석(ICA)은 다변량 신호를 가산 하위 성분으로 분리하는 계산 방법입니다.이것은 최대 1개의 서브컴포넌트가 비가우스 신호이며 서브컴포넌트가 통계적으로 서로 ^[1]독립적이라고 가정함으로써 이루어집니다.ICA는 블라인드 소스 분리의 특수한 경우입니다.일반적인 적용 예는 시끄러운 ^[2]방에서 한 사람의 연설을 엿듣는 "칵테일 파티 문제"입니다.

서론

독립 성분 분석은 다변량 신호를 독립 비-가우스 신호로 분해하려고 시도합니다.예를 들어, 소리는 보통 여러 소스에서 나오는 신호의 각 시간 t에 숫자 덧셈으로 구성된 신호입니다.여기서 문제는 이러한 기여 소스를 관측된 총 신호에서 분리할 수 있는가 하는 것입니다.통계적 독립성 가정이 올바른 경우 혼합 신호의 블라인드 ICA 분리는 매우 좋은 ^{[citation needed]}결과를 가져옵니다.분석 목적으로 혼합하여 생성해서는 안 되는 신호에도 사용됩니다.

ICA의 간단한 적용은 "칵테일 파티 문제"로, 기본 음성 신호는 방에서 동시에 대화하는 사람들로 구성된 샘플 데이터로부터 분리된다.통상, 지연이나 에코가 없는 것을 전제로 하는 것으로, 문제가 심플화됩니다.필터링 및 지연된 신호는 종속 컴포넌트의 복사이므로 통계적 독립성 가정은 위반되지 않습니다.

$N개$컴포넌트에서$$M개(\$textstyle$ M$\$times N$)$ $관측$ 신호를 구성하기 위한 혼합 가중치를 M$$×$$(\$textstyle$ M$\times$ N$)$ $매트릭스$에 배치할 수 있습니다.고려해야 할 중요한 점은 N개의 $\textstyle$N개의 소스가$$ 존재하는 $경우$ 원본 신호를 복구하기 위해 $최소$N개의 \$textstyle$N개의 관측치$$(예를 들어 관측된 신호가 오디오인 경우 마이크)가 필요하다는 것입니다.관측치와 소스 신호의 수가 같으면 혼합 행렬은 정사각형($$ $=$ {$textstyle$ M$=N})$이 됩니다.기타 과소판정 사례 <N \ $textstyle$M \$N$ )및 과대판정 사례(> \ $textstyle$ M $> N$)가 조사되었습니다.

혼합 신호의 ICA 분리가 매우 좋은 결과를 가져오는 것은 혼합 소스 신호의 2가지 가정과 3가지 효과에 기초하고 있습니다.두 가지 전제 조건:

1. 소스 신호는 서로 독립적입니다.
2. 각 소스 신호의 값은 가우스 분포가 아닙니다.

소스 신호 혼합의 세 가지 효과:

1. 독립성:가정 1에 따라 소스 신호는 독립적이지만 신호 혼합은 독립적이지 않습니다.이는 신호 혼합물이 동일한 소스 신호를 공유하기 때문입니다.
2. 정규성:중심 한계 정리에 따르면 분산이 유한한 독립 랜덤 변수의 합계는 가우스 분포를 지향한다.
   대략적으로 말하면, 두 개의 독립적인 랜덤 변수의 합은 보통 두 개의 원래 변수 중 어느 것보다 가우스 분포에 더 가깝습니다.여기서는 각 신호의 값을 랜덤 변수로 간주합니다.
3. 복잡성:신호 혼합의 시간 복잡도는 가장 단순한 구성 소스 신호의 시간 복잡도보다 큽니다.

그 원칙들은 ICA의 기본 설립에 기여한다.혼합물 집합에서 추출된 신호가 독립적이고 가우스 히스토그램이 아닌 경우 또는 복잡도가 낮은 경우 소스 ^[4][5]신호여야 합니다.

컴포넌트 독립성

ICA는 추정된 성분의 통계적 독립성을 극대화하여 독립 성분(요인, 잠재 변수 또는 출처라고도 함)을 찾습니다.독립 프록시를 정의하는 많은 방법 중 하나를 선택할 수 있으며, 이 선택은 ICA 알고리즘의 형식을 지배합니다.ICA의 독립성에 대한 가장 광범위한 두 가지 정의는 다음과 같다.

1. 상호 정보 최소화
2. 비가우스성의 극대화

ICA 알고리즘의 MMI(Minimization-of-Mutual Information) 패밀리는 Kullback-Leibler Divergence 및 최대 엔트로피와 같은 척도를 사용합니다.중심 한계 정리에 의해 동기 부여되는 ICA 알고리즘의 비-가우스성 계열은 첨도와 음성을 사용한다.

ICA의 일반적인 알고리즘은 실제 반복 알고리즘에 대한 문제의 복잡성을 단순화하고 줄이기 위해 센터링(평균을 추출하여 제로 평균 신호를 생성), 화이트닝(일반적으로 고유값 분해와 함께), 차원성 감소를 전처리 단계로 사용합니다.주성분 분석 또는 특이값 분해를 통해 미백 및 치수 감소를 달성할 수 있습니다.화이트닝은 알고리즘이 실행되기 전에 모든 차원이 동일하게 처리되도록 합니다.ICA의 잘 알려진 알고리즘에는 infomax, FastICA, JADE 및 커널에 의존하지 않는 컴포넌트 분석 등이 있습니다.일반적으로 ICA는 실제 소스 신호의 수, 소스 신호의 고유하게 올바른 순서 또는 소스 신호의 적절한 스케일링(부호 포함)을 식별할 수 없습니다.

ICA는 블라인드 신호 분리에 중요하며 많은 실용적인 응용 분야를 가지고 있습니다.이것은 데이터의 요인 코드 검색과 밀접하게 관련되어 있다(또는 심지어 특별한 경우). 즉, 결과 코드 벡터(손실 없는 부호화)에 의해 고유하게 인코딩되는 각 데이터 벡터의 새로운 벡터 값 표현이다. 그러나 코드 구성요소는 통계적으로 독립적이다.

수학적 정의

선형 독립 성분 분석은 소음 없는 경우와 소음 없는 경우로 나눌 수 있으며, 소음 없는 ICA는 소음 ICA의 특수한 경우이다.비선형 ICA는 별도의 경우로 간주해야 한다.

일반적인 정의

데이터는 관측된 랜덤 $벡터{\displaystyle \mathit{}}$ x $=$ ( ${\displaystyle {x\mathrm{}}_{}}$ 1,${\displaystyle }$…${\displaystyle }$, ${\displaystyle x_{}}$ m${\displaystyle {}_{}{}^{}}$) ${\displaystyle T^{}}$ ${\$x}=($x_{1},\ldots,x_{m}^{$로 표시됩니다.$T}$ 및 숨겨진$$ 컴포넌트를 랜덤 벡터 $s{\displaystyle \mathit{}}$ ${\displaystyle =}$ ( ${\displaystyle s^{}{}_{}}$1${\displaystyle }$, ${\displaystyle ...}$ ,${\displaystyle {}_{}{}^{}{s}_{}}$ n${\displaystyle {}^{}}$)$$T . {$$$style$ \ $bold symbol$ { s } = ( $s$_ {$1} \ldots$ ,$$s _ n }^{ $T$} } } $displaydisplaydisplaydisplaydisplaydisplaydisplaydisplaydisplaydisplaydisplaydisplaydisplaydisplay$ 、 \ $display$style { $bold{\displaystyle \mathit{}}$ $symbold$$symbol$ { x$$$$displaydisplaydisplaydisplaydisplay$$displaydisplaydisplaydisplayboldbolddisplaydisplaydisplaydisplaydisplaydisplaydisplaydisplaydisplaydisplaydisplay displaydisplaydisplaydisplaydisplaydisplaydisplaydisplaydisplaydisplaydisplaydisplaydisplaydisplaybolddisplaydisplaydisplay${\displaystyle W}$x$$, {\$displaystyle {s}={\boldsymbol {W}}{\$$boldsymbol {x}}}$을(를) $함수{\displaystyle }$F($s$ 1,${\displaystyle \dots ,}$ ${\displaystyle s_{}}$n$)$에 의해 측정되는 최대 독립 $컴포넌트$의 벡터$(\$$displaystyle$$$F$(s_1},\ldots)$

생성 모델

선형 노이즈 없음 ICA

관찰된 랜덤 $벡터{\displaystyle \mathit{}}$ x $=$ ( ${\displaystyle {x\mathrm{}}_{}}$1,${\displaystyle \dots ,}$ ${\displaystyle x_{}{}^{}}$m )의 $성분{\displaystyle {}_{}}$ ${\displaystyle x_{}}$i ($x_displaystyle x_{i})$$$T ($x_{1},\ldots,x_{m})^{$$T}}$은 독립 $컴포넌트{\displaystyle {}_{}}$ ${\displaystyle s_{}}$ k$${\$displaystyle s_{k$ k ${\displaystyle =1}$,${\displaystyle \dots ,}$ {\$displaystyle$ k$=1,\ldots,n$의 합으로 생성됩니다.

${displaystyle x_{i}=a_{i,1}s_{1}+\cdots +a_{i,k}s_{k}+\cdots +a_{i,n}s_{n}}$

${\displaystyle {a,}_{}}$ $(\$의 $혼합{\displaystyle {}_{}}$ 무게에 의해 가중치가 부여됩니다.

동일한 생성 ${\displaystyle \underset{}{\overset{}{모델}}}$은 x ${\displaystyle \underset{}{\overset{}{}}}$ k ${\displaystyle \underset{}{\overset{}{=}}}$ ${\displaystyle \underset{}{\overset{}{1}}}$ ${\displaystyle \underset{}{\overset{}{}}{}_{}}$ s ${\displaystyle k_{}}$ ${\displaystyle {}_{}}$ $k${ style \ display { k$$} ${\displaystyle {}_{}}$ \ $sum$ _ { $k = 1 }^{ n$${\displaystyle }$} s _ { k } { \ $bold$ symbol { a$} }$ { $k$$$$\}$ 와 같은 벡터 $형식$으로 $작성$될 수 있습니다. ${\displaystyle {}_{}}$서 관측된 랜덤 $벡터{\displaystyle \mathit{}}$ x$(\$ $displaystyle$\ syle \ syle \ syle \ syle \ syle \ $syle$ \ syle \ sylmbold syl { x } _ syl { x$}$ _ symbol { $x$$displaystyle${$T$ 기본 $벡터{\displaystyle {\mathit{}}_{}}$ ${\displaystyle {}_{}}$ k$${\$displaystyle {a}}_{k}}$은 $혼합행렬{\displaystyle \mathit{}}$ A $=$ ( ${\displaystyle {\mathrm{}}_{}}$,${\displaystyle \dots ,}$ $)$ {\$displaystyle {a}}=$bold\$boldsymbol {a},\ldots$, {\$boldsymbol {a}_n$})의$$ 컬럼을 형성하며 x의 $생성식$을 사용할 수 있습니다$.$${\boldsymbol {A}}{\boldsymbol {s$ ${\displaystyle {}_{}}$서 s $=$ ( s ${\displaystyle {1\mathrm{}}_{}}$,${\displaystyle \dots ,}$ ${\displaystyle {}_{}{}^{}{n}_{}}$ )$$ {\$displaystyle {s$}=($s_{1},\ldots,s_{n}^$${T$

모델 및 실현(샘플)${\displaystyle {\mathrm{}}_{}}$ 1,${\displaystyle \dots ,}$ ${\displaystyle {}_{}}$ N$$(\$displaystyle$$${\$boldsymbol {x})_{1$}, $\ldots$, {\boldsymbol {$x}$$_$${N$}) 랜덤 $x$의 {\displaystyle {x$\}$_{$n}}$과(\$displaystyle {x})$의 혼합 $매트릭스$를 모두 $추정$합니다$.$$oldsymbol$$${$s$ $이것$은$$w\$displaystyle {boldsymbol$ {w$}$ 벡터를$$ 적응적으로 계산하여 $계산$된 ${\displaystyle {sk}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle {}^{}}$ {\$displaystyle s_{k} = boldsymbol {$w}}^{{\}}}의 비용 함수를 설정함으로써 이루어집니다.$T}{\boldsymbol {x}}}$ 또는$$ 상호 정보를 최소화합니다.경우에 따라서는, 선원의 확률 분포에 대한 선험적 지식이 비용 함수에서 사용될 수 있다.

원본 $({$는 관찰된 $신호{\displaystyle \mathit{}}$x$({displaystyle$$${$x})$에 혼합 $매트릭스{\displaystyle \mathit{}}$ ${\displaystyle {\mathit{}}^{}}$ $=$A -$$({$displaystyle {W}})={-1$의 역수를 곱하여 복구할 수 있습니다.여기서 혼합 매트릭스는 $$이라고 가정합니다($$ ${\displaystyle =}$ m \ $displaystyle$ n $= m$ $$） 。베이스 벡터의 수가 관찰된 벡터의 보다클 $(n$ > m \ $displaystyle$ n$>$m ) 태스크는 오버 컴플리트이지만 의사 역순으로 해결할 수 있습니다.

선형 노이즈 ICA

제로 평균 및 상관없는 $가우스{\displaystyle }$ 노이즈 n${\displaystyle }$~ N${\displaystyle }$( ${\displaystyle 0}$, ${\displaystyle \mathrm{diag}(}$ )$$( ${\displaystyle \mathrm{\sigma }}$ ${\displaystyle )}$\ $display$n \ $sim$N ( $0$, \ $operatorname {$$diag$} ( \ $Sigma$) , ) , , , , , , , , , ICA 모델은 $x$ ${\displaystyle =\; A\mathit{}}$ +$n$ ( \ style { $bold$ sylbold { $xolbold$ } symbold = symbol} ) ) , $symb$ = symbodymbolsymb

비선형 ICA

소스 혼합은 선형일 필요는 없습니다.파라미터 ${\$${\displaystyle }${ $displaystyle \theta$}에$$ $비선형{\displaystyle }$ 혼합 함수 $f{\displaystyle }$( ${\displaystyle \cdot }$${\displaystyle \theta }$ ) { $displaystyle$ f$(\cdot \theta )$를 사용하면$$ 비선형 ICA 모델은 x ${\displaystyle =}$ ${\displaystyle f}$( s${\displaystyle }$)${\displaystyle }$) +$$n { $display style$ x $= f$ ($s$ \$theta$)+$n$가 $됩니다{\displaystyle }$.

식별 가능성

독립 컴포넌트는 소스의 치환과 스케일링까지 식별할 수 있습니다.이 식별가능성에는 다음이 필요합니다.

• ${\displaystyle {소스}_{}}$ 중$$k(\$style s_{$k$$})는 가우스입니다.
• 관찰된 혼합물의 $수{\displaystyle }$m{$displaystyle$ m$\}$는 추정 $성분{\displaystyle }$ 수 n${displaystyle$ n$\}$ : m${\displaystyle n}$n {\$displaystyle m\geq$ n$\}$ 이상이어야 합니다. 즉, 혼합 $매트릭스{\displaystyle \mathit{}}$ A$${\$displaystyle {A}}$이(가) 역순위로 존재하려면 전체 등급이어야 합니다.

바이너리 ICA

ICA의 특별한 변형은 바이너리 ICA로 신호 소스와 모니터가 모두 바이너리 형식이며 모니터로부터의 관찰은 바이너리 독립 소스의 분리 혼합이다.이 문제는 의료 진단, 다중 클러스터 할당, 네트워크 단층 촬영 및 인터넷 자원 관리를 포함한 많은 영역에서 응용 프로그램을 사용하는 것으로 나타났습니다.

${\displaystyle {x\mathrm{}}_{}}$1, ${\displaystyle {}_{}{2\mathrm{}}_{}}$, ${\displaystyle ...,}$ ${\displaystyle {}_{}}$ {\$displaystyle {x_{1$},$x_{2$},\$ldots,x_{$m}}을$$ m$$$${\$displaystyle$ m$$$}$ $모니터$의 바이너리 변수 세트, ${\displaystyle {y\mathrm{}}_{}}$ 1,${\displaystyle {}_{}{y2\mathrm{}}_{},{yn}_{}}$ {$display {1},y2},$ \$ldots, y{n$$}$로 $합니다{\displaystyle {}_{}}$.소스-모니터 연결은 (표준) 혼합 $매트릭스\mathit{}$G(\$textstyle {\boldsymbol$ {G$\}\})$로 표시됩니다. $여기$서 ${\displaystyle {\mathrm{gi}}_{}}$ j $=$(\$displaystyle g_${ij}=$1})$은 i번째 소스로부터의 신호가 j번째 모니터에 의해 관찰될 수 있음을 나타냅니다.시스템은 다음과 같이 동작합니다.$소스{\displaystyle }$i(\$displaystyle$ i$)$가 활성화되어 있고($y$ ${\displaystyle \mathrm{i}}$ 1 {$displaystyle$$y_${i}$$$= 1$) $모니터{\displaystyle }$j($$${\displaystyle g_{}}$ i ${\displaystyle \mathrm{j}}$ ${\displaystyle {}_{}}$ ${\displaystyle 1}$ {$displaystyle g_${ij} $=$$1$) 모니터 j(\$displaystyle$ j$)$에 연결되어 있는 경우, 모니터$j{\displaystyle }$(\displaystyle j)가$$ 어떤 액티비티를 관찰합니다($x$ 1$).$$ystyle x_{j}=1$}$$$$입니다.정식으로 다음과 같은 것이 있습니다.

${\displaystyle x_{i}=\bigvee _{j=1}^{n}(g_{ij}\display y_{j}),i=1,2,\ldots,m,}$

여기서 $"\displaystyle\wedge"$는 Boolean AND, $"\displaystyle\vee"$는 Boolean OR입니다.소음은 명시적으로 모델링되지 않고 독립적인 선원으로 취급할 수 있다.

위의 문제는 변수가 연속적이고 빠르게 실행된다고 가정하면 경험적으로^[6] 해결할 수 있습니다.ICA는 이진수 관측 데이터에 대해 혼합 $행렬\mathit{}$ G$($ 값)를 얻은 후 G$(\$에 라운드 넘버 기법을 적용하여 이진수 값을 구합니다.이 접근방식은 매우 부정확한 결과를 ^{[citation needed]}낳는 것으로 나타났습니다.

또 다른 방법은 동적 프로그래밍을 사용하는 것입니다. 즉, 관찰 $행렬\mathit{}$ X$(\$를 하위 행렬로 재귀적으로 분할하고 이러한 하위 행렬에 대해 추론 알고리즘을 실행합니다.이 알고리즘으로 이어지는 주요 관찰은 X$({$의 X(\$textstyle {X})$의 하위 $기호{\mathit{}}^{}$ $(\$textstyle {X$})$입니다. $여기$서 $x_{}$ $j_{}$ $=$,$\mathrm{}j$j(\$textstyle x_{ij$}=$0,\forall$j)는$연결$되지 않은 컴포넌트의 왜곡되지 않은 관찰 매트릭스에 대응합니다$$.$playstyle$ i$}$ - 번째$$ 모니터의 실험 결과에 따르면^[7] 이 접근방식은 적당한 소음 수준에서 정확합니다.

Generalized Binary ICA 프레임워크는^[8] 생성 모델에 대한 지식이 필요하지 않은 광범위한 문제 공식을 도입한다.즉, 이 메서드는 소스 생성 방법에 대한 사전 전제 없이 소스를 독립된 컴포넌트(가능한 한 정보를 잃지 않고)로 분해하려고 합니다.이 문제는 매우 복잡해 보이지만, 분기 및 바운드 검색 트리 알고리즘이나 벡터가 있는 행렬의 단일 곱셈으로 엄격하게 상한을 설정하여 정확하게 해결할 수 있다.

블라인드 소스 분리 방법

프로젝션 추구

신호 혼합물은 가우스 확률 밀도 함수를 갖는 경향이 있고 소스 신호는 비 가우스 확률 밀도 함수를 갖는 경향이 있습니다.각 소스 신호는 가중치 벡터의 내적과 이 내적이 신호 혼합물의 직교 투영을 제공하는 신호 혼합물의 내적을 취함으로써 신호 혼합물의 집합에서 추출할 수 있다.남은 과제는 그러한 무게 벡터를 찾는 것이다.이를 위한 방법 중 하나는 투영 ^[9][10]추적입니다.

투영 추구는 추출된 신호가 가능한 한 비가우스적이 되도록 한 번에 하나의 투영을 추구합니다.이는 일반적으로 M × M 혼합 해제 행렬을 추정해야 하는 M 신호 혼합에서 M 신호를 동시에 추출하는 ICA와 대조됩니다.ICA에 비해 투사 추구의 실질적인 이점 중 하나는 필요에 따라 M개 미만의 신호를 추출할 수 있다는 것이다.여기서 각 소스 신호는 M요소 가중치 벡터를 사용하여 M개 신호 혼합에서 추출된다.

투영 추구를 사용하여 올바른 무게 벡터를 찾아 다중 소스 신호를 복구할 수 있습니다.

유한 표본에 대한 신호의 확률 밀도 함수의 첨도는 다음과 같이 계산됩니다.

$({displaystyle K=mathbfrac {E} [(\mathbf {y} -\mathbf {y})^{4}}}{(\operatorname {E} -\mathbf {y})^2})})^{2}}}-3}$

$여기$서 y$(\$추출된$$ 신호인$$y(\$displaystyle \mathbf {y$의 표본 평균입니다.상수 3은 가우스 신호의 첨도가 0이고, 슈퍼 가우스 신호는 양의 첨도가, 서브 가우스 신호는 음의 첨도가 되도록 합니다.분모는 y$\$의 분산이며 측정된 첨도가 신호 분산을 고려하도록 합니다.투영 추구의 목적은 첨도를 최대화하고 추출된 신호를 가능한 비정규적으로 만드는 것입니다.

첨도를 비표준값의 척도로 사용하여 $M{\displaystyle \mathbf{}}$ $혼합물{\displaystyle \mathbf{}}$ ${\displaystyle {\mathbf{}}^{}}$ = (${\displaystyle {}_{}{}_{}{1\mathrm{}}_{}}$,${\displaystyle {}_{}}$x ${\displaystyle {}_{}}$,${\displaystyle {}_{}{}^{}}$ ${\displaystyle X_{}}$ )에서 추출된 신호 y ${\displaystyle =}$ ${\displaystyle {}^{}}$ ${\displaystyle {}^{}\mathbf{}}$x \ $displaystyle$$$\$mathbf {y}$ ${\displaystyle =\backslash }$$mathbf${w}$^{T}\mathbf$$${$x$$}$$}$의 첨도를 확인할 수 $있습니다$.$T}}:$ 무게$$ $벡터{\displaystyle \mathbf{}}$ w$\$가 원점을 중심으로 회전함에 따라 변화합니다.각 소스 $신호{\displaystyle \mathbf{}}$s$(\displaystyle$ \$mathbf${s$$$})$가 슈퍼 가우스라고 가정하면 다음과 같이 됩니다.

1. 추출된 $y$의 첨도는 y $=$ ${\displaystyle s\mathbf{}}$\$displaystyle \mathbf {y}$$=\mathbf {s}$일 때 $정확$하게 최대가 되어야 합니다.
2. $추출$된 신호$y$의 $첨도는{\displaystyle {}_{}}$ ${\displaystyle {w\mathrm{}}_{}}$\displaystyle $\mathbf {w}$이$(가)$ 투영$축$ ${\displaystyle {S1\mathrm{}}_{}}$({$displaystyle$ S_${$$})$ 또는 $S2$({$displaystyle$$S_{$2})와 직교할 $때{\displaystyle \mathbf{}}$ 최대가 됩니다. 최적의 무게 벡터는 변환 축 S1과 직교해야 하기 때문입니다.$({displaystyle S_{1}}$ $또는$ $({$

다중 소스 혼합 신호의 경우 첨도와 그램-슈미트 직교화(GSO)를 사용하여 신호를 복구할 수 있습니다.M차원 공간에 M개의 신호가 혼합되어 있을 때 GSO는 가중치 벡터를 사용하여 이러한 데이터 포인트를 (M-1)차원 공간에 투영한다.GSO를 사용하여 추출된 신호의 독립성을 보장할 수 있습니다.

w$\$의 $올바른{\displaystyle \mathbf{}}$ 값을 찾기 위해 구배 강하법을 사용할 수 있습니다.먼저 데이터를 화이트화하고 x$(\$를 단위 분산을 갖는 새로운 $혼합{\displaystyle \mathbf{}}$z(\$displaystyle \mathbf${$z$와 z$=$ ($z_{1},$ T$(\${z}, ${})$로 $변환$합니다.x$(\$로의 분해$,$

$\displaystyle \mathbf {x} =\mathbf {U} \mathbf {D} \mathbf {V} ^{T}$

각 $벡터{\displaystyle {}_{}}$ ${\displaystyle U_{}}$ i ${\displaystyle {}_{}}$ ${\displaystyle U_{}i\mathrm{}}$ / E ${\displaystyle (}$ ( ${\displaystyle {}_{}^{}}$ ${\displaystyle i_{\mathrm{}}^{}}$) { $displaystyle$ U _ { i } = $U$_ { $i$} / \$operatorname${ E } ( $U$_ { $i$} {$\}$ )를 재스케일하고 z ${\displaystyle =}$ ${\displaystyle U\mathbf{}}$\$displaystyle \mathbf {z }$ =\$mathbf$ {U$\}$ $신호$를 추출합니다$.$$}$ ^{$T}\mathbf${$z}$}. 무게 벡터 w가 단위 길이를 갖는 경우 y의 분산도 $1$입니다${\displaystyle .}$ 즉$,$ E$w$ [${\displaystyle {}^{}}$( ${\displaystyle {}^{}\mathbf{}{}^{}{T\mathrm{}}^{}}$ z ) ${\displaystyle 2}$] $=$ 1 \$displaystyle \operatorname$ {E } [ ( \$mathbf {w}\mathbf {$z}^{z$}$} $= 1$]따라서 첨도는 다음과 같이 쓸 수 있습니다.

$({displaystyle K=paratorname {E}[\mathbf {y}^{4}}}{(\mathbf {y}^{2})})^{2}}-3=\operatorname {E} [(\mathbf {w}^{T}\mathbf {z})^{4}]-3.}$

$\$ 업데이트$$ 프로세스는 다음과 같습니다.

${\displaystyle \mathbf {w} _{new}=\mathbf {w} _{old}-\eta \operatorname {E} [\mathbf {z} (\mathbf {w} _{old}^{T}\mathbf {z})^{3}]}$

여기서$\theta {\displaystyle }$ {\$displaystyle \eta}$는 w$\$이(가) 최적의 솔루션으로 수렴되도록$$ $하기{\displaystyle \mathbf{}}$ 위한 작은 상수입니다.각 업데이트 후 ${\displaystyle {}_{}}$ ${\displaystyle n_{}}$ ${\displaystyle \frac{e_{}}{}}$ ${\displaystyle {}_{}}$ ${\displaystyle \frac{{}_{}}{}}$ n e ${\displaystyle \frac{w_{}}{}}$ ${\displaystyle \frac{w_{}}{}}$ w w w w w w w w${\displaystyle \frac{{}_{}}{}}$w w \ $displaystyle$\ $mathbf { w$ }$_$ { $new } = spec$ frac { $mathbf${ $w$}$_$$${ ${\displaystyle {\mathrm{new}}_{}}$$$}$$} { $w$ ${\displaystyle {}_{}}$ $=$ w { $displaystyle$\$mathbf${ w } { w } $_ mathbf$} { w } { w } { new } 를 설정합니다.다른 알고리즘을 사용하여 무게 $벡터{\displaystyle \mathbf{}}$ w$\$ 를 업데이트할 수도 있습니다$.$

또 다른 접근법은 첨도 대신에 부정성을^[11][12] 사용하는 것이다.첨도는 특이치에 매우 민감하기 때문에 음성을 사용하는 것이 첨도보다 더 강력한 방법입니다.네겐트로피 방법은 가우스 분포의 중요한 특성에 기초합니다. 가우스 변수는 동일한 분산의 모든 연속 랜덤 변수 중에서 가장 큰 엔트로피를 가집니다.이것이 우리가 가장 비가우스적인 변수를 찾는 이유이기도 하다.간단한 증거는 미분 엔트로피에서 찾을 수 있습니다.

${\displaystyle J(x)=S(y)-S(x)}$

y는 x와 동일한 공분산 행렬의 가우스 랜덤 변수입니다.

$\displaystyle S(x)=-\int p_{x}(u)\log p_{x}(u)du}$

부젠트로피의 근사치는 다음과 같다.

${\displaystyle J(x)=black {1}{12}(E(x^{3}))^{2}+{\flac {1}{48}(black(x))^{2}}$

증거는 코몬의 ^[13][11]원본 논문에서 찾을 수 있다; 그것은 Aapo Hyvérinen, Juha Karhunen, Erkki^[14] Oja의 독립 성분 분석에서 재현되었다. 이 근사치 역시 첨도증(이상치에 대한 민감도)과 같은 문제를 겪는다.다른 접근법이 ^[15]개발되었습니다.

$(\displaystyle J(y)=k_{1}(E(G_{1}(y)))^{2}+k_{2}(E(G_{2}(y))-E(G_{2}(v)^2}})$

$({$ $및$ $({$ $중$에서 선택할 수 있습니다.

${\displaystyle {G1\mathrm{}}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle \frac{{}_{}}{}}$ a ${\displaystyle 1\frac{{}_{}}{}}$ log${\displaystyle (}$ ( ${\displaystyle \cosh }$ ${\displaystyle }$ ( ${\displaystyle {}_{}}$ 1${\displaystyle }$u$$) { $displaystyle G_{1$} ${\displaystyle {}_{}}$ $scsfrac {1} {$1} \$log$ ( \$cosh$ ( $a$_ {$}$$u$ ) } } 、 $=$ - exp${\displaystyle \frac{{u\mathrm{}}^{}}{}}$ ( -${\displaystyle \frac{{}^{}}{\mathrm{}}}$ $2$) { $displaystyle G_{$2 } } } （ \$fru$）

인포맥스 기반

Infomax ICA는^[16] 기본적으로 투영 추구의 다변량 병렬 버전입니다.투영 추구는 M개의 신호 혼합에서 한 번에 하나씩 일련의 신호를 추출하는 반면 ICA는 M개의 신호를 병렬로 추출합니다.이로 인해 ICA는 ^[17]예측추구보다 더 견고해지는 경향이 있습니다.

투영 추적 방법은 추출된 신호의 독립성을 보장하기 위해 그램-슈미트 직교화를 사용하는 반면 ICA는 추출된 신호의 독립성을 보장하기 위해 인포맥스와 최대우도 추정치를 사용합니다.추출된 신호의 비정규성은 신호에 적절한 모델 또는 이전 모델을 할당함으로써 달성됩니다.

간단히 말해서 인포맥스에 기반한 ICA의 프로세스는 신호 $혼합{\displaystyle \mathbf{}}$ x$(\$ 집합과$$ 동일한 독립 모델 누적 분포 함수(cdfs)$g{\displaystyle }$$(\$$displaystyle$ g$)$ 집합이 주어진 경우 신호의 결합을 최대화하는 혼합 해제 $행렬{\displaystyle \mathbf{}}$W(\$displaystyle$ \$mathbf {W})$를 구한다.${\displaystyle \mathbf{Y}}$ ${\displaystyle =g}$ (${\displaystyle y\mathbf{}}$) { $displaystyle \mathbf {Y}$ = $g(\mathbf {y$$}$ $).$ $여기$서 y ${\displaystyle =}$ ${\displaystyle \mathbf{W}}$x \$displaystyle$$\mathbf {W}$$$}는 W {\displaystyle \$mathbf {W}$에 의해 $추출$된 신호입니다. $최적의$W$\$$mathbf${Wstyle {$W}$이(\mathbf {Y} ).따라서 추출된 $신호{\displaystyle \mathbf{}}$ y ${\displaystyle ={}^{}}$ -${\displaystyle {}^{}{1}^{}}$ ( ${\displaystyle Y\mathbf{}}$)$${ $displaystyle \mathbf {y} =g^{-1}(\mathbf {Y})}$도 독립적입니다.$g{\displaystyle }$ {\$displaystyle$ g$}$는 가역 함수이며 신호 모델입니다.소스 신호 모델 확률 밀도 $함수{\displaystyle {}_{}}$ p ${\displaystyle s_{}}${\$displaystyle p_{s}}$가 추출된 $신호{\displaystyle {}_{}}$ p$$ {\$displaystyle p_{\mathbf {y$의 확률 밀도 함수와 일치하는 경우 Y$${\$displaystyle$ Y$}$의 조인트 엔트로피를 최대화하면 x 사이의 $상호{\displaystyle \mathbf{}}$ 정보량도 최대화됨을 유의하십시오.$\displaystyle \mathbf {x}$ $및$ Y \$displaystyle \mathbf {Y$ 따라서 엔트로피를 사용하여 독립 신호를 추출하는 것을 인포맥스라고 합니다.

벡터 $변수{\displaystyle \mathbf{}}$ Y ${\displaystyle =g\mathbf{}}$ ( y$$) \$displaystyle \mathbf {Y} =g(\mathbf$${$$y$의 엔트로피를 고려합니다.$여기$서 ${\displaystyle y\mathbf{}}$ $=$ x \$displaystyle$ \$mathbf$$${y$\}$ =\$mathbf$ {$Wx}$ $}$는 행렬$W{\displaystyle \mathbf{}}$ ${\displaystyle}$에 대해 추출된 신호의 집합입니다.${\displaystyle {\mathbf{y}}_{}}${\$displaystyle p_{\$$mathbf {y}}}$ Y의$$엔트로피는 다음과 같이 추정할 수 있습니다.

${\displaystyle H(\mathbf {Y})=-{\frac {1}{N}\sum _{t=1}^{N}\ln p_{\mathbf {Y}}}(\mathbf {Y}^{t})$

합동 $PDF{\displaystyle {}_{}}$ ${\displaystyle {p\mathbf{}}_{}}$Y {\$displaystyle p_{\mathbf$$${$Y}}}$는 다변수 형식으로 추출된 신호의 합동 $pdf{\displaystyle {}_{}}$ p$$y {\$display$p_{\$mathbf${y$}}}$와 관련이 있음을 나타낼 수 있습니다.

${\displaystyle p_{\mathbf {Y}(Y)=mathbf {y}(\mathbf {y})}{{\display \mathbf {y}}}}}}$

$여기$서 J ${\displaystyle =}$ ${\displaystyle \partial \frac{\mathrm{}}{}}$ ${\displaystyle \frac{Y\mathbf{}}{}}$ ${\displaystyle \frac{\partial }{\mathrm{}}}$ \$displaystyle \mathbf {J}$=$fr$ frac${\$displaystyle \$mathbf {Y} }{\displaystyle$ \$mathbf {y}}}}$는 야코비안 행렬이다.$J$ ${\displaystyle =}$ ${\displaystyle {}^{}}$ ${\displaystyle (}$ ( \$displaystyle$ \$mathbf$ { J$}$=$g'$ ( \ $mathbf { y$} )$$} 。$g{\displaystyle {}^{}}$$$${\displaystyle {\{\backslash }^{}}$ ${\displaystyle =}$ ${\displaystyle p_{}}$ \ $displaystyle$$$$g$' =$p_{$s$$} for$$ for for for for 。

${\displaystyle p_{\mathbf {Y} }(Y) = frac {p_{\mathbf {y} } {\frac \mathbf {Y}} } = frac {p_{\mathbf} {y} }$

그러므로,

${\displaystyle H(\mathbf {Y})=-{\frac {1}{N}\sum _{t=1}^{N}\ln {p_{\mathbf {y}}}{p_{\mathbf {s}}}{mathbf {y}}}}}$

${\displaystyle {p\mathbf{}}_{}}$ y ${\displaystyle {=}_{}}$ ${\displaystyle p_{}}${\$displaystyle p_{\mathbf {y}$=$p_{s$일 $때{\displaystyle {}_{}}$,$$ Y {\$displaystyle p_{\mathbf {Y}}}}$는 균일한 분포이며, $Y)$ {\$displaystyle$ H$({\mathbf {Y})}}})$는 최대화됨을 알 수 있습니다.부터

${\displaystyle p_{\mathbf {y}(\mathbf {y})=mathbf {x}(\mathbf {x})}{{\displaystyle \mathbf {x}}}}} =mathbfrac {p}{\mathbf} {x}$

${\displaystyle 여기}$서 W$displaystyle \mathbf {W})$는 혼합하지 $않는{\displaystyle \mathbf{}}$행렬 W$(\displaystyle$ \$mathbf${W$\})$의 행렬식 절대값입니다. 따라서,

${\displaystyle H(\mathbf {Y})=-{\frac {1}{N}\sum _{t=1}^{N}\ln {p_{\mathbf {x}}}{\mathbf {W}p_{t}}{\mathbf}{s}}{\mathbf}$

그렇게,

$\displaystyle H(\mathbf {Y})=sum _{t=1}{N}\ln p_{\mathbf {s}(\mathbf {y}^{t})+\ln \mathbf {W} +H(\mathbf {x})$

$이후{\displaystyle }$ H${\displaystyle }$(${\displaystyle x\mathbf{}}$ )${\displaystyle =}$ - ${\displaystyle \frac{1}{}}$ ${\displaystyle \underset{}{\overset{}{N}}}$∑ ${\displaystyle \underset{}{\overset{}{\mathrm{t}}}}$ $=$ ${\displaystyle \underset{}{\overset{}{}}}$ ${\displaystyle N}$ ${\displaystyle {}_{}}$ ${\displaystyle {p\mathbf{}}_{}}$ ${\displaystyle {\mathbf{}}^{}}$ ( ${\displaystyle {}^{}}$) { $display$ style H ( \ $mathbf$ {$x$ } ) = - { \ $frac${ { } { $N$} \ $sum _$ { $n$} \ $ln$p _ { \$mathbf${ x $}$ } $^{$ $T{\displaystyle \mathbf{}}$ } }$$、

${\displaystyle h(\mathbf {Y} )={\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {s} }(\mathbf {y} ^{t})+\ln \mathbf {W} }$

to achieve the independence of extracted signal.

If there are M marginal pdfs of the model joint pdf ${\displaystyle p_{\mathbf {s} }}$ are independent and use the commonly super-gaussian model pdf for the source signals ${\displaystyle p_{\mathbf {s} }=(1-\tanh(\mathbf {s} )^{2})}$, then we have

${\displaystyle h(\mathbf {Y} )={\frac {1}{N}}\sum _{i=1}^{M}\sum _{t=1}^{N}\ln(1-\tanh(\mathbf {w_{i}^{T}x^{t}} )^{2})+\ln \mathbf {W} }$

In the sum, given an observed signal mixture ${\displaystyle \mathbf {x} }$, the corresponding set of extracted signals ${\displaystyle \mathbf {y} }$ and source signal model ${\displaystyle p_{\mathbf {s} }=g'}$, we can find the optimal unmixing matrix ${\displaystyle \mathbf {W} }$, and make the extracted signals independent and non-gaussian. Like the projection pursuit situation, we can use gradient descent method to find the optimal solution of the unmixing matrix.

Based on maximum likelihood estimation

Maximum likelihood estimation (MLE) is a standard statistical tool for finding parameter values (e.g. the unmixing matrix ${\displaystyle \mathbf {W} }$) that provide the best fit of some data (e.g., the extracted signals ${\displaystyle y}$) to a given a model (e.g., the assumed joint probability density function (pdf) ${\displaystyle p_{s}}$ of source signals).^[17]

The ML "model" includes a specification of a pdf, which in this case is the pdf ${\displaystyle p_{s}}$ of the unknown source signals ${\displaystyle s}$. Using ML ICA, the objective is to find an unmixing matrix that yields extracted signals ${\displaystyle y=\mathbf {W} x}$ with a joint pdf as similar as possible to the joint pdf ${\displaystyle p_{s}}$ of the unknown source signals ${\displaystyle s}$.

MLE is thus based on the assumption that if the model pdf ${\displaystyle p_{s}}$ and the model parameters ${\displaystyle \mathbf {A} }$ are correct then a high probability should be obtained for the data ${\displaystyle x}$ that were actually observed. Conversely, if ${\displaystyle \mathbf {A} }$ is far from the correct parameter values then a low probability of the observed data would be expected.

Using MLE, we call the probability of the observed data for a given set of model parameter values (e.g., a pdf ${\displaystyle p_{s}}$ and a matrix ${\displaystyle \mathbf {A} }$) the likelihood of the model parameter values given the observed data.

We define a likelihood function ${\displaystyle \mathbf {L(W)} }$ of ${\displaystyle \mathbf {W} }$:

${\displaystyle \mathbf {L(W)} =p_{s}(\mathbf {W} x) \det \mathbf {W} .}$

This equals to the probability density at ${\displaystyle x}$, since ${\displaystyle s=\mathbf {W} x}$.

Thus, if we wish to find a ${\displaystyle \mathbf {W} }$ that is most likely to have generated the observed mixtures ${\displaystyle x}$ from the unknown source signals ${\displaystyle s}$ with pdf ${\displaystyle p_{s}}$ then we need only find that ${\displaystyle \mathbf {W} }$ which maximizes the likelihood ${\displaystyle \mathbf {L(W)} }$. The unmixing matrix that maximizes equation is known as the MLE of the optimal unmixing matrix.

It is common practice to use the log likelihood, because this is easier to evaluate. As the logarithm is a monotonic function, the ${\displaystyle \mathbf {W} }$ that maximizes the function ${\displaystyle \mathbf {L(W)} }$ also maximizes its logarithm ${\displaystyle \ln \mathbf {L(W)} }$. This allows us to take the logarithm of equation above, which yields the log likelihood function

${\displaystyle \ln \mathbf {L(W)} =\sum _{i}\sum _{t}\ln p_{s}(w_{i}^{T}x_{t})+N\ln \det \mathbf {W} }$

If we substitute a commonly used high-Kurtosis model pdf for the source signals ${\displaystyle p_{s}=(1-\tanh(s)^{2})}$ then we have

${\displaystyle \ln \mathbf {L(W)} ={1 \over N}\sum _{i}^{M}\sum _{t}^{N}\ln(1-\tanh(w_{i}^{T}x_{t})^{2})+\ln \det \mathbf {W} }$

This matrix ${\displaystyle \mathbf {W} }$ that maximizes this function is the maximum likelihood estimation.

History and background

The early general framework for independent component analysis was introduced by Jeanny Hérault and Bernard Ans from 1984,^[18] further developed by Christian Jutten in 1985 and 1986,^[19][20][21] and refined by Pierre Comon in 1991,^[13] and popularized in his paper of 1994.^[11] In 1995, Tony Bell and Terry Sejnowski introduced a fast and efficient ICA algorithm based on infomax, a principle introduced by Ralph Linsker in 1987.

There are many algorithms available in the literature which do ICA. A largely used one, including in industrial applications, is the FastICA algorithm, developed by Hyvärinen and Oja, which uses the negentropy as cost function.^[22] Other examples are rather related to blind source separation where a more general approach is used. For example, one can drop the independence assumption and separate mutually correlated signals, thus, statistically "dependent" signals. Sepp Hochreiter and Jürgen Schmidhuber showed how to obtain non-linear ICA or source separation as a by-product of regularization (1999).^[23] Their method does not require a priori knowledge about the number of independent sources.

Applications

ICA can be extended to analyze non-physical signals. For instance, ICA has been applied to discover discussion topics on a bag of news list archives.

Some ICA applications are listed below:^[4]

• optical Imaging of neurons^[24]
• neuronal spike sorting^[25]
• face recognition^[26]
• modelling receptive fields of primary visual neurons^[27]
• predicting stock market prices^[28]
• mobile phone communications^[29]
• colour based detection of the ripeness of tomatoes^[30]
• removing artifacts, such as eye blinks, from EEG data.^[31]
• predicting decision-making using EEG^[32]
• analysis of changes in gene expression over time in single cell RNA-sequencing experiments.^[33]
• studies of the resting state network of the brain.^[34]
• astronomy and cosmology^[35]
• finance^[36]

Availability

ICA can be applied through the following software:

• SAS PROC ICA
• Scikit-learn Python implementation sklearn.decomposition.FastICA

See also

Notes

References

• Comon, Pierre (1994): "Independent Component Analysis: a new concept?", Signal Processing, 36(3):287–314 (The original paper describing the concept of ICA)
• Hyvärinen, A.; Karhunen, J.; Oja, E. (2001): Independent Component Analysis, New York: Wiley, ISBN 978-0-471-40540-5 ( Introductory chapter )
• Hyvärinen, A.; Oja, E. (2000): "Independent Component Analysis: Algorithms and Application", Neural Networks, 13(4-5):411-430. (Technical but pedagogical introduction).
• Comon, P.; Jutten C., (2010): Handbook of Blind Source Separation, Independent Component Analysis and Applications. Academic Press, Oxford UK. ISBN 978-0-12-374726-6
• Lee, T.-W. (1998): Independent component analysis: Theory and applications, Boston, Mass: Kluwer Academic Publishers, ISBN 0-7923-8261-7
• Acharyya, Ranjan (2008): A New Approach for Blind Source Separation of Convolutive Sources - Wavelet Based Separation Using Shrinkage Function ISBN 3-639-07797-0 ISBN 978-3639077971 (this book focuses on unsupervised learning with Blind Source Separation)

External links

• What is independent component analysis? by Aapo Hyvärinen
• Independent Component Analysis: A Tutorial by Aapo Hyvärinen
• A Tutorial on Independent Component Analysis
• FastICA as a package for Matlab, in R language, C++
• ICALAB Toolboxes for Matlab, developed at RIKEN
• High Performance Signal Analysis Toolkit provides C++ implementations of FastICA and Infomax
• ICA toolbox Matlab tools for ICA with Bell-Sejnowski, Molgedey-Schuster and mean field ICA. Developed at DTU.
• Demonstration of the cocktail party problem
• EEGLAB Toolbox ICA of EEG for Matlab, developed at UCSD.
• FMRLAB Toolbox ICA of fMRI for Matlab, developed at UCSD
• MELODIC, part of the FMRIB Software Library.
• Discussion of ICA used in a biomedical shape-representation context
• FastICA, CuBICA, JADE and TDSEP algorithm for Python and more...
• Group ICA Toolbox and Fusion ICA Toolbox
• Tutorial: Using ICA for cleaning EEG signals