익스트림 러닝머신

다음에 대한 시리즈 일부
머신러닝 및 데이터 마이닝
문제 분류 클러스터링 회귀 이상 탐지 데이터 클리닝 자동ML 연결 규칙 강화학습 구조 예측 피쳐 엔지니어링 피처러닝 온라인 학습 반감독학습 무감독 학습 순위 매기기 문법 유도
감독 학습 (계속 • 회귀) 의사결정 나무 앙상블 바깅 부스팅 랜덤 포리스트 k-NN 선형 회귀 분석 순진한 베이즈 인공신경망 로지스틱 회귀 분석 퍼셉트론 관련 벡터 머신(RVM) SVM(지원 벡터 머신)
클러스터링 버치 치료하다 계층적 k-16 기대-최대화(EM) 디스캔 광학 평균 이동
차원성 감소 인자분석 CCA ICA LDA NMF PCA PGD t-SNE
구조 예측 그래픽 모델 베이즈 그물 조건부 랜덤 필드 히든 마르코프
이상 탐지 k-NN 국부 특이치 인자
인공신경망 오토인코더 인지 컴퓨팅 심오한 학문 딥드림 멀티레이어 퍼셉트론 RNN LSTM GRU ESN 제한 볼츠만 기계 간 somerset. 콘볼루션 신경망 유넷 변압기 비전 스파이킹 신경망 멤트랜지스터 전기화학 RAM(ECRAM)
강화학습 Q-러닝 사사 시간차(TD) 멀티 에이전트
이론 커널 시스템 바이어스-분산 트레이드오프 계산학습이론 경험적 위험 최소화 오캄 학습 PAC 학습 통계학 VC 이론
기계 학습 장소 뉴럽스IPS ICML M,L JMLR ArXiv:cs.LG
관련기사 인공지능 용어집 기계 학습 연구를 위한 데이터셋 목록 기계학습 개요
v t

이 기사의 주제는 위키피디아의 일반적인 공신력 가이드라인을 충족하지 못할 수 있다. 주제와 무관하고 사소한 언급 이상의 중요한 내용을 제공하는 신뢰할 수 있는 2차 소스를 인용함으로써 주제의 공신력을 증명할 수 있도록 도와주십시오. 공지를 표시할 수 없는 경우, 기사는 병합, 리디렉션 또는 삭제될 가능성이 높다. 출처 찾기: "극한 학습 머신" – 뉴스 · 신문 · 책 · 학자 · JSTOR (2020년 8월) (이 템플릿 메시지를 제거하는 방법과 시기 학습)

익스트림 학습 기계는 분류, 회귀, 클러스터링, 희소 근사, 압축 및 피쳐 학습을 위한 피드포워드 신경 네트워크로서, 숨겨진 노드(입력을 숨겨진 노드에 연결하는 가중치만이 아닌)의 매개변수를 조정할 필요가 없다.이러한 숨겨진 노드들은 임의로 할당되고 업데이트되지 않을 수도 있고(즉, 임의 투영이지만 비선형 변환이 있는 경우), 변경되지 않고 조상으로부터 물려받을 수도 있다.대부분의 경우, 숨겨진 노드의 출력 가중치는 대개 한 단계로 학습되는데, 이는 본질적으로 선형 모델을 학습하는 것과 같다."극한 학습 기계" (ELM)라는 이름은 주 발명가 황광빈 황에 의해 그러한 모델들에게 붙여졌다.

이들의 크리에이터에 따르면 이들 모델은 백프로파게이션을 통해 훈련된 네트워크보다 수천 배 빠른 속도로 우수한 일반화 성능을 낼 수 있다.^[1]문헌에서, 그것은 또한 이러한 모델들이 분류와 회귀 응용에서 모두 지원 벡터 기계를 능가할 수 있다는 것을 보여준다.^[2][3][4]

역사

2001-2010부터 ELM 조사에 주로"일반화"single-hidden 계층 피드 포워드로는 신경 네트워크(SLFNs)이 통합 학습 프레임워크에 대하지만, s-자 형 네트워크, 신장 혈류량 네트워크, 한계 값 networks,[5]삼각 네트워크, 퍼지 추론 시스템, 푸리에 series,[6][7]Laplacian 대해 변형, 잔물결 networks,[8] 초점을 두었다. 기타.그 해에 이루어진 중요한 업적 중 하나는 ELM의 보편적 근사치 및 분류 능력을 이론적으로 성공적으로 입증하는 것이다.^[6][9][10]

2010년부터 2015년까지 ELM 연구는 커널 학습을 위한 통일된 학습 프레임워크, SVM 및 PCA(주체 구성요소 분석), NMF(비부정 매트릭스 인자화)와 같은 몇 가지 일반적인 특성 학습 방법으로 확장되었다.실제로 SVM은 ELM에 비해 차선의 솔루션을 제공하고 ELM은 SVM에서 사용하는 블랙박스 커널 대신 ELM 랜덤 기능 매핑으로 구현되는 화이트박스 커널 매핑을 제공할 수 있는 것으로 나타났다.PCA와 NMF는 ELM에서 선형 숨겨진 노드를 사용하는 특별한 경우로 간주할 수 있다.^[11][12]

2015년부터 2017년까지 ELM의 계층적 구현에^[13][14] 더욱 중점을 두었다.또한 2011년 이후 특정 ELM 이론을 뒷받침하는 중요한 생물학적 연구가 이루어졌다.^[15][16][17]

2017년부터 LU 분해 훈련 중 낮은 수렴성 문제를 극복하기 위해 헤센베르크 분해와 QR 분해 기반의 접근방식이 정례화되면서 주목을^[18][19][20] 받기 시작했다.

구글 스콜라(Google Scholar)의 2017년 발표 내용: "클래식 페이퍼스: '시간의 시험을 견뎌낸 기사' ELM 논문이 2위와 7위를 차지하며 '2006년 인공지능 톱10'에 이름을 올렸다.

알고리즘

Given a single hidden layer of ELM, suppose that the output function of the ${\displaystyle i}$-th hidden node is ${\displaystyle h_{i}(\mathbf {x} )=G(\mathbf {a} _{i},b_{i},\mathbf {x} )}$, where ${\displaystyle \mathbf {a} _{i}}$ and ${\displaystyle b_{i$$}}}}$은(는) $i{\displaystyle }$ ${\displaystyle i}$ -th$$ hidden 노드의 매개 변수다.$L{\displaystyle }$ ${\displaystyle L}$ 숨겨진$$ 노드를 가진 SLFN(단일 계층 피드포워드 네트워크)에 대한 ELM의 출력 기능은 다음과 같다.

${\displaystyle f_{L}({\bf {x}})=\sum _{i=1}^{L}{\boldsymbol {\beta }}_{i}h_{i}({\bf {x}})}$, where ${\displaystyle {\boldsymbol {\beta }}_{i}}$ is the output weight of the ${\displaystyle i}$-th hidden node.

${\displaystyle \mathbf{h}}$( ${\displaystyle x\mathbf{}}$)${\displaystyle }$=${\displaystyle }$[ ${\displaystyle h_{}}$ ${\displaystyle {}_{}}$(${\displaystyle x\mathbf{}}$)${\displaystyle }$,${\displaystyle }$. . . ${\displaystyle {}_{}}$ ${\displaystyle L_{}]}$ ${\displaystyle \mathbf {h}(\mathbf {x} )=[h_{i}(\mathbf {x}), ...,h_{L}(\mathbf {x}$ )은$$ELM의 숨겨진 레이어 출력 매핑이다$$.Given ${\displaystyle N}$ training samples, the hidden layer output matrix ${\displaystyle \mathbf {H} }$ of ELM is given as: 1, b1, xN)⋯ G(는 나는 기분, bL,)N)]{\displaystyle{\bf{H}}=\left[{\begin{매트릭스}{{h}}({\bf{x}}_{1})\\\vdots \\{\bf{h}}({\bf{x}}_{N})\bf \end{매트릭스}}\right]=\left는 경우에는{\begin{행렬}({\bf{}}_{1},b_{1},{\bf{x}}_{1})&, \cdots &amp을 말한다.G({\bf{}}_{L},b_{L},{\bf{x}}_{1})\\\vdots, \vdots &, \vdots \\G({년 &.$bf {{a}_{1},b_{1},{\bf {x}_{N}}&\cdots &G({\bf {{a}_{L},b_{L},{\bf {x}_{N}}}}, end{matrix}\right]}}$

and ${\displaystyle \mathbf {T} }$ is the training data target matrix: ${\displaystyle {\bf {T}}=\left[{\begin{matrix}{\bf {t}}_{1}\\\vdots \\{\bf {t}}_{N}\end{matrix}}\right]}$

일반적으로 ELM은 정규화 신경망의 일종이지만, 비조정된 숨겨진 계층 매핑(임의의 숨겨진 노드, 커널 또는 기타 구현에 의해 형성됨)을 가진 그것의 목표 기능은 다음과 같다.

${\displaystyle{\text{minimize:}}}}}}}}}{{p}^{\bma _{1}+C\{1}{\bf{H}{\bmbol{}}{\bf{T}}}}}{q}^{sigma _{2}}:}$

여기서 > 2> = 0 , , , + $스타일 \displaystyle$ \ \$ma \{1}0,p,q=0,{\frac {1}{$1}{2$}},$1$,2,\cdots ,+\flotty$

$\sigma {\displaystyle {}_{}}$ ${\$ ${\displaystyle {\sigma \mathrm{}}_{}}$ 2 ${\$ $p$ ${\displaystyle p}$ 및 $q{\displaystyle }$ ${\displaystyle$q}의 다른 조합을 사용할 수 있으며$$ 회귀, 분류, 희소 코딩, 압축, 형상 학습 및 클러스터링에 대한 다른 학습 알고리즘을 초래할 수 있다.

특별한 경우로서, 가장 간단한 ELM 훈련 알고리즘은 형태 모델을 학습한다(단일 숨은 계층 S자형 신경 네트워크의 경우).

${\displaystyle \mathbf {\hat {Y} =\mathbf {W} _{2}\sigma(\mathbf {W} _{1}x)}$

여기서 W는₁ 입력-숨겨진 계층 가중치의 행렬이고, $\sigma {\displaystyle }$ ${\displaystyle \sigma}$은 활성화 함수, W는₂ 숨겨진-출력 계층 가중치의 행렬이다.알고리즘은 다음과 같이 진행된다.

1. W에₁ 랜덤 값을 채운다(예: 가우스 랜덤 노이즈).
2. 설계 행렬X:⁺ 주어진 설계 행렬 X를 사용하여 의사역할을 사용하여 계산한 반응 변수 Y의 행렬에 적합하게 최소 제곱을 사용하여₂ W를 추정한다.

   ${\displaystyle \mathbf {W} _{2}=\sigma(\mathbf {W} _{1}\mathbf {X})^{+}\mathbf {Y}}}}$

아키텍처

대부분의 경우 ELM은 S자형 네트워크, RBF 네트워크, 임계값 네트워크, 퍼지 추론 네트워크, 복잡한 신경망, 파동망, 푸리에 변환, 라플라크 변환 등을 포함하되 이에 국한되지 않는 단일 계층 피드포워드 네트워크(SLFN)로 사용된다.회귀, 분류, 희소 코딩, 압축, 피쳐 학습 및 클러스터링을 위한 학습 알고리즘 구현이 다르기 때문에, 다중 ELM은 다중 숨은 계층 네트워크, 딥러닝 또는 계층적 네트워크를 형성하는 데 사용되어 왔다.^[13][14][21]

ELM의 숨겨진 노드는 계산적 요소로서, 고전적 뉴런으로 간주할 필요가 없다.ELM의 숨겨진 노드는 고전적인 인공 뉴런, 기본 기능 또는 일부 숨겨진 노드에 의해 형성된 하위 네트워크일 수 있다.^[9]

이론들

보편적 근사치와 분류 능력 모두^[2][3] 문헌에서 ELM에 대해 입증되었다.특히, 광빈 황과 그의 팀은 ELM의 보편적 근사 능력에 대한 엄격한 입증에 거의 7년(2001-2008)을 보냈다.^[6][9][10]

범용 근사 능력

이론적으로, 일정하지 않은 조각 연속 함수는 ELM 숨겨진 노드에서 활성화 함수로 사용될 수 있으며, 그러한 활성화 함수는 차등일 필요가 없다.숨겨진 노드의 파라미터를 튜닝하면 ${\displaystyle SLFN}$이 대상 $함수{\displaystyle }$ f${\displaystyle }$( x${\displaystyle }$) ${\displaystyle f(\mathbf {x} )$에 근사하게 될 수 있다면$,$ 숨겨진 노드 파라미터는 모든 연속 분포 확률에 따라 무작위로 생성될 수 있으며, ${\displaystyle \underset{}{L}}$ →${\displaystyle \underset{}{}\underset{}{\infty }}$ i${\displaystyle \underset{i}{\overset{}{}}}$ i${\displaystyle \underset{}{\overset{}{}}}$= 1 ${\displaystyle \underset{}{\overset{}{}}}$ ${\displaystyle \underset{}{\overset{}{}}{\mathit{}}_{}}$ ${\displaystyle i_{}}$ ${\displaystyle x}$) - ${\displaystyle f}$= ${\disp$.$laystyle \lim _{L\rightarrow \infty }\left\ \sum _{i=1}^{L}{\boldsymbol {\beta }}_{i}h_{i}({\bf {x}})-f({\bf {x}})\right\ =0}$ holds with probability one with appropriate output weights ${\displaystyle {\boldsymbol {\beta }}}$.

분류능력

Given any nonconstant piecewise continuous function as the activation function in SLFNs, if tuning the parameters of hidden nodes can make SLFNs approximate any target function ${\displaystyle f(\mathbf {x} )}$, then SLFNs with random hidden layer mapping ${\displaystyle \mathbf {h} (\mathbf {x} )}$ can separate ar모든 형태의 이중 분리 영역

뉴런

광범위한 비선형 조각 $연속함수{\displaystyle }$ G${\displaystyle (}$ ${\displaystyle a\mathbf{}}$,${\displaystyle b}$ ,${\displaystyle x\mathbf{}}$ ) ${\displaystyle G(\mathbf$ {$a},b,\mathbf {x})$를 ELM의 숨겨진 뉴런에 사용할$$ 수 있다. 예를 들어,

리얼 도메인

Sigmoid 함수: $G{\displaystyle (}$ ${\displaystyle a\mathbf{},}$ ${\displaystyle b,}$ ${\displaystyle \frac{x}{}}$)${\displaystyle }$= 1 ${\displaystyle \frac{1\mathrm{}}{}}$+ ${\displaystyle \frac{\exp }{}}$ ${\displaystyle \frac{}{}}$(${\displaystyle \frac{}{}}$- (${\displaystyle \frac{\cdot }{}}$ ${\displaystyle \frac{x\mathbf{}}{}}$+ ${\displaystyle \frac{b\mathbf{}))}{}}$ ${\$ G$(\mathbf {a},b,\mathbf {x} )={\frac {1}{1+\exp(-(\mathbf {a} \cdot \cdatbf)$$}}}$

푸리에 함수: $G{\displaystyle (}$ ${\displaystyle a\mathbf{},}$ ${\displaystyle b\mathbf{},}$ x${\displaystyle }$)${\displaystyle }$= ${\displaystyle \sin }$ ${\displaystyle (\cdot }$ x${\displaystyle }$+ ${\displaystyle b}$ )${\displaystyle G(\mathbf {a},b,\mathbf {x})=\sin(\mathbf {a}\cdot \mathbf {x}$ +$b)}$

Hardlimit function: ${\displaystyle G(\mathbf {a} ,b,\mathbf {x} )={\begin{cases}1,&{\text{if }}{\bf {a}}\cdot {\bf {x}}-b\geq 0\\0,&{\text{otherwise}}\end{cases}}}$

가우스 함수: $G{\displaystyle (}$ ${\displaystyle a\mathbf{},}$ ${\displaystyle b\mathbf{},}$ x${\displaystyle }$)${\displaystyle }$= ${\displaystyle \exp }$ ${\displaystyle }$(${\displaystyle }$- ${\displaystyle b}$ ${\displaystyle \Vert }$ ${\displaystyle x\mathbf{}}$- ${\displaystyle \Vert {}^{}}$ ${\displaystyle {2\mathrm{}}^{}}$ )${\displaystyle G(\mathbf {a},b,\mathbf {x})=\exp(-b\ \mathbf {x}$ -$\mathbf {$a$} \{2}}$

다량함수: $G{\displaystyle (}$ ${\displaystyle a\mathbf{},}$ ${\displaystyle b\mathbf{},}$ x${\displaystyle }$)${\displaystyle }$= (${\displaystyle \Vert }$ ${\displaystyle x\mathbf{}}$- ${\displaystyle {a\mathrm{}}^{}}$ ${\displaystyle \Vert {}^{}}$ 2${\displaystyle {}^{}}$+ ${\displaystyle {b\mathrm{}}^{}}$ ) ${\displaystyle {1\mathrm{}}^{}}$/ ${\displaystyle {1\mathrm{}}^{}}$ / 2 ${\$G(\$mathbf$ {$a},b,\mathbf {x}}=(\\ \mathbf {x}$ -$\mathbf {a} \{2}+b^{2}}}^{2$}}:

Wavelet: ${\displaystyle G(\mathbf {a} ,b,\mathbf {x} )=\ a\ ^{-1/2}\Psi \left({\frac {\mathbf {x} -\mathbf {a} }{b}}\right)}$ where ${\displaystyle \Psi }$ is a single mother wavelet function.

복합 도메인

순환 함수:

${\displaystyle \tan(z)={\frac {e^{iz}-e^{-iz}}{i(e^{iz}+e^{-iz}}}}}}}}}}$

${\displaystyle \sin(z)={\frac {e^{iz}-e^{-iz}{2i}}}}$

역 순환 함수:

${\displaystyle \arctan(z)=\int _{0}^{z}{\frac {dt}{1+t^{2}}}}$

${\displaystyle \arccos(z)=\int _{0}^{z}{\frac {dt}{{(-t^{2})^{1/2}}$

쌍곡선 함수:

${\displaystyle \tanh(z)={\frac {e^{z}-e^{-z}{e^{e^}}{e^{z}+e^{-z}}}}}}}}}}}}$

${\displaystyle \sinh(z)={\frac {e^{z}-e^{-z}:{-z}:{2}}:}$

역 쌍곡선 함수:

${\displaystyle {\text}{arctanh}}=\int _{0}^{z}{\frac {dt}{1-t^{2}}:$

${\displaystyle {\text{arcsinh}}=\int _{0}^{z}{\frac {dt}{{(1+t^{2})^{1/2}}$

신뢰성.

특히 일반 신경망과 익스트림 학습기(ELM)의 블랙박스 특성은 엔지니어가 안전하지 않은 자동화 작업에 적용하지 못하도록 하는 주요 관심사 중 하나이다.이 특별한 문제는 몇 가지 다른 기법으로 접근되었다.한 가지 접근방식은 무작위 입력에 대한 의존도를 줄이는 것이다.^[22][23]또 다른 접근방식은 특정 직무에 대한 사전 지식에서 도출된 ELM의^[24][25] 학습 과정에 연속적인 제약조건의 통합에 초점을 맞춘다.머신러닝 솔루션은 많은 애플리케이션 도메인에서 안전한 작동을 보장해야 하기 때문에 이것은 합리적이다.언급된 연구는 기능적 분리 및 선형 판독 가중치와 함께 ELM의 특수 형식이 입력 공간의 사전 정의된 영역에 연속적 제약 조건을 효율적으로 통합하는 데 특히 적합하다는 것을 밝혀냈다.

논란

이 작품에 대한 학계의 불만이 크게 두 가지 있는데, 첫 번째는 '기존 사상을 재발명하고 무시하는 것'이고, 두 번째는 2008년과 2015년 일부 토론에서 보듯이 '이름과 대중화'에 관한 것이다.^[26]특히 IEEE 신경망 거래 편집자에게 보낸 서한에서^[27] 무작위 미숙련 가중치에 의한 입력에 연결된 숨겨진 레이어를 이용하는 발상은 1980년대 후반 RBF 네트워크에 관한 원본 논문에서 이미 제안된 것으로 지적되었고, 광빈 황은 미묘한 차이를 지적하며 대답했다.^[28]는 2015년 paper,[3]에서 황이 그 이름 ELM의 발명에 관한 불만,"ELM에도 전문적인 학문적 자세로 다양한 이유와 의도 때문에 매우 도움이 되지 않는다는 부정적인 발언"의 불평하고 조화 연구다/환경을 파괴하려고 하는``무책임한 익명의 공격 방법 already-existing에 대응했다.t"그의 연구는 계층 구조 ELM을 ^[3]포함한 다양한 종류의 신경망을 위한 "단일화된 학습 플랫폼을 제공한다"고 주장한다.^[21]2015년 황씨는 자신이 '악질·공격'이라고 여기는 것에 대해서도 공식 반박을 했다.^[29]최근의 연구는 무작위 가중치를 제한된 무작위 가중치로 대체한다.^[2][30]

오픈 소스

• 매트랩 라이브러리
• 파이톤 라이브러리^[31]

참고 항목

• 저수지 컴퓨팅
• 랜덤 투영법
• 랜덤 행렬

참조