심층신앙 네트워크

다음에 대한 시리즈 일부
머신러닝 및 데이터 마이닝
문제 분류 클러스터링 회귀 이상 탐지 데이터 클리닝 자동ML 연결 규칙 강화학습 구조 예측 피쳐 엔지니어링 피처러닝 온라인 학습 반감독학습 무감독 학습 순위 매기기 문법 유도
감독 학습 (계속 • 회귀) 의사결정 나무 앙상블 바깅 부스팅 랜덤 포리스트 k-NN 선형 회귀 분석 순진한 베이즈 인공신경망 로지스틱 회귀 분석 퍼셉트론 관련 벡터 머신(RVM) SVM(지원 벡터 머신)
클러스터링 버치 치료하다 계층적 k-16 기대-최대화(EM) 디스캔 광학 평균 이동
차원성 감소 인자분석 CCA ICA LDA NMF PCA PGD t-SNE
구조 예측 그래픽 모델 베이즈 그물 조건부 랜덤 필드 히든 마르코프
이상 탐지 k-NN 국부 특이치 인자
인공신경망 오토인코더 인지 컴퓨팅 심오한 학문 딥드림 멀티레이어 퍼셉트론 RNN LSTM GRU ESN 제한 볼츠만 기계 간 somerset. 콘볼루션 신경망 유넷 변압기 비전 스파이킹 신경망 멤트랜지스터 전기화학 RAM(ECRAM)
강화학습 Q-러닝 사사 시간차(TD)
이론 커널 시스템 바이어스-분산 트레이드오프 계산학습이론 경험적 위험 최소화 오캄 학습 PAC 학습 통계학 VC 이론
기계 학습 장소 뉴럽스IPS ICML ML JMLR ArXiv:cs.LG
관련기사 인공지능 용어집 기계 학습 연구를 위한 데이터셋 목록 기계학습 개요
v t

머신러닝에서, 심층신뢰 네트워크(DBN)는 생성 그래픽 모델 또는 심층 신경망의 한 종류로서, 각 층 내의 단위들 사이에 연결은 있지만, 층들 사이에 연결은 없는, 여러 층의 잠재 변수("숨겨진 단위")로 구성되어 있다.^[1]null

DBN은 감독 없이 일련의 예에 대해 훈련할 때 입력 내용을 확률적으로 재구성하는 방법을 배울 수 있다.그런 다음 레이어는 형상 검출기의 역할을 한다.^[1]이 학습 단계 이후 DBN은 분류를 수행하기 위한 감독을 통해 추가 교육을 받을 수 있다.^[2]null

DBN은 제한된 볼츠만 머신(RBM)^[1]이나 오토엔코더와 같은 단순하고 감독되지 않은 네트워크의 구성으로 볼 수 있으며,^[3] 여기서 각 서브 네트워크의 숨겨진 레이어가 다음에 대한 가시적 레이어 역할을 한다.RBM은 "보이는" 입력 레이어와 숨겨진 레이어 및 레이어 간 연결과 레이어 내에는 없지만 레이어 내에는 연결되지 않는 비방향의 생성 에너지 기반 모델이다.이 구성은 "가장 낮은" 계층 쌍(가장 낮은 가시 계층은 훈련 세트)에서 시작하여 각 하위 네트워크에 차례로 대비적 차이가 적용되는 계층별 감독되지 않은 빠른 훈련 절차로 이어진다.null

DBN이 한 번에 한 계층씩 탐욕스럽게 훈련될 수 있다는 관찰은^[2] 최초의 효과적인 딥러닝 알고리즘 중 하나로 이어졌다.^{[4]: 6} 전반적으로, 실제 애플리케이션 및 시나리오(예: 뇌파 촬영,^[5] 약물 발견^[6][7][8])에서 DBN의 매력적인 구현과 사용이 많다.null

트레이닝

Geoffrey Hinton이 훈련 "Product of Expert" 모델에 사용하기 위해 제안한 RBM의 훈련 방법을 CD라고 한다.^[9] CD는 가중치 학습에 이상적으로 적용될 수 있는 최대우도 방법에 대한 근사치를 제공한다.^[10][11]In training a single RBM, weight updates are performed with gradient descent via the following equation: ${\displaystyle w_{ij}(t+1)=w_{ij}(t)+\eta {\frac {\partial \log(p(v))}{\partial w_{ij}}}}$

where, ${\displaystyle p(v)}$ is the probability of a visible vector, which is given by ${\displaystyle p(v)={\frac {1}{Z}}\sum _{h}e^{-E(v,h)}}$. ${\displaystyle Z}$ is the partition function (used for normalizing) and ${\displaystyle E(v,h)}$ is the energy네트워크 상태에 할당되는 기능낮은 에너지는 네트워크가 더 "바람직한" 구성에 있음을 나타낸다.The gradient ${\displaystyle {\frac {\partial \log(p(v))}{\partial w_{ij}}}}$ has the simple form ${\displaystyle \langle v_{i}h_{j}\rangle _{\text{data}}-\langle v_{i}h_{j}\rangle _{\text{model}}}$ where ${\displaystyl$$e \langle \cdots \rangele _{p}$ 분포 $p{\displaystyle }$ ${\displaystyle p}$에 대한 평균을 나타낸다$$$.$issue${\displaystyle {}_{}}$ ${\displaystyle i_{}}$ ${\displaystyle h_{}}$ ${\displaystyle {}_{}{}_{}}$ ${\displaystyle {\text{모델}}_{}}$ ${\$ 샘플링에서 문제가 발생하는데, 이는 확장된 Gibbs 샘플링이 필요하기 때문이다$$.CD는 gibbs 샘플링을 $n{\displaystyle }$ ${\displaystyle n}$단계에$$ 대해 교대로 실행하여 이 단계를 대체한다($n{\displaystyle }$= ${\displaystyle 1}$ ${\displaystyle$ n$=1}$의 값이 잘 수행됨$$).$n{\displaystyle }$ ${\displaystyle n}$단계$$ 후, 데이터가 샘플링되고 해당 샘플은 $⟨{\displaystyle }$ v ${\displaystyle {}_{}}$ ${\displaystyle h_{}}$ ${\displaystyle {}_{}{}_{}}$ ${\displaystyle {\text{모델}}_{}}$ ${\$ 대신 사용된다$.$CD 절차는 다음과 같이 작동한다.^[10]

1. 보이는 단위를 교육용 벡터로 초기화한다.
2. Update the hidden units in parallel given the visible units: ${\displaystyle p(h_{j}=1\mid {\textbf {V}})=\sigma (b_{j}+\sum _{i}v_{i}w_{ij})}$. ${\displaystyle \sigma }$ is the sigmoid function and ${\displaystyle b_{j}}$ is the bias of ${\displaystyle h_j}$${\displaystyle h_{j$
3. Update the visible units in parallel given the hidden units: ${\displaystyle p(v_{i}=1\mid {\textbf {H}})=\sigma (a_{i}+\sum _{j}h_{j}w_{ij})}$. ${\displaystyle a_{i}}$ is the bias of ${\displaystyle v_{i}}$.이를 '재건축' 단계라고 한다.
4. 2단계와 동일한 방정식을 사용하여 재구성된 가시 단위를 병렬로 업데이트하십시오.
5. Perform the weight update: ${\displaystyle \Delta w_{ij}\propto \langle v_{i}h_{j}\rangle _{\text{data}}-\langle v_{i}h_{j}\rangle _{\text{reconstruction}}}$.

일단 RBM이 훈련되면, 또 다른 RBM은 최종 훈련된 계층으로부터 그것의 입력을 빼앗아 그것의 꼭대기에 "쌓여"된다.새로운 가시 계층은 훈련 벡터로 초기화되며, 이미 훈련된 계층의 단위에 대한 값은 현재의 가중치와 편향을 사용하여 할당된다.그리고 나서 새로운 RBM은 위의 절차에 따라 훈련된다.이 모든 과정은 원하는 정지 기준이 충족될 때까지 반복된다.^[12]null

최대우도에 대한 CD의 근사치는 조잡하지만(어떤 함수의 구배를 따르지 않는다) 경험적으로 효과적이다.^[10]null

참고 항목

• 베이시안 네트워크
• 심오한 학문
• 콘볼루션 심층신앙 네트워크
• 에너지 기반 모델

참조

외부 링크

• "Deep Belief Networks". Deep Learning Tutorials.
• "Deep Belief Network Example". Deeplearning4j Tutorials. Archived from the original on 2016-10-03. Retrieved 2015-02-22.