아달린

단일 레이어 내에서의 학습

ADALIN(Adaptive Linear Neuron 또는 나중에 Adaptive Linear Element)은 초기 단일 계층 인공 신경 네트워크이며 이 네트워크를 ^[1]^[2]^[3]^[4]^[5]구현한 물리적 장치의 이름입니다.네트워크는 메모리스터를 사용한다.그것은 1960년 스탠포드 대학의 버나드 위드로 교수와 그의 박사과정 학생인 테드 호프에 의해 개발되었다.맥컬록-핏스 뉴런을 기반으로 한다.이것은 가중치, 편향, 합함수로 구성됩니다.

Adaline과 표준(McCulloch-Pitts) 퍼셉트론의 차이는 학습 단계에서 가중치 합계에 따라 가중치가 조정된다는 것이다(순).표준 퍼셉트론에서 순은 활성화(전송) 함수로 전달되고 함수의 출력은 가중치 조정에 사용된다.

ADALIN 유닛의 다층 네트워크는 MADALIN이라고 불립니다.

정의.

Adaline은 여러 개의 노드를 가진 단일 레이어 뉴럴 네트워크입니다.각 노드는 여러 개의 입력을 받아들여 하나의 출력을 생성합니다.다음과 같은 변수가 지정됩니다.

$(\displaystyle$ x $)$ 는 $x$ 입력 벡터입니다.
$\displaystyle$ w는 $w$ 무게 벡터입니다.
$\displaystyle$ n은 입력 수입니다 $n$ .
$§$ $(\displaystyle$ \theta $) 일정$ 일정
$\displaystyle$ y는 $y$ 모델의 출력입니다.

$y=\sum _{j=1}^{n}x_{j}w_{j}+\theta$ 은 y $y=\sum _{j=1}^{n}x_{j}w_{j}+\theta$ $y=\sum _{j=1}^{n}x_{j}w_{j}+\theta$ $y=\sum _{j=1}^{n}x_{j}w_{j}+\theta$ $y=\sum _{j=1}^{n}x_{j}w_{j}+\theta$ x $y=\sum _{j=1}^{n}x_{j}w_{j}+\theta$ j + $y=\sum _{j=1}^{n}x_{j}w_{j}+\theta$ {\ { $displaystyle$ y=\ $sum$ _ ${j=1}^{n}x_{j}w_{j}+\theta$ $y=\sum _{j=1}^{n}x_{j}w_{j}+\theta$ 입니다.이후 다음과 같이 가정하면

$x_{0}=1$
$w_{0}=\theta$

출력은 $y=\sum _{j=0}^{n}x_{j}w_{j}$ 감소합니다.y $y=\sum _{j=0}^{n}x_{j}w_{j}$ $y=\sum _{j=0}^{n}x_{j}w_{j}$ j $y=\sum _{j=0}^{n}x_{j}w_{j}$ $y=\sum _{j=0}^{n}x_{j}w_{j}$ $y=\sum _{j=0}^{n}x_{j}w_{j}$ $y=\sum _{j=0}^{n}x_{j}w_{j}$ $y=\sum _{j=0}^{n}x_{j}w_{j}$ j { $displaystyle$ y $y=\sum _{j=0}^{n}x_{j}w_{j}$ = \ $sum$ _ { j } { n $} x _$ { $j$ } $w$ _ { $j$ }

학습 알고리즘

예를 들어 다음과 같습니다.

$§(\displaystyle$ \eta $)$ 는 $\eta$ 학습률(일부 양의 상수)입니다.
$\displaystyle$ y는 $y$ 모델의 출력입니다.
o{\ $displaystyle$ o}는 $o$ 타겟(예: 출력)입니다.

그런 다음 w $w\leftarrow w+\eta (o-y)x$ w + $w\leftarrow w+\eta (o-y)x$ ( $w\leftarrow w+\eta (o-y)x$ - $w\leftarrow w+\eta (o-y)x$ y ) $w\leftarrow w+\eta (o-y)x$ ${\displaystyle$ w $\left arrow w+\eta$ (o-y $)x$ 와 $w\leftarrow w+\eta (o-y)x$ 무게가 업데이트됩니다.ADALIN은 E $=$ ( $E=(o-y)^{2}$ - y ) $E=(o-y)^{2}$ $displaystyle$ E=( $o-y)^$ 2 $E=(o-y)^{2}$ ^[6]의 $최소$ 제곱 오차로 수렴된다. 이 업데이트 규칙은 사실 선형 ^[7]회귀를 위한 확률적 경사 강하 업데이트이다.

마달린

MADALIN(Many^[8] ADALIN)은 숨김 계층과 출력 계층에서 ADALIN 장치를 사용하는 분류를 위한 3층(입력, 숨김, 출력)의 인공 신경 네트워크 아키텍처입니다. 즉, 활성화 함수는 부호 ^[9]함수입니다.3층 네트워크는 메모리스터를 사용합니다.MADALIN 네트워크의 3가지 다른 트레이닝 알고리즘이 제안되고 있습니다.이 알고리즘은 부호 함수는 미분할 수 없기 때문에 역전파를 사용하여 학습할 수 없습니다.이 알고리즘은 규칙 I, 규칙 II 및 규칙 III라고 불립니다.

MADALIN 규칙 1(MRI) - 이 중 첫 번째 규칙은 1962년으로 거슬러 올라가며 숨겨진 출력 연결의 ^[10]무게를 조정할 수 없습니다.

MADALIN 규칙 2(MRII) - 두 번째 훈련 알고리즘은 규칙 I에서 개선되었으며 1988년에 ^[8]설명되었습니다.규칙 II 훈련 알고리즘은 "최소 장애"라는 원리에 기초하고 있습니다.트레이닝의 예를 루프 오버 해, 각 예에 대해서 다음과 같이 진행됩니다.

예측에 대한 신뢰도가 가장 낮은 은닉 계층 단위(ADALIN 분류기)를 찾습니다.
유닛의 표시를 일시적으로 뒤집습니다.
네트워크 오류가 감소했는지 여부에 따라 변경을 승인 또는 거부합니다.
이 에러가 제로일 때 정지합니다.

MADALIN 규칙 3 - 시그넘 대신 Sigmoid 활성화로 수정된 네트워크에 적용되는 세 번째 "규칙"으로,^[10] 나중에 역전파와 동등한 것으로 판명되었습니다.

또한 단일 단위의 기호를 플립해도 특정 예제에 대해 오차가 0으로 표시되지 않는 경우, 교육 알고리즘은 단위 기호 쌍을 플립하기 시작하고 그 다음 단위의 세 ^[8]배 등을 플립하기 시작합니다.

「」를 참조해 주세요.

다층 퍼셉트론

레퍼런스

^ Anderson, James A.; Rosenfeld, Edward (2000). Talking Nets: An Oral History of Neural Networks. ISBN 9780262511117.
^ Youtube: widrowlms: Science in Action
^ 1960: 화학적 "메모리스터"를 사용한 적응형 "ADALIN" 뉴런
^ Youtube: widrowlms: LMS 알고리즘과 ADALIN. Part I - LMS 알고리즘
^ Youtube: widrowlms: LMS 알고리즘과 ADALIN. Part II - ADALIN과 메모리스터 ADALIN
^ "Adaline (Adaptive Linear)" (PDF). CS 4793: Introduction to Artificial Neural Networks. Department of Computer Science, University of Texas at San Antonio.
^ Avi Pfeffer. "CS181 Lecture 5 — Perceptrons" (PDF). Harvard University.^{[영구 데드링크]}
^ ^a ^b ^c Rodney Winter; Bernard Widrow (1988). MADALINE RULE II: A training algorithm for neural networks (PDF). IEEE International Conference on Neural Networks. pp. 401–408. doi:10.1109/ICNN.1988.23872.
^ Youtube: widrowlms: Science in Action (마달린은 시작과 8:46에 언급)
^ ^a ^b Widrow, Bernard; Lehr, Michael A. (1990). "30 years of adaptive neural networks: perceptron, madaline, and backpropagation". Proceedings of the IEEE. 78 (9): 1415–1442. doi:10.1109/5.58323.

외부 링크

"Delta Learning Rule: ADALINE". Artificial Neural Networks. Universidad Politécnica de Madrid. Archived from the original on 2002-06-15.
"온라인 경사로 강하 훈련을 받는 다층 신경 네트워크 기반"아날로그 컴퓨팅에서의 memristor에 의한 ADALIN 알고리즘의 실장.

[1] Anderson, James A.; Rosenfeld, Edward (2000). Talking Nets: An Oral History of Neural Networks. ISBN 9780262511117.

[2] Youtube: widrowlms: Science in Action

[3] 1960: 화학적 "메모리스터"를 사용한 적응형 "ADALIN" 뉴런

[4] Youtube: widrowlms: LMS 알고리즘과 ADALIN. Part I - LMS 알고리즘

[5] Youtube: widrowlms: LMS 알고리즘과 ADALIN. Part II - ADALIN과 메모리스터 ADALIN

[6] "Adaline (Adaptive Linear)" (PDF). CS 4793: Introduction to Artificial Neural Networks. Department of Computer Science, University of Texas at San Antonio.

[7] Avi Pfeffer. "CS181 Lecture 5 — Perceptrons" (PDF). Harvard University.^{[영구 데드링크]}

[winter-8] Rodney Winter; Bernard Widrow (1988). MADALINE RULE II: A training algorithm for neural networks (PDF). IEEE International Conference on Neural Networks. pp. 401–408. doi:10.1109/ICNN.1988.23872.

[9] Youtube: widrowlms: Science in Action (마달린은 시작과 8:46에 언급)

[thirty-10] Widrow, Bernard; Lehr, Michael A. (1990). "30 years of adaptive neural networks: perceptron, madaline, and backpropagation". Proceedings of the IEEE. 78 (9): 1415–1442. doi:10.1109/5.58323.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

Search

아달린

네임스페이스

더

목차

정의.

학습 알고리즘

마달린

「」를 참조해 주세요.

레퍼런스

외부 링크

Search

아달린

정의.

학습 알고리즘

마달린

「 」를 참조해 주세요.

레퍼런스

외부 링크

「」를 참조해 주세요.