리넷

LeNet

LeNet은 Yann LeKun 등이 1989년에 제안한 컨볼루션 뉴럴 네트워크 구조이다.일반적으로 LeNet은 LeNet-5를 참조하며 단순한 컨볼루션 뉴럴 네트워크이다.컨볼루션 뉴럴 네트워크는 인공 뉴런이 커버리지 범위의 주변 세포의 일부에 반응하고 대규모 영상 처리에서 잘 수행할 수 있는 피드 포워드 뉴럴 네트워크의 일종이다.

개발 이력

LeNet-5는 초기 컨볼루션 신경 네트워크 중 하나였으며 딥 러닝의 개발을 촉진했다.1988년 이후, 수년간의 연구와 많은 성공적 반복 끝에, 이 선구적인 연구는 LeNet-5로 명명되었다.

2018년 옌레쿤

1989년 Bell Labs의 Yann Le Kun 등은 처음으로 역전파 알고리즘을 실제 응용 프로그램에 적용하였고, 네트워크 일반화를 학습하는 능력은 과제 영역으로부터 제약을 제공함으로써 크게 향상될 수 있다고 믿었다.그는 역전파 알고리즘으로 훈련된 컨볼루션 뉴럴 네트워크를 결합해 손으로 쓴 번호를 읽어내 미국 우정국에서 제공하는 손으로 쓴 우편번호 식별에 성공했다.이것은 후에 LeNet이라고 [1]불리게 된 것의 원형이었다.같은 해, 르쿤은 다른 논문에서 작은 손으로 쓴 숫자 인식 문제를 기술하고, 이 문제가 선형적으로 분리 가능하지만, 단일 계층 네트워크는 낮은 일반화 능력을 보였다.제약이 있는 다층 네트워크에서 시프트 불변 피쳐 디텍터를 사용하면 모델의 성능이 매우 향상될 수 있습니다.그는 이러한 결과가 뉴럴 네트워크에서 자유 매개변수의 수를 최소화하는 것이 [2]뉴럴 네트워크의 일반화 능력을 향상시킬 수 있다는 것을 증명했다고 믿었다.

1990년에, 그들의 논문은 손으로 쓴 숫자 인식으로 역전파 네트워크의 적용을 다시 설명했습니다.그들은 데이터에 대해 최소한의 전처리만 수행했고, 모델은 이 작업을 위해 신중하게 설계되었으며 매우 제약이 있었습니다.입력 데이터는 각각 번호가 포함된 이미지로 구성되었으며, 미국 우정국에서 제공한 우편번호 디지털 데이터에 대한 테스트 결과, 이 모델은 오류율이 1%에 불과하고 거부율이 약 9%[3]에 불과했다.

이들의 연구는 이후 8년간 계속됐으며 1998년 Yann Lecun, Leon Bottou, Yoshua Bengio 및 Patrick Haffner는 종이에서 손으로 쓴 문자 인식에 대한 다양한 방법을 검토했으며 벤치마크 작업을 식별하기 위해 표준 손으로 쓴 숫자를 사용했다.이들 모델을 비교한 결과 네트워크는 다른 모든 모델을 능가하는 성능을 보였습니다.그들은 또한 온라인에서 손으로 쓴 문자를 인식하는 두 개의 시스템과 하루에 [4]수백만 개의 수표를 읽을 수 있는 모델과 같은 신경 네트워크의 실용적인 적용 사례들을 제공했다.

그 연구는 큰 성공을 거두었고 신경 네트워크 연구에 대한 학자들의 관심을 불러일으켰다.오늘날 최고의 성능을 발휘하는 뉴럴 네트워크의 아키텍처는 LeNet의 아키텍처와 동일하지 않지만, 네트워크는 다수의 뉴럴 네트워크 아키텍처의 출발점이자 현장에 영감을 주었습니다.

타임라인
1989 Yann LeKun 등은 LeNet의 원형을 제안했다. 르쿤, Y.; 보저, J. S.; 헨더슨, D.; 하워드, R. E.; 허바드, W. & Jackel, L. (1989)손으로 쓴 우편번호 인식에 역전파가 적용됩니다.신경 계산, 1(4): 541-551.[1]
1989 Yann Le Kun은 뉴럴 네트워크에서 자유 매개변수의 수를 최소화하면 뉴럴 네트워크의 일반화 능력을 향상시킬 수 있다는 것을 증명한다. 르쿤, Y.(1989)일반화 및 네트워크 설계 전략기술 보고서 CRG-TR-89-4,[2] 토론토 대학교 컴퓨터 과학부.
1990 백서에서는 다시 한 번 손으로 쓴 숫자 인식 방식의 역전파 네트워크 적용에 대해 설명합니다. 르쿤, Y.; 보저, J. S.; 헨더슨, D.; 하워드, R. E.; 허바드, W. & Jackel, L. (1990).백 전파 네트워크를 사용한 수기 숫자 인식.Neural Information Processing Systems 2(NIPS*89)[3]의 진보.
1998 그들은 손글씨 인식에 적용된 다양한 방법을 검토하고, 이를 표준 손글씨 인식 벤치마크와 비교했다.결과는 컨볼루션 신경망이 다른 모든 모델을 능가한다는 것을 보여준다. 르쿤, Y.; 보투, L.; 베니오, Y. & 하프너, P. (1998).문서 인식에 적용되는 그라데이션 기반 학습.IEEE 절차.86 (11): 2278 - 2324.[4]

구조.

LeNet과 AlexNet의 컨볼루션, 풀링 및 고밀도 레이어 비교
(AlexNet 이미지 사이즈는 224x224x3이 아닌 227x227x3이어야 합니다.그러면 계산이 올바르게 됩니다.원래 논문은 다른 숫자를 말했지만 테슬라 컴퓨터 비전 책임자인 Andrej Karpathy는 227x227x3일 것이라고 말했다.다음 회전수는 스트라이드 4:55x55x96(54x54x96이 아닌 11x11이어야 합니다.예를 들어 [(입력 폭 227 - 커널 폭 11) / 스트라이드 4] + 1 = [(227 - 11) / 4] + 1 = 55로 계산됩니다.커널 출력은 폭과 길이가 같기 때문에 면적은 55x55입니다).

초기 컨볼루션 뉴럴 네트워크의 대표자로서 LeNet은 컨볼루션 레이어, 풀링 레이어 및 전체 연결 레이어와 같은 컨볼루션 뉴럴 네트워크의 기본 단위를 보유하고 있으며, 컨볼루션 뉴럴 네트워크의 미래 개발을 위한 기반을 마련하고 있다.그림과 같이 (32*32픽셀의 입력 이미지 데이터): LeNet-5는 7개의 레이어로 구성되어 있습니다.입력에 가세해, 다른 모든 레이어는 파라메타를 트레이닝 할 수 있습니다.그림에서 Cx는 컨볼루션 레이어, Sx는 서브샘플링 레이어, Fx는 완전한 접속 레이어, x는 레이어 [1][5][6]인덱스를 나타낸다.

레이어 C1은 5x5의 6개의 컨볼루션 커널을 가진 컨볼루션 레이어이며 기능 매핑 사이즈는 28x28로 입력 이미지의 정보가 컨볼루션 커널의 경계에서 떨어지는 것을 방지할 수 있습니다.

레이어 S2는 크기가 14x14인6개의 피쳐 그래프를 출력하는 서브샘플링/풀링 레이어입니다.각 피처 맵의 각 셀은 C1의 대응하는 피처 맵의 2x2 네이버에 접속되어 있습니다.

레이어 C3는 16개의 5~5개의 컨볼루션 커널을 가진 컨볼루션레이어입니다첫 번째 6개의 C3 피처 맵의 입력은 S2의 3개의 피처 맵의 각 연속 서브셋이며, 다음 6개의 피처 맵의 입력은 4개의 연속 서브셋 입력에서, 다음 3개의 피처 맵의 입력은 4개의 연속 서브셋에서 가져옵니다.마지막으로 마지막 특징 그래프의 입력은 S2의 모든 특징 그래프에서 가져온다.

레이어 S4는 S2와 비슷하며 사이즈는 2x2, 출력은 16개의 5x5 피처 그래프로 되어 있습니다.

레이어 C5는 크기가 5x5인 120개의 컨볼루션 커널을 가진 컨볼루션 레이어입니다.각 셀은 S4의 16개 피쳐 그래프에서 5*5 네이버에 접속된다.여기서 S4의 특징 그래프 사이즈도 5x5이므로 C5의 출력 사이즈는 1*1이다.S4와 C5는 완전히 연결되어 있습니다.C5는 완전 접속 레이어가 아닌 컨볼루션레이어로 라벨이 붙습니다.LeNet-5 입력이 커지고 구조가 변경되지 않으면 출력 사이즈가 1x1보다 커지기 때문입니다.즉, 완전 접속 레이어가 아닙니다.

F6 레이어는 C5에 완전하게 접속되어 84개의 피쳐 그래프가 출력됩니다.

특징들

  • 모든 컨볼루션 레이어에는 컨볼루션, 풀링 및 비선형 활성화 함수의 세 부분이 포함됩니다.
  • 컨볼루션(Convolution)을 사용하여 공간적 특징을 추출한다(콘볼루션(Convolution)은 원래 수용 필드라고 불렸다).
  • 평균 풀링 레이어 서브샘플링
  • tanh활성화함수
  • 마지막 분류자로서의 MLP 사용
  • 계산의 복잡성을 줄이기 위한 계층 간 희박한 연결

어플

간단한 숫자 이미지를 인식하는 것은 LeNet의 가장 고전적인 응용 프로그램입니다.

Yann LeKun 등은 1989년에 LeNet의 초기 형태를 제시했다.손으로 쓴 우편번호 인식에[1] 적용되는 백프로파게이션에서는 이러한 제약조건을 네트워크 아키텍처를 통해 백프로파게이션 네트워크에 통합하는 방법을 설명합니다.그리고 그것은 미국 [1]우편국에서 제공하는 손으로 쓴 우편번호의 인식에 성공적으로 적용되었다.

개발 분석

그 LeNet-5과 CNN.[4]의 기본 구성 요소를 정의합니다 그러나 그 시간에 하드웨어 장비의 부족 때문에, 특히 GPU에(그래픽 처리 장치 전문화된 전자 회로 빠르고 그가 프레임 버퍼에서 이미지의 창출을 촉진하기 위한 기억을 다루기 위해 고안된 f의도한 인기가 좋지 않았다 CNN의 출현 의미한다또는디스플레이 디바이스로의 출력) 및 기타 알고리즘(SVM 등)은 유사한 효과를 달성하거나 LeNet을 초과할 수 있습니다.

2012년 알렉스넷의 성공 이후, CNN은 컴퓨터 비전 애플리케이션에 가장 적합한 선택지가 되었고 R-CNN 시리즈와 같은 많은 다른 유형의 CNN이 제기되었다.오늘날 CNN 모델은 LeNet과 상당히 다르지만 모두 LeNet을 기반으로 개발되었습니다.


레퍼런스

  1. ^ a b c d e LeCun, Y.; Boser, B.; Denker, J. S.; Henderson, D.; Howard, R. E.; Hubbard, W.; Jackel, L. D. (December 1989). "Backpropagation Applied to Handwritten Zip Code Recognition". Neural Computation. 1 (4): 541–551. doi:10.1162/neco.1989.1.4.541. ISSN 0899-7667. S2CID 41312633.
  2. ^ a b Lecun, Yann (June 1989). "Generalization and network design strategies" (PDF). Technical Report CRG-TR-89-4. Department of Computer Science, University of Toronto.
  3. ^ a b LeCun, Y.; Boser, B.; Denker, J. S.; Henderson, D.; Howard, R. E.; Hubbard, W.; Jacker, L. D. (June 1990). "Handwritten digit recognition with a back-propagation network" (PDF). Advances in Neural Information Processing Systems 2: 396–404.
  4. ^ a b c Lecun, Y.; Bottou, L.; Bengio, Y.; Haffner, P. (1998). "Gradient-based learning applied to document recognition" (PDF). Proceedings of the IEEE. 86 (11): 2278–2324. doi:10.1109/5.726791.
  5. ^ "卷积神经网络之LeNet - Brook_icv - 博客园". www.cnblogs.com (in Chinese (China)). Retrieved 2019-11-16.
  6. ^ "深度学习 CNN 卷积神经网络 LeNet-5 详解". blog.csdn.net (in Chinese (China)). Retrieved 2019-11-16.