딥 러닝

Deep learning
Representing images on multiple layers of abstraction in deep learning
[1] 러닝에서 여러 추상화 층에 이미지를 표현합니다.

러닝(deep structured learning이라고도 함)은 표현 학습포함된 인공 신경망에 기반한 광범위한 기계 학습 방법군의 일부이다.학습은 지도, 반지도 또는 [2]비지도로 이루어질 수 있습니다.

심층 신경 네트워크, 심층 신념 네트워크, 심층 강화 학습, 반복 신경 네트워크, 컨볼루션 신경 네트워크 및 트랜스포머같은 딥 러닝 아키텍처는 컴퓨터 비전, 음성 인식, 자연 언어 처리, 기계 번역, 생물 정보학, 약물 설계, 의료 상상 등의 분야에 적용되었습니다.e 분석, 기후 과학, 재료 검사 및 보드 게임 프로그램. 이 프로그램에서는 인간 전문가 [3][4][5]성과에 필적하거나 경우에 따라서는 이를 능가하는 결과를 얻을 수 있습니다.

인공신경망(ANN)은 생물학적 시스템의 정보 처리 및 분산 통신 노드에서 영감을 받았다.ANN은 생물학적 뇌와 다양한 차이점을 가지고 있다.특히, 인공 신경망은 정적이고 상징적인 경향이 있는 반면, 대부분의 생물체의 생물학적 뇌는 동적([6][7]플라스틱)

딥 러닝에서 "딥"이라는 형용사는 네트워크에서 여러 계층을 사용하는 것을 의미합니다.초기 연구에서 선형 퍼셉트론은 범용 분류기가 될 수 없지만, 무한 폭의 숨겨진 레이어 하나를 가진 비다항 활성화 함수를 가진 네트워크가 될 수 있다는 것을 보여주었다.딥 러닝은 경계가 있는 크기의 무한 개수의 계층과 관련된 현대적 변형으로, 온화한 조건에서 이론적 보편성을 유지하면서 실용적인 적용과 최적화된 구현을 가능하게 한다.딥 러닝에서 계층은 또한 효율성, 훈련성 및 이해성을 위해 이질적이고 생물학적으로 정보에 입각한 연결주의 모델에서 크게 벗어날 수 있습니다. 여기서 "구조화된" 부분은 다음과 같습니다.

정의.

딥 러닝은 여러 계층을 사용하여 원시 입력에서 상위 수준의 기능을 점진적으로 추출하는 기계 학습 알고리즘[8]: 199–200 클래스입니다.예를 들어 이미지 처리에서 하위 레이어는 가장자리를 식별하는 반면 상위 레이어는 숫자, 문자 또는 얼굴과 같은 인간과 관련된 개념을 식별할 수 있다.

개요

대부분의 현대 딥 러닝 모델은 인공 신경 네트워크, 특히 컨볼루션 뉴럴 네트워크(CNN)를 기반으로 하지만, 딥 신념 네트워크의 노드 및 딥 볼츠만 [9]기계와 같은 딥 생성 모델에서 계층별로 구성된 제안 공식 또는 잠재 변수를 포함할 수도 있다.

딥 러닝에서 각 레벨은 입력 데이터를 약간 더 추상적이고 복합적인 표현으로 변환하는 방법을 학습합니다.화상인식 어플리케이션에서 원시 입력은 화소의 매트릭스일 수 있다.제1의 표현층은 화소를 추상화해 에지를 부호화할 수 있다.제2의 층은 에지의 배치를 구성 및 부호화할 수 있다.제3의 층은 코와 눈을 부호화할 수 있다.제4의 층은 화상이 얼굴을 포함한 것을 인식할 수 있다.중요한 것은, 딥 러닝 프로세스에서는, 어느 기능을 최적으로 어느 레벨에 배치할지를 스스로 학습할 수 있다는 것입니다.따라서 수동 조정이 필요하지 않습니다. 예를 들어 레이어 수와 레이어 크기가 다르면 [10][11]추상화의 정도가 다를 수 있습니다.

"딥 러닝"에서 "딥"이라는 단어는 데이터가 변환되는 레이어 수를 나타냅니다.더 정확히 말하면, 딥 러닝 시스템에는 상당한 신용 할당 경로(CAP) 깊이가 있습니다.CAP는 입력에서 출력으로의 변환 체인입니다.CAP는 입력과 출력 사이의 잠재적인 인과 관계를 설명합니다.피드포워드 뉴럴네트워크의 경우 CAP의 깊이는 네트워크의 깊이이며 숨겨진 레이어의 수에1을 더한 값입니다(출력 레이어도 파라미터화 됩니다).신호가 레이어를 통해 여러 번 전파되는 반복 신경망의 경우 CAP 깊이는 무제한일 [12]수 있습니다.일반적으로 합의된 깊이 임계값은 얕은 학습과 깊은 학습을 구분하지 않지만, 대부분의 연구자는 딥 러닝이 2보다 높은 CAP 깊이를 포함한다는 데 동의한다. 깊이 2의 CAP는 모든 기능을 [13]에뮬레이트할 수 있다는 점에서 보편적인 근사치인 것으로 나타났다.그 밖에도, 더 많은 계층이 네트워크의 함수 근사 기능에 추가되지 않습니다.딥 모델(CAP > 2)은 얕은 모델보다 뛰어난 기능을 추출할 수 있기 때문에 추가 레이어가 기능을 효과적으로 학습하는 데 도움이 됩니다.

러닝 아키텍처는 탐욕적인 레이어 바이 레이어 [14]방법으로 구성할 수 있습니다.딥 러닝은 이러한 추상화를 풀고 [10]성능을 향상시키는 기능을 찾는 데 도움이 됩니다.

지도 학습 태스크의 경우 딥 러닝 방법은 데이터를 주요 컴포넌트와 유사한 컴팩트한 중간 표현으로 변환하여 기능 엔지니어링을 제거하고 표현의 중복성을 제거하는 계층 구조를 도출한다.

딥 러닝 알고리즘은 감독되지 않은 학습 작업에 적용될 수 있다.레이블이 지정되지 않은 데이터가 레이블이 지정된 데이터보다 더 풍부하기 때문에 이는 중요한 이점입니다.감독되지 않은 방식으로 훈련될 수 있는 심층 구조의 예는 심층 믿음 [10][15]네트워크입니다.

해석

심층 신경망은 일반적으로 보편적 근사[16][17][18][19][20] 정리 또는 확률론적 [8][10][12][21]추론의 관점에서 해석된다.

고전적인 보편적 근사 정리는 연속 [16][17][18][19]함수를 근사하는 유한 크기의 단일 숨겨진 레이어를 가진 피드포워드 신경망의 용량에 관한 것이다.1989년에 첫 번째 증거S자형 활성화 함수에[16] 대한 조지 시벤코에 의해 발표되었고 1991년에 [17]커트 호닉에 의해 피드포워드 다층 아키텍처로 일반화되었다.최근의 연구는 또한 정류된 선형 [22]장치와 같은 비경계 활성화 함수에 대해서도 보편적 근사치가 유지된다는 것을 보여주었다.

심층 신경망에 대한 보편적 근사 정리는 제한된 폭을 가진 네트워크의 용량에 관한 것이지만 깊이는 증가할 수 있다.Lu [20]등은 ReLU 활성화가 있는 심층 신경망의 폭이 입력 치수보다 엄격히 크면 네트워크는 르베그 적분 가능 함수에 근사할 수 있다는 것을 증명했다. 폭이 입력 치수보다 작거나 같다면 심층 신경망은 범용 근사치가 아니다.

확률론적[21] 해석은 기계 학습 분야에서 도출된다.각각 적합과 일반화와 관련된 훈련과 테스트최적화 개념뿐만 아니라 추론을 특징으로 [8][9][10][12][15][21]합니다.보다 구체적으로 확률론적 해석은 활성화 비선형성을 누적 분포 [21]함수로 간주한다.확률론적 해석은 신경망의 정규화 장치로서의 탈락의 도입으로 이어졌다.확률론적 해석은 홉필드, 위드로, 나렌드라포함한 연구자들에 의해 도입되었고 [23]비숍에 의한 조사와 같은 조사에서 대중화되었다.

역사

일부 정보원은 프랭크 로젠블랫이 오늘날 [24]딥 러닝 시스템의 모든 기본 요소를 개발하고 탐구했다고 지적합니다.그는 그의 책 "신경역학의 원리:1962년 코넬대학교 코넬항공연구소(Cornell Aeronatical Laboratory, Inc.)가 발표한 "퍼셉트론과 뇌 메커니즘 이론".

1967년 [25]Alexey Ivakhenko와 Lapa가 감독, 심층, 피드포워드, 다층 퍼셉트론을 위한 최초의 일반, 작동 학습 알고리즘을 발표했습니다.1971년 논문은 데이터 [26]처리의 그룹 방법에 의해 훈련되는 8개의 계층이 있는 심층 네트워크를 기술했다.다른 딥 러닝 작업 아키텍처, 특히 컴퓨터 비전을 위해 만들어진 아키텍처는 1980년 [27]후쿠시마 쿠니히코에 의해 소개된 네오그니트론에서 시작되었다.

러닝이라는 용어는 1986년 [28]리나 데히터에 의해 기계 학습 커뮤니티에 도입되었고, 2000년 이고르 아이젠버그와 동료들에 의해 부울 임계값 [29][30]뉴런의 맥락에서 인공 신경 네트워크에 도입되었다.

1989년 Yann LeKun 등은 우편에 손으로 ZIP 코드를 인식할 목적으로 [31][32][33][34]1970년부터 자동 분화의 역방향으로 존재해 온 표준 역전파 알고리즘을 심층 신경망에 적용했다.알고리즘이 작동하는 동안 훈련에는 [35]3일이 걸렸습니다.

1994년 André de Carvalho는 Mike Fairhurst 및 David Bisset과 함께 3층 자기 조직적 특징 추출 뉴럴 네트워크 모듈(SOFT)에 이어 다층 분류 뉴럴 네트워크 모듈(GSNwhi)로 구성된 무중력 뉴럴 네트워크의 실험 결과를 발표했다.ch는 독립적으로 훈련되었습니다.특징 추출 모듈의 각 계층은 이전 [36]계층에 대해 복잡성이 증가하는 특징을 추출했다.

1995년 Brendan Frey는 Peter Dayan [37]Hinton과 공동으로 개발한 웨이크 슬립 알고리즘을 사용하여 완전히 연결된 6개의 레이어와 수백 개의 숨겨진 유닛을 포함하는 네트워크를 이틀에 걸쳐 훈련할 수 있음을 입증했습니다.Sepp Hochreiter[38][39]1991년에 분석한 소멸 구배 문제를 포함하여 많은 요인이 느린 속도에 기여한다.

1997년부터 스벤 베른케는 상황에 대한 결정을 유연하게 통합하고 국지적 모호성을 반복적으로 해결하기 위해 측면 및 후방 연결을 통해 신경 추상화[40] 피라미드에서 피드포워드 계층적 컨볼루션 접근법을 확장했다.

인공 신경망의 계산 비용과 뇌가 생체 네트워크를 연결하는 방법에 대한 이해 부족으로 인해 Gabor 필터와 지원 벡터 머신(SVM)과 같은 작업별 수공예 기능을 사용하는 단순한 모델은 1990년대와 2000년대에 인기 있는 선택이었다.

ANN의 얕은 학습과 깊은 학습(예: 반복망)은 모두 수년 [41][42][43]동안 연구되어 왔다.이러한 방법은 차별적으로 [44]훈련된 음성 생성 모델에 기반한 비균일한 내부 수작업 가우스 혼합 모델/숨김 마르코프 모델(GMM-HM) 기술을 결코 능가하지 않았다.신경 예측 [45][46]모델에서 구배[38] 감소 및 약한 시간 상관 구조를 포함한 주요 어려움이 분석되었다.또 다른 어려움은 훈련 데이터의 부족과 컴퓨팅 능력의 제한이었습니다.

대부분의 음성 인식 연구자들이 신경망에서 벗어나 생성 모델링을 추구했습니다.1990년대 후반에는 SRI International에서 예외가 있었다.SRI는 미국 정부의 NSADARPA의 자금 지원을 받아 음성 및 화자 인식 분야의 심층 신경 네트워크를 연구했습니다.래리 헥이 이끄는 화자 인식팀은 1998년 미국 국립표준기술연구소(National Institute of Standards and Technology) 화자 인식 [47]평가에서 음성 처리 분야에서 심층 신경 네트워크로 상당한 성공을 거뒀다고 보고했다.SRI 딥 뉴럴 네트워크는 이후 Nuance Verifier에 배치되었으며, [48]딥 러닝의 첫 번째 주요 산업적 응용 분야를 대표한다.

수작업 최적화보다 "원시" 기능을 높이는 원리는 1990년대 [48]후반 "원시" 스펙트로그램 또는 선형 필터 뱅크 기능의 딥 오토 인코더 아키텍처에서 처음 성공적으로 연구되었으며, 스펙트럼에서 고정된 변환 단계를 포함하는 Mel-Cepstral 기능보다 우수함을 보여주었다.음성의 원시 특징인 파형은 나중에 뛰어난 대규모 [49]결과를 낳았다.

음성 인식의 많은 측면은 1997년 [50]Hochreiter와 Schmidhuber에 의해 출판된 반복 신경 네트워크인 롱 단기 기억(LSTM)이라고 불리는 딥 러닝 방법에 의해 대체되었다.LSTM RNN은 소멸되는 구배 문제를 피하고, 수천 번의 이산 시간 단계 전에 발생한 사건에 대한 기억을 필요로 하는 "매우 깊은 학습" 태스크를[12] 학습할 수 있다. 이는 음성에 중요하다.2003년에 LSTM은 특정 작업에서 [51]전통적인 음성 인식기와 경쟁하기 시작했습니다.나중에 그것은 LSTM RNN [53]스택에서 연결주의 시간 분류(CTC)[52]와 결합되었다.2015년 구글 음성검색[54]통해 이용할 수 있게 된 CTC 훈련 LSTM을 통해 구글의 음성인식은 49%의 극적인 성능 상승을 경험했다고 한다.

2006년, Geoff Hinton, Ruslan Salakhutdinov, Osindero[55][56][57]Teh의 출판물은 다층 피드포워드 뉴럴 네트워크를 한 번에 한 레이어씩 효과적으로 사전 교육하고 각 레이어를 감독되지 않은 제한된 볼츠만 기계로 취급한 후 감독된 [58]역전파를 사용하여 미세 조정할 수 있는 방법을 보여 주었다.그 논문들은 깊은 믿음의 그물을 위한 학습언급했다.

딥 러닝은 다양한 분야, 특히 컴퓨터 비전과 자동 음성 인식(ASR)의 최첨단 시스템의 일부입니다.TIMIT(ASR) 및 MNIST(이미지 분류)와 같이 일반적으로 사용되는 평가 세트에 대한 결과와 다양한 대규모 어휘 음성 인식 작업이 꾸준히 [59][60]개선되고 있다.컨볼루션 뉴럴 네트워크(CNN)는 ASR을 위해 CTC가[52] LSTM[50][54][61][62][63]위해 대체했지만 컴퓨터 비전에서는 더 성공적입니다.

업계에 대한 딥러닝의 영향은 2000년대 초에 시작되었으며, 이때 CNN은 이미 미국에서 작성된 모든 수표의 약 10~20%를 처리했다.[64]대규모 음성 인식에 대한 딥 러닝의 산업적 응용은 2010년경 시작되었다.

2009년 NIPS 음성 인식을 위한 딥 러닝 워크숍은 심층 생성 음성 모델의 한계와 심층 신경망(DNN)이 실용화될 수 있는 보다 강력한 하드웨어 및 대규모 데이터 세트를 제공함에 따라 동기 부여되었다.심층신뢰망(DBN)의 생성 모델을 사용하는 사전 훈련 DNN은 신경망의 주요 어려움을 극복할 것으로 여겨졌다.그러나, 컨텍스트 의존성이 큰 출력 계층과 함께 DNN을 사용할 때 간단한 역전파를 위한 많은 양의 훈련 데이터로 사전 훈련을 대체하면 당시 최첨단 가우스 혼합 모델(GMM)/숨겨진 마르코프 모델(HM)보다 훨씬 낮은 오류율이 생성된다는 것이 밝혀졌다.오델 기반 [59]시스템두 가지 유형의 시스템에 의해 생성된 인식 오류의 특성은 특징적으로 [65]달랐으며, 딥 러닝을 모든 주요 음성 인식 [8][66][67]시스템에 의해 배치된 기존의 고효율 런타임 음성 디코딩 시스템에 통합하는 방법에 대한 기술적 통찰력을 제공했다.2009-2010년 전후의 분석에서는 GMM(및 기타 생성 음성 모델)과DNN 모델은 음성 [65]인식을 위한 딥 러닝에 대한 초기 산업 투자를 자극하여 결국 해당 산업에 널리 보급되고 지배적인 사용으로 이어졌다.이 분석은 차별적 DNN과 생성 [59][65][68]모델 간에 유사한 성능(오류율 1.5% 미만)으로 수행되었다.

2010년, 연구자들은 의사결정 [69][70][71][66]트리에 의해 구성된 문맥 의존적 HMM 상태를 기반으로 한 DNN의 대규모 출력 계층을 채택함으로써 TIMIT에서 대규모 어휘 음성 인식으로 딥 러닝을 확장했다.

하드웨어의 진보는 딥러닝에 대한 새로운 관심을 불러일으켰다.2009년에 Nvidia는 딥러닝 신경 네트워크가 Nvidia 그래픽 처리 장치(GPU)[72]로 훈련되었기 때문에 딥러닝의 이른바 "빅뱅"에 관여했습니다. 해에 Andrew Ng는 GPU가 딥 러닝 시스템의 속도를 약 100배 [73]높일 수 있다고 판단했습니다.특히 GPU는 [74][75][76]머신러닝과 관련된 매트릭스/벡터 계산에 적합합니다.GPU는 트레이닝 알고리즘의 속도를 대폭 향상시켜 실행 시간을 몇 주에서 [77][78]며칠로 단축합니다.또한 딥 러닝 [79]모델의 효율적인 처리를 위해 특수 하드웨어 및 알고리즘 최적화를 사용할 수 있다.

딥 러닝 혁명

딥러닝이 머신러닝의 서브셋이며 머신러닝이 인공지능(AI)의 서브셋인 경우

2012년, 조지 E가 이끄는 팀.Dahl은 [80][81]한 약물의 생체 분자 목표를 예측하기 위해 다중 작업 심층 신경망을 사용하여 "Merck Molecular Activity Challenge"에서 우승했다.2014년 Hochreiter의 그룹은 영양소, 가정용 제품 및 약물에 대한 환경 화학 물질의 목표 밖의 독성 영향을 감지하기 위해 딥 러닝을 이용했으며 NIH, FDA NCATS의 "[82][83][84]Tox21 Data Challenge"에서 우승했다.

2011년부터 2012년까지 이미지 또는 물체 인식에 상당한 영향을 미쳤다.역전파 훈련을 받은 CNN과 CNN을 포함한 NN의 GPU 구현은 수십 년 전부터 있었지만 컴퓨터 비전을 [74][76][35][85][12]발전시키기 위해서는 GPU에 CNN을 신속하게 구현해야 했다.2011년에는 시각 패턴 인식 콘테스트에서 초인적인 퍼포먼스를 최초로 달성했습니다.또한 2011년에는 ICDAR 중국어 손글씨 공모전에서 입상하였고, 2012년 5월에는 ISBI 이미지 세그멘테이션 [86]공모전에서 입상하였다.2011년까지 CNN은 컴퓨터 비전 컨퍼런스에서 큰 역할을 하지 않았지만, 2012년 6월 주요 컨퍼런스[3] CVPR의 Ciresan 등의 논문에 따르면 GPU에서 CNN을 최대 풀링하는 것이 어떻게 많은 비전 벤치마크 기록을 획기적으로 개선할 수 있는지 알 수 있었다.2012년 10월, Krizhevsky [4]등의 유사한 시스템이 얄팍한 기계 학습 방법에 대한 대규모 ImageNet 경쟁에서 큰 차이로 승리했습니다.2012년 11월에는 Ciresan 등의 시스템이 암 검출용 대형 의료 이미지 분석에 관한 ICPR 공모전에서 우승했고, 이듬해에는 같은 [87]주제로 MICCAI 그랜드 챌린지에서도 우승했다.2013년과 2014년에는 대규모 음성 인식의 유사한 추세에 따라 딥 러닝을 이용한 ImageNet 과제의 오류율이 더욱 감소하였다.

그런 다음 이미지 분류는 종종 CNN과 LSTM의 [88][89][90]조합으로 이미지에 대한 설명(캡션)을 생성하는 더 어려운 작업으로 확장되었다.

일부 연구원들은 2012년 10월 ImageNet의 승리가 AI [91]산업을 변화시킨 "심층 학습 혁명"의 시작점이 되었다고 말한다.

2019년 3월, Yoshua Bengio, Geoffrey HintonYann Le Cun은 심층 신경 네트워크를 컴퓨팅의 중요한 구성요소로 만든 개념 및 엔지니어링 혁신으로 Turing Award를 수상했습니다.

뉴럴 네트워크

인공신경망

인공신경망(ANN) 또는 연결주의 시스템동물의 뇌를 구성하는 생물학적 신경망에서 영감을 얻은 컴퓨터 시스템입니다.이러한 시스템은 일반적으로 작업별 프로그래밍 없이 예를 검토함으로써 작업을 수행하는 방법을 학습(점진적으로 개선)합니다.예를 들어, 이미지 인식에서는 수동으로 "cat" 또는 "no cat"이라고 라벨이 붙은 샘플 이미지를 분석하고 분석 결과를 사용하여 다른 이미지에서 고양이를 식별함으로써 고양이가 포함된 이미지를 식별하는 방법을 배울 수 있다.이들은 규칙 기반 프로그래밍을 사용하는 기존 컴퓨터 알고리즘으로는 대부분의 응용 프로그램을 표현하기가 어렵다는 것을 알게 되었습니다.

ANN은 인공 뉴런이라고 불리는 연결된 단위들의 모음에 기초합니다.뉴런 사이의 각 연결(시냅스)은 다른 뉴런에 신호를 전송할 수 있습니다.수신(시냅스 후) 뉴런은 신호를 처리한 다음 연결된 다운스트림 뉴런을 신호로 보낼 수 있습니다.뉴런은 일반적으로 0과 1 사이의 실수로 표현되는 상태를 가질 수 있습니다.뉴런과 시냅스는 또한 학습이 진행됨에 따라 변화하는 무게를 가질 수 있으며, 이것은 하류로 보내는 신호의 강도를 증가시키거나 감소시킬 수 있다.

전형적으로, 뉴런은 층으로 구성되어 있다.계층마다 입력에 대해 다양한 종류의 변환을 수행할 수 있습니다.신호는 첫 번째(입력) 레이어에서 마지막(출력) 레이어로 전송되며, 여러 번 레이어를 통과한 후에 전송될 수 있습니다.

뉴럴 네트워크 접근법의 원래 목표는 인간의 뇌와 같은 방식으로 문제를 해결하는 것이었다.시간이 지남에 따라, 관심은 특정 정신 능력을 일치시키는 데 집중되었고, 역전파, 역방향으로 정보를 전달하거나 그 정보를 반영하기 위해 네트워크를 조정했다.

뉴럴 네트워크는 컴퓨터 비전, 음성 인식, 기계 번역, 소셜 네트워크 필터링, 보드 비디오 게임, 의료 진단 등 다양한 작업에 사용되어 왔습니다.

2017년 현재 뉴럴 네트워크는 일반적으로 수천에서 수백만 개의 유닛과 수백만 개의 연결을 가지고 있습니다.이 숫자는 인간 두뇌의 뉴런 수보다 몇 배 적은 수치임에도 불구하고, 이러한 네트워크는 인간의 수준을 뛰어넘는 많은 작업을 수행할 수 있습니다(예: 얼굴 인식, "Go"[92] 게임).

심층 뉴럴 네트워크

DNN(Deep Neural Network)은 입력 레이어와 출력 [9][12]레이어 사이에 여러 레이어가 있는 인공 뉴럴 네트워크(ANN)입니다.다양한 유형의 신경망이 있지만 그것들은 항상 같은 구성요소들로 구성되어 있다: 뉴런, 시냅스, 무게, 편견, 그리고 기능.[93]이러한 구성요소는 인간의 뇌와 유사하게 기능하며 다른 ML [citation needed]알고리즘과 같이 훈련될 수 있습니다.

예를 들어, 개 품종을 인식하도록 훈련된 DNN은 주어진 이미지를 검토하고 이미지 속의 개가 특정 품종일 확률을 계산합니다.사용자는 결과를 확인하고 네트워크에 표시되는 확률(특정 임계값 초과 등)을 선택하여 제안된 라벨을 반환할 수 있습니다.각각의 수학적 조작은 [citation needed]계층으로 간주되며, 복잡한 DNN에는 많은 계층이 있기 때문에 "딥" 네트워크라는 이름이 붙습니다.

DNN은 복잡한 비선형 관계를 모델링할 수 있습니다.DNN 아키텍처는 객체가 원시 [94]요소의 계층화된 구성으로 표현되는 구성 모델을 생성합니다.추가 레이어를 사용하면 하위 레이어에서 기능을 구성할 수 있으므로 성능이 낮은 얕은 [9]네트워크보다 더 적은 유닛으로 복잡한 데이터를 모델링할 수 있습니다.예를 들어, 희박한 다변량 다항식이 얕은 [95]네트워크보다 DNN으로 근사하는 것이 기하급수적으로 쉽다는 것이 입증되었다.

심층 아키텍처에는 몇 가지 기본적인 접근방식의 많은 변형이 포함됩니다.각 아키텍처는 특정 도메인에서 성공을 거두었습니다.동일한 데이터 세트에서 평가되지 않는 한 여러 아키텍처의 성능을 비교하는 것이 항상 가능한 것은 아닙니다.

DNN은 일반적으로 데이터가 입력층에서 출력층으로 루프백하지 않고 흐르는 피드포워드 네트워크입니다.처음에 DNN은 가상 뉴런의 지도를 만들고 랜덤 수치, 즉 "무게"를 그들 사이의 연결에 할당합니다.가중치와 입력이 곱되어 0과 1 사이의 출력이 반환됩니다.네트워크가 특정 패턴을 정확하게 인식하지 못할 경우 알고리즘에 [96]의해 가중치가 조정됩니다.이렇게 하면 알고리즘이 데이터를 완전히 처리하기 위한 올바른 수학적 조작을 결정할 때까지 특정 매개변수의 영향력을 높일 수 있습니다.

데이터가 임의의 방향으로 흐를 수 있는 RNN(Recurrent Neural Network)은 언어 [97][98][99][100][101]모델링 등의 응용 프로그램에 사용됩니다.이 경우 [50][102]특히 단기 기억력이 효과적입니다.

컨볼루션 심층 신경망(CNN)은 컴퓨터 [103]비전에 사용됩니다.CNN은 또한 자동 음성 인식(ASR)[104]을 위한 음향 모델링에도 적용되었다.

과제들

ANN과 마찬가지로 순진하게 훈련된 DNN에서는 많은 문제가 발생할 수 있다. 가지 일반적인 문제는 과적합과 계산 시간입니다.

DNN은 추가된 추상화 계층 때문에 과적합 경향이 있으며, 이를 통해 훈련 데이터의 드문 종속성을 모델링할 수 있다.이바크넨코의 유닛 프루닝[26] 또는 중량 감쇠( 2 \ _ 또는 희소성( \ _ - regularization)[105] 등의 정규화 방법을 훈련 중에 적용하여 과적합과 싸울 수 있습니다.또는 드롭아웃 정규화는 훈련 중에 숨겨진 레이어에서 임의로 단위를 제외합니다.이를 통해 희귀 종속성을 [106]배제할 수 있습니다.마지막으로 자르기 및 회전과 같은 방법을 통해 데이터를 증강할 수 있으므로 작은 훈련 세트의 크기를 늘려 [107]과적합 가능성을 줄일 수 있습니다.

DNN은 크기(레이어 수 및 레이어당 단위 수), 학습 속도 및 초기 가중치와 같은 많은 훈련 매개변수를 고려해야 합니다.최적의 파라미터를 위한 파라미터 공간을 스위핑하는 것은 시간과 계산자원의 비용 때문에 불가능할 수 있습니다.배치(개별 [108]예제가 아닌 여러 교육 예제의 그라데이션 계산)와 같은 다양한 기술을 통해 계산 속도를 높일 수 있습니다.멀티코어 아키텍처(GPU나 인텔 Xeon Phi 등)의 대규모 처리능력에 의해 트레이닝 속도가 대폭 향상되었습니다.이는 이러한 처리 아키텍처가 매트릭스 및 벡터 [109][110]계산에 적합하기 때문입니다.

또는 엔지니어는 보다 간단하고 수렴적인 훈련 알고리즘을 사용하여 다른 유형의 신경 네트워크를 찾을 수 있습니다.세레벨 모델 아티큘레이션 컨트롤러(CMAC)도 이런 종류의 뉴럴 네트워크 중 하나다.CMAC의 경우 학습 속도나 랜덤화된 초기 가중치가 필요하지 않습니다.훈련 과정은 새로운 데이터 배치와 한 단계에서 수렴될 수 있으며,[111][112] 훈련 알고리즘의 계산 복잡도는 관련된 뉴런의 수와 관련하여 선형적이다.

하드웨어

2010년대 이후 기계 학습 알고리즘과 컴퓨터 하드웨어의 발전으로 많은 비선형 은닉 단위 층과 매우 큰 출력 [113]층을 포함하는 심층 신경 네트워크를 훈련하는 보다 효율적인 방법이 생겨났다.2019년에는 그래픽 처리 장치(GPU)가 종종 AI 고유의 기능을 강화하여 CPU를 대체하여 대규모 상용 클라우드 [114]AI를 양성하는 주요 방법이 되었습니다.OpenAI는 AlexNet(2012년)에서 AlphaZero(2017년)에 이르는 대규모 딥러닝 프로젝트에서 사용된 하드웨어 연산을 추정하여 필요한 연산량이 30만 배 증가했으며, 3.4개월의 [115][116]2배 증가 추세선을 보였습니다.

딥 러닝 프로세서라고 불리는 특별한 전자 회로는 딥 러닝 알고리즘의 속도를 높이기 위해 설계되었다.딥러닝 프로세서에는 화웨이 휴대폰[117] 신경처리장치(NPU)와 구글 클라우드 플랫폼의 [118]텐서처리장치(TPU)와 같은 클라우드 컴퓨팅 서버가 포함된다.또한 Cerebras Systems는 업계 최대 프로세서인 2세대 Wafer Scale Engine([119][120]WSE-2)을 기반으로 대규모 딥러닝 모델인 CS-2를 처리하는 전용 시스템을 구축했습니다.

원자적으로 얇은 반도체는 로직 연산과 데이터 스토리지 모두에 동일한 기본 장치 구조가 사용되는 에너지 효율적인 딥 러닝 하드웨어에 유망한 것으로 간주됩니다.2020년 Marega 등은 플로팅 게이트 전계효과 트랜지스터(FGFET)[121]에 기반한 로직 인 메모리 소자와 회로를 개발하기 위한 대규모 활성 채널 재료를 사용한 실험을 발표했다.

2021년 J. Feldmann 등은 병렬 컨볼루션 [122]처리를 위한 통합 광전자 하드웨어 가속기를 제안했다.저자들은 전자 광자에 비해 통합 광자의 두 가지 주요 장점인 (1) 주파수 조합과 함께 파장 분할 다중화를 통한 대규모 병렬 데이터 전송과 (2) 매우 빠른 데이터 변조 속도를 [122]식별한다.이 시스템은 초당 수조 개의 누적 다중 연산을 실행할 수 있으며, 이는 대량의 데이터를 사용하는 AI 애플리케이션에서 [122]통합 광자의 가능성을 나타냅니다.

적용들

자동 음성 인식

대규모 자동 음성 인식은 딥 러닝의 첫 번째이자 가장 설득력 있는 성공 사례이다.LSTM RNN은 수천 개의 개별 시간 단계로 구분된 음성 이벤트를 포함하는 수초 간격을 포함하는 "매우 딥 러닝[12]" 태스크를 학습할 수 있습니다. 여기서 1개의 시간 단계는 약 10ms에 해당합니다.포겟[102] 게이트가 있는 LSTM은 특정 [51]작업에서 전통적인 음성 인식기와 경쟁합니다.

음성 인식의 초기 성공은 TIMIT에 기반한 소규모 인식 작업에 기초했다.데이터 세트에는 미국 영어의 8개 주요 방언에서 온 630명의 화자가 포함되어 있으며, 화자 한 명당 [123]10개의 문장을 읽습니다.크기가 작기 때문에 많은 구성을 시도할 수 있습니다.더 중요한 것은 TIMIT 태스크는 워드시퀀스 인식과 달리 약한 전화 빅램 언어 모델을 허용하는 전화 시퀀스 인식에 관한 것입니다.이를 통해 음성 인식의 음향 모델링 측면의 강도를 보다 쉽게 분석할 수 있습니다.다음에 나타낸 에러율은, 이러한 초기 결과를 포함해, 전화 에러율(PER)의 퍼센트로 측정되는 것을 포함해, 1991년부터 정리하고 있습니다.

방법 전화 비율
오류율(PER) (%)
랜덤으로 초기화된 RNN[124] 26.1
베이지안 트리폰 GMM-HMM 25.6
숨겨진 궤적(일반) 모델 24.8
모노폰 랜덤 초기화 DNN 23.4
모노폰 DBN-DNN 22.4
Triphone GMM-HMM 및 BMMI 트레이닝 21.7
fbank의 모노폰 DBN-DNN 20.7
컨볼루션 DNN[125] 20.0
컨볼루션 DNN w.이종 풀링 18.7
앙상블 DNN/CNN/RNN[126] 18.3
양방향 LSTM 17.8
계층형 컨볼루션 딥 맥스아웃[127] 네트워크 16.5

1990년대 후반에 스피커 인식을 위한 DNN과 2009-2011년 경 및 2003-2007년 경 LSTM이 등장하면서 8개의 주요 영역에서 [8][68][66]발전이 가속화되었다.

  • 스케일업/스케일아웃 및 고속화된 DNN 트레이닝 및 디코딩
  • 시퀀스 식별 훈련
  • 기본 메커니즘을 확실하게 이해하고 심층 모델에 의한 기능 처리
  • DNN 및 관련 심층 모델의 적응
  • DNN 및 관련 심층 모델에 의한 멀티태스킹 및 전송 학습
  • CNN과 어떻게 하면 연설에 대한 도메인 지식을 가장 잘 활용할 수 있도록 설계할 수 있다.
  • RNN과 그 풍부한 LSTM 모델
  • 텐서 기반 모델과 통합 심층 생성/차별 모델을 포함한 다른 유형의 심층 모델.

모든 주요 상용 음성 인식 시스템(Microsoft Cortana, Xbox, Skype Translator, Amazon Alexa, Google Now, Apple Siri, BaiduiFly 등)Tek 음성 검색 및 다양한 Nuance 음성 제품 등)은 딥 [8][128][129]러닝을 기반으로 합니다.

이미지 인식

영상 분류를 위한 일반적인 평가 세트는 MNIST 데이터베이스 데이터 세트입니다.MNIST는 손으로 쓴 숫자로 구성되어 있으며 60,000개의 훈련 예제와 10,000개의 테스트 예제를 포함합니다.TIMIT와 마찬가지로 크기가 작기 때문에 사용자는 여러 구성을 테스트할 수 있습니다.이 세트에 대한 포괄적인 결과 목록을 사용할 [130]수 있습니다.

딥 러닝 베이스의 이미지 인식은, 「초인」이 되어, 인간 참가자보다 정확한 결과를 낳습니다.이는 2011년 교통 표지판을 인식하기 위해, 2014년 사람의 얼굴을 인식하면서 [131][132]처음 발생했다.

이제 딥 러닝 교육을 받은 차량이 360° 카메라 [133]뷰를 해석합니다.또 다른 예는 유전자 신드롬의 대규모 데이터베이스에 연결된 인간 기형의 사례를 분석하는 데 사용되는 FDNA(Facial Diomphology New Analysis)이다.

비주얼 아트 처리

이미지 인식의 진보와 밀접하게 관련되어 있는 것은 다양한 시각 예술 작업에 딥 러닝 기법이 점점 더 많이 적용되고 있다는 것입니다.예를 들어 DNN은 다음과 같은 기능을 갖추고 있습니다.

  • 특정[134][135] 그림의 스타일 기간을 식별하는 것
  • Neural Style Transfer(신경 스타일 전송) – 주어진 아트워크의 스타일을 캡처하여 임의의 사진 또는[134][135] 비디오에 시각적으로 보기 좋게 적용합니다.
  • 무작위 시각적 입력 [134][135]필드를 기반으로 인상적인 이미지를 생성합니다.

자연어 처리

뉴럴 네트워크는 2000년대 [97]초부터 언어 모델을 구현하기 위해 사용되어 왔다.LSTM은 기계 번역과 언어 모델링을 [98][99][100]개선하는 데 도움이 되었습니다.

이 분야의 다른 주요 기법으로는 음의[136] 샘플링과 단어 삽입이 있습니다.단어 2vec과 같은 단어 임베딩은 원자어를 데이터셋 내의 다른 단어에 상대적인 단어의 위치 표현으로 변환하는 딥 러닝 아키텍처의 표현 레이어로서 생각할 수 있다.위치는 벡터 공간에서 점으로 표현된다.RNN 입력 레이어로 단어 임베딩을 사용하면 네트워크는 효과적인 구성 벡터 문법을 사용하여 문장과 구문을 해석할 수 있습니다.합성 벡터 문법은 RNN에 [137]의해 구현되는 확률론적 문맥 자유 문법(PCFG)이라고 생각할 수 있다.워드 임베딩 위에 구축된 재귀적 자동 인코더는 문장 유사성을 평가하고 패러프레이싱을 [137]검출할 수 있다.심층 신경 아키텍처는 선거구 구문 [138]분석, 감정 분석,[139] 정보 검색,[140][141] 구어 이해,[142] 기계 번역,[98][143] 컨텍스트 엔티티 링크,[143] 문자 스타일 인식,[144][145] 텍스트 분류 등에 최고의 결과를 제공합니다.

최근의 개발은 단어 임베딩을 문장 임베딩으로 일반화한다.

Google Translate(GT)는 대규모 엔드 투 엔드단기 메모리([146][147][148][149]LSTM) 네트워크를 사용합니다.Google Neural Machine Translation(GNMT; 신경기계번역)은 시스템이 "수백만 개의 [147]예로부터 학습"하는 예제 기반 기계번역 방법을 사용합니다.조각이 아니라 한 번에 전체 문장을 번역한 것이다.Google 번역은 100개 이상의 언어를 [147]지원합니다.네트워크는 "단순히 구절 간 번역을 외우는 것이 아니라 문장의 의미론"[147][150]을 부호화한다.GT는 대부분의 언어 [150]쌍 사이의 중간어로 영어를 사용합니다.

후보 약물의 상당 부분이 규제 승인을 받지 못하고 있다.이러한 기능 상실은 불충분한 효과(표적 효과), 바람직하지 않은 상호작용(표적 효과 외) 또는 예상치 못한 독성 [151][152]효과로 인해 발생한다.연구는 영양소, 가정용 제품 및 [82][83][84]약물에 대한 환경 화학 물질의 생체 분자 목표,[80][81] 목표에서 벗어난 목표 및 독성 효과를 예측하기 위해 딥 러닝의 사용을 탐구했다.

AtomNet은 구조 기반의 합리적인 약물 [153]설계를 위한 딥 러닝 시스템입니다.AtomNet은 에볼라[154] 바이러스 다발성 경화증 [155][156]등의 질병 표적에 대한 새로운 후보 생체 분자를 예측하는 데 사용되었다.

2017년 대규모 독성 데이터 집합에서 [157]분자의 다양한 특성을 예측하기 위해 처음으로 그래프 신경망이 사용되었다.2019년에는 [158][159]생쥐에게 실험적으로 검증된 분자를 생산하기 위해 생성 신경망이 사용되었다.

심층 강화 학습은 RFM 변수의 관점에서 정의된 가능한 직접 마케팅 활동의 가치를 대략적으로 추정하기 위해 사용되었습니다.추정치 함수는 고객의 수명 [160]값으로 자연스럽게 해석되는 것으로 나타났습니다.

추천 시스템은 딥 러닝을 사용하여 콘텐츠 기반 음악 및 저널 [161][162]추천의 잠재 요인 모델에 대한 의미 있는 특징을 추출했습니다.여러 [163]도메인에서 사용자 기본 설정을 학습하기 위해 멀티 뷰 딥 러닝이 적용되었습니다.이 모델은 하이브리드 협업 및 콘텐츠 기반 접근 방식을 사용하며 여러 작업에서 권장 사항을 개선합니다.

자가 인코더 ANN은 유전자 온톨로지 주석과 유전자 기능 [164]관계를 예측하기 위해 생체 정보학에서 사용되었다.

의료 정보학에서 딥 러닝은[165] 웨어러블의 데이터[166]전자 건강 기록 데이터의 건강 합병증 예측을 기반으로 수면 품질을 예측하기 위해 사용되었다.

이미지

딥러닝은 암세포 분류, 병변 검출, 장기 분할 및 이미지 [167][168]향상과 같은 의료 응용 분야에서 경쟁력 있는 결과를 도출하는 것으로 나타났다.최신 딥 러닝 툴은 다양한 질병의 검출의 높은 정확도와 진단 효율을 [169][170]향상시키기 위한 전문가의 사용의 유용성을 입증합니다.

모바일 광고에 적합한 모바일 시청자를 찾는 것은 항상 어려운 일입니다.대부분의 데이터 포인트를 검토 및 분석해야 광고 서버에서 [171]타깃 세그먼트를 생성하여 사용할 수 있기 때문입니다.딥 러닝은 크고 다차원적인 광고 데이터 세트를 해석하는 데 사용되어 왔습니다.요청/서비스/클릭 인터넷 광고 주기 동안 많은 데이터 포인트가 수집됩니다.이러한 정보는 광고 선택을 개선하기 위한 기계 학습의 기초를 형성할 수 있습니다.

딥러닝은 노이즈 제거, 초해상도, 인페인팅, 필름 컬러라이제이션 [172]등의 역문제에도 성공적으로 적용되고 있다.이러한 어플리케이션에는 이미지 데이터셋에 대해 트레이닝하는 「효과적인 이미지 [173]복원을 위한 Shrinkage Fields」나, 복원이 필요한 이미지에 대해 트레이닝 하는Deep Image Prior」등의 학습 방법이 있습니다.

탐지

딥러닝은 금융사기 적발, 탈세 적발,[174] 자금세탁 [175]방지 등에 성공적으로 적용되고 있다.

미 국방부는 [176]관찰을 통해 새로운 임무에서 로봇을 훈련시키기 위해 딥러닝을 적용했다.

물리학에 정통한 뉴럴 네트워크는 정방향 [177]및 역방향의 편미분 방정식을 데이터 구동 방식으로 풀기 위해 사용되어 왔습니다.한 가지 예는 Navier-Stokes 방정식에 의해 제어되는 유체 흐름을 재구성하는 것입니다.물리 정보에 근거한 뉴럴 네트워크를 사용하는 경우, 종래의 CFD 방법에 [178][179]의존하는 고가의 메쉬 생성은 필요 없습니다.

영상 재구성은 영상 관련 측정에서 기본 영상을 재구성하는 것입니다.여러 연구는 스펙트럼 이미징 및 초음파 [181]이미징과 같은 다양한 애플리케이션에 대한 분석 방법과 비교하여 딥 러닝 방법의 더 우수하고 우수한 성능을 보여주었다.


자세한 내용은 에피제네틱 시계를 참조하십시오.

후생시계는 나이를 측정하는 데 사용될 수 있는 생화학적 시험이다.갈킨 등심층 신경망을 사용하여 6,000개 이상의 혈액 샘플을 사용하여 전례 없는 정확도의 후생성 노화 시계를 훈련했습니다.이 시계는 1000개의 CpG 사이트에서 얻은 정보를 사용하여 IBD, 전두엽 치매, 난소암, 비만과 같은 건강한 대조군보다 나이가 더 많은 사람들을 예측합니다.노후된 시계는 2021년 인실리코 메디신 스피노프(Deep Lifeff)에 의해 일반에 공개될 예정이다.

및 뇌

딥 러닝은 1990년대 [182][183][184][185]초 인지 신경 과학자들에 의해 제안된 뇌 발달 이론의 클래스와 밀접하게 관련되어 있다.이러한 개발 이론은 컴퓨터 모델에서 인스턴스화되었고, 딥 러닝 시스템의 전신이 되었다.이러한 발달 모델은 뇌의 다양한 제안된 학습 역학(예: 신경 성장 인자의 물결)이 딥 러닝 모델에 사용되는 신경 네트워크와 다소 유사한 자기 조직을 지원한다는 특성을 공유한다.뉴럴 네트워크는 신피질과 마찬가지로 각 계층이 이전 계층(또는 운영 환경)의 정보를 고려한 후 그 출력(및 아마도 원래 입력)을 다른 계층으로 전달하는 계층화된 필터 계층을 사용합니다.이 프로세스는 자체 구성 변환기 스택을 생성하며, 작동 환경에 맞게 잘 조정됩니다.1995년에 기술된 바에 따르면, "...아기의 뇌는 소위 영양인자의 파동의 영향을 받아 스스로 조직화 되는 것 같습니다... 뇌의 다른 부분들은 순차적으로 연결되며, 한 조직의 층이 다른 층보다 먼저 성숙하고, 그리고 계속해서 전체 뇌가 [186]성숙해질 때까지 계속됩니다."

신경생물학적 관점에서 딥러닝 모델의 타당성을 조사하기 위해 다양한 접근법이 사용되었습니다.한편,[187][188] 처리 리얼리즘을 높이기 위해서, 역전파 알고리즘의 몇개의 변형이 제안되고 있다.다른 연구자들은 계층적 생성 모델과 깊은 믿음 네트워크에 기반을 둔 것과 같은 감독되지 않은 형태의 딥 러닝이 생물학적 [189][190]현실에 더 가까울 수 있다고 주장해왔다.이러한 측면에서, 생성 뉴럴 네트워크 모델은 대뇌 [191]피질에서 샘플링 기반 처리에 대한 신경생물학적 증거와 관련이 있다.

인간의 뇌 조직과 심층 네트워크의 신경 부호화 사이의 체계적 비교는 아직 확립되지 않았지만, 몇 가지 유사점이 보고되었다.예를 들어, 딥 러닝 유닛에 의해 수행되는 계산은 실제[192] 뉴런 및 신경 [193]집단의 계산과 유사할 수 있다.마찬가지로, 딥 러닝 모델에 의해 개발된 표현은 단일 단위와 모집단 수준에서[195][196] 영장류 시각[194] 시스템에서 측정된 표현과 유사하다.

페이스북의 AI랩은 업로드한 사진에 자동으로 [197]사람 이름이 적힌 태그를 붙이는 의 작업을 수행한다.

구글의 DeepMind Technologies는 데이터 입력으로 픽셀만 사용하여 아타리 비디오 게임을 하는 방법을 배울 수 있는 시스템을 개발했다.2015년에 그들은 프로 [198][199][200]바둑을 이길 정도로 바둑을 잘 익힌 알파고 시스템을 시연했다.Google Translate는 신경 네트워크를 사용하여 100개 이상의 언어를 번역합니다.

2017년에는 딥 러닝을 [201]공장으로 통합하는 것을 주력으로 하는 Covariant.ai이 출시되었습니다.

2008년 [202]현재 텍사스 대학 오스틴(UT)의 연구진은 평가 강화(TAMER)를 통한 에이전트 수동 트레이닝이라는 머신 러닝 프레임워크를 개발했습니다.이 프레임워크에서는 로봇이나 컴퓨터 프로그램이 인간 [176]강사와 상호작용하여 작업을 수행하는 방법을 학습하는 새로운 방법을 제안하고 있습니다.TAMER로 처음 개발된 Deep TAMER라는 새로운 알고리즘은 이후 2018년 미국 육군 연구소와 UT 연구원들이 공동으로 도입되었습니다.Deep TAMER는 딥 러닝을 사용하여 관찰을 [176]통해 새로운 작업을 학습할 수 있는 능력을 로봇에 제공했습니다.Deep TAMER를 사용하여, 로봇은 인간 트레이너와 함께 비디오 스트림을 보거나 사람이 작업을 수행하는 것을 직접 관찰하면서 작업을 배웠다.그 로봇은 나중에 "잘했다"와 "못했다"[203]와 같은 피드백을 제공하는 트레이너의 코치의 도움을 받아 이 과제를 연습했다.

딥 러닝은 컴퓨터 사이언스 분야 밖에서 비판과 코멘트를 이끌어냈다.

주요 비판은 일부 [204]방법을 둘러싼 이론의 부재에 관한 것이다.가장 일반적인 심층 아키텍처에서의 학습은 잘 이해된 경사 강하를 사용하여 구현된다.그러나 대조적 발산 등 다른 알고리즘을 둘러싼 이론은 명확하지 [citation needed]않다.(예를 들어 수렴됩니까?그렇다면 얼마나 빠릅니까?대략 어느 정도입니까?딥 러닝 방법은 종종 이론이 [205]아닌 경험적으로 확인되며 블랙박스로 간주됩니다.

다른 사람들은 딥 러닝이 모든 것을 아우르는 솔루션이 아니라 강력한 AI를 실현하기 위한 단계로 여겨져야 한다고 지적한다.딥 러닝 방법의 힘에도 불구하고, 그들은 이 목표를 완전히 실현하는 데 필요한 많은 기능이 여전히 부족하다.연구심리학자인 게리 마커스는 다음과 같이 말했다.

「현실적으로, 딥 러닝은, 인텔리전트 머신을 구축하는 큰 과제 중 일부에 지나지 않습니다.이러한 기술들은 인과관계를 표현하는 방법(...)이 결여되어 있어 논리적인 추론을 수행하는 명확한 방법이 없으며, 또한 그것들은 사물이 무엇인지, 그들이 무엇을 위한 것인지, 그리고 그들이 전형적으로 어떻게 사용되는지에 대한 정보와 같은 추상적인 지식을 통합하는데는 아직 멀었다.가장 강력한 A.I. 왓슨(...)과 같은 시스템은 베이지안 추론의 통계적 기법에서 연역적 [206]추론에 이르기까지 매우 복잡한 기술 집합에서 딥러닝과 같은 기술을 단지 하나의 요소로 사용한다."

그 아이디어는 예술적 감수성이 인지적 계층, 깊은(2030층)신경 네트워크가 본질적으로 임의의 데이터 내에 그들은 trained[207] vi을 보여 준 이미지를 파악하려 해 내부 국가들의 그래픽 표현 방법의 출판된 시리즈 비교적 낮은 수준에 내재할 수도 있는 것 더 많은 참고.sual어필: 원래의 연구 공지는 1,000개가 넘는 코멘트를 받았으며, 가디언[208] 웹사이트에서 한때 가장 많이 접속된 기사의 주제였다.

★★★

일부 딥 러닝 아키텍처는 인식할 수 없는 이미지를 익숙한 일반 이미지 범주에 속하는 것으로 자신 있게 분류하고(2014년)[210] 정확하게 분류된 이미지의 미세한 동요를 잘못 분류하는(2013년)[211] 등 문제가 있는 [209]행동을 보여준다.Goertzel은 이러한 동작이 내부 표현상의 한계로 인해 발생하며 이러한 한계로 인해 이기종 멀티 컴포넌트 인공지능(AGI)[209] 아키텍처로의 통합이 저해될 수 있다고 가정했다.이러한 문제는 관찰된 실체와 [209]사건의 이미지 문법[212] 분해와 동일한 상태를 내부적으로 형성하는 딥 러닝 아키텍처에 의해 해결될 수 있다.교육 데이터에서 문법(시각적 또는 언어적)을 배우는 은 시스템을 문법적 생산 규칙 측면에서 개념에 따라 작동하며 인간 언어[213] 습득과 인공지능(AI)[214]의 기본 목표인 상식적인 추론에 제한하는 것과 같다.

딥러닝이 연구실에서 세계로 이동함에 따라, 연구와 경험은 인공 신경망이 해킹과 [215]기만에 취약하다는 것을 보여준다.이러한 시스템이 기능하기 위해 사용하는 패턴을 식별함으로써 공격자는 ANN이 인간 관찰자가 인식하지 못하는 일치 항목을 발견하도록 ANN에 대한 입력을 수정할 수 있습니다.예를 들어 공격자는 이미지가 검색 대상과 전혀 다른 사람으로 보여도 ANN이 일치하는 것을 찾도록 이미지에 미묘한 변경을 가할 수 있습니다.이러한 조작을 「애드버서리 공격」[216]이라고 부릅니다.

2016년 연구진은 시행착오 방식으로 이미지를 조작하고, 다른 사람의 초점을 식별하여 이를 속이는 이미지를 생성하기 위해 하나의 ANN을 사용했다.수정된 이미지들은 인간의 눈에도 다르지 않아 보였다.또 다른 그룹은 조작된 이미지의 출력물이 성공적으로 이미지 분류 시스템을 [217]속였다는 것을 보여주었다.한 가지 방어는 리버스 이미지 검색입니다.이 검색에서는 TinEye 등의 사이트에 가짜 이미지가 전송되어 다른 인스턴스가 검색됩니다.개선사항은 이미지의 일부만 사용하여 검색하여 [218]해당 조각을 가져온 이미지를 식별하는 것입니다.

또 다른 그룹은 특정 사이키델릭 안경이 얼굴 인식 시스템을 속여 평범한 사람들이 유명인이라고 생각하게 하고, 잠재적으로 한 사람이 다른 사람을 흉내낼 수 있게 한다는 것을 보여주었다.2017년에 연구원들은 정지 표지판에 스티커를 붙였고 ANN이 [217]스티커를 잘못 분류하게 했다.

그러나 ANN은 기만 시도를 탐지하도록 더욱 훈련될 수 있으며, 공격자와 방어자는 이미 멀웨어 방어 산업을 정의하고 있는 것과 유사한 군비 경쟁을 벌일 수 있습니다.ANN은 [217]ANN 기반의 악성 프로그램 대책 소프트웨어를 물리치도록 훈련을 받아 왔습니다.이 소프트웨어는 유전자 알고리즘에 의해 지속적으로 변경되어 타깃을 손상시키는 능력을 유지하면서 악성 프로그램을 속일 때까지 반복적으로 공격합니다.

2016년에 또 다른 그룹은 특정 소리가 구글 나우 음성 명령 시스템을 특정 웹 주소를 열게 할 수 있다는 것을 입증하고 이것이 "추가 공격의 디딤돌이 될 수 있다"(예: 드라이브 바이 멀웨어를 호스팅하는 웹 페이지 열기)고 가정했다."[217]

"데이터 중독"에서는 기계 학습 시스템의 훈련 세트에 잘못된 데이터가 지속적으로 밀반입되어 [217]숙달되는 것을 방지합니다.

전자레인지에 대한 의존도

대부분의 딥 러닝 시스템은 인간이 생성하거나 주석을 다는 훈련 및 검증 데이터에 의존합니다.미디어 철학에서는 저임금 클릭워크(Amazon Mechanical Turk 등)가 이러한 목적을 위해 정기적으로 배치될 뿐만 아니라 종종 [219]인식되지 않는 암묵적인 형태의 인간 전자레인지도 주장되어 왔다.철학자 Rainer Muhlhoff는 훈련 데이터를 생성하기 위해 인간 전자레인지의 5종류의 "기계적 캡처"를 구분합니다. (1) 게임화(게임 흐름에 주석 또는 계산 태스크를 포함), (2) "트래핑 및 추적"(예: 이미지 인식 또는 구글 검색 결과 페이지의 클릭 추적을 위한 캡차), (3).사회적 동기(예: 라벨이 부착된 얼굴 이미지를 얻기 위해 페이스북에 얼굴태그를 부착함), (4) 정보 마이닝(예: 활동 추적기와 같은 계량화된 자기 장치를 활용함) 및 (5) 클릭워크.[219]

Muhlhoff는 Facebook의 얼굴 인식 시스템과 같은 딥 러닝의 대부분의 상용 최종 사용자 애플리케이션에서는 ANN이 한 번 훈련되면 훈련 데이터의 필요성이 중단되지 않는다고 주장합니다.오히려, ANN을 지속적으로 보정하고 업데이트하기 위해 인간이 생성한 검증 데이터에 대한 지속적인 수요가 있다.이를 위해 페이스북은 사용자가 이미지에서 자동으로 인식되면 알림을 받는 기능을 도입했다.그들은 이미지에 공개적으로 라벨을 붙이고 싶지 않은지 선택할 수도 있고,[220] 사진 속의 그들이 아니라고 페이스북에 말할 수도 있다.이 사용자 인터페이스는 네트워크를 실시간으로 훈련시키기 위해 "검증 [219]데이터의 지속적인 스트림"을 생성하는 메커니즘입니다.Muhlhoff가 주장하듯이, 훈련 및 검증 데이터를 생성하기 위한 인간 사용자의 참여는 딥 러닝의 대부분의 상용 최종 사용자 애플리케이션에서 매우 일반적인 일이기 때문에 이러한 시스템은 "인공지능"[219]이라고 불릴 수 있다.

「」도 .

  1. ^ Schulz, Hannes; Behnke, Sven (1 November 2012). "Deep Learning". KI - Künstliche Intelligenz. 26 (4): 357–363. doi:10.1007/s13218-012-0198-z. ISSN 1610-1987. S2CID 220523562.
  2. ^ Bengio, Yoshua; LeCun, Yann; Hinton, Geoffrey (2015). "Deep Learning". Nature. 521 (7553): 436–444. Bibcode:2015Natur.521..436L. doi:10.1038/nature14539. PMID 26017442. S2CID 3074096.
  3. ^ a b Ciresan, D.; Meier, U.; Schmidhuber, J. (2012). "Multi-column deep neural networks for image classification". 2012 IEEE Conference on Computer Vision and Pattern Recognition. pp. 3642–3649. arXiv:1202.2745. doi:10.1109/cvpr.2012.6248110. ISBN 978-1-4673-1228-8. S2CID 2161592.
  4. ^ a b Krizhevsky, Alex; Sutskever, Ilya; Hinton, Geoffry (2012). "ImageNet Classification with Deep Convolutional Neural Networks" (PDF). NIPS 2012: Neural Information Processing Systems, Lake Tahoe, Nevada. Archived (PDF) from the original on 2017-01-10. Retrieved 2017-05-24.
  5. ^ "Google's AlphaGo AI wins three-match series against the world's best Go player". TechCrunch. 25 May 2017. Archived from the original on 17 June 2018. Retrieved 17 June 2018.
  6. ^ Marblestone, Adam H.; Wayne, Greg; Kording, Konrad P. (2016). "Toward an Integration of Deep Learning and Neuroscience". Frontiers in Computational Neuroscience. 10: 94. arXiv:1606.03813. Bibcode:2016arXiv160603813M. doi:10.3389/fncom.2016.00094. PMC 5021692. PMID 27683554. S2CID 1994856.
  7. ^ Bengio, Yoshua; Lee, Dong-Hyun; Bornschein, Jorg; Mesnard, Thomas; Lin, Zhouhan (13 February 2015). "Towards Biologically Plausible Deep Learning". arXiv:1502.04156 [cs.LG].
  8. ^ a b c d e f Deng, L.; Yu, D. (2014). "Deep Learning: Methods and Applications" (PDF). Foundations and Trends in Signal Processing. 7 (3–4): 1–199. doi:10.1561/2000000039. Archived (PDF) from the original on 2016-03-14. Retrieved 2014-10-18.
  9. ^ a b c d Bengio, Yoshua (2009). "Learning Deep Architectures for AI" (PDF). Foundations and Trends in Machine Learning. 2 (1): 1–127. CiteSeerX 10.1.1.701.9550. doi:10.1561/2200000006. Archived from the original (PDF) on 4 March 2016. Retrieved 3 September 2015.
  10. ^ a b c d e Bengio, Y.; Courville, A.; Vincent, P. (2013). "Representation Learning: A Review and New Perspectives". IEEE Transactions on Pattern Analysis and Machine Intelligence. 35 (8): 1798–1828. arXiv:1206.5538. doi:10.1109/tpami.2013.50. PMID 23787338. S2CID 393948.
  11. ^ LeCun, Yann; Bengio, Yoshua; Hinton, Geoffrey (28 May 2015). "Deep learning". Nature. 521 (7553): 436–444. Bibcode:2015Natur.521..436L. doi:10.1038/nature14539. PMID 26017442. S2CID 3074096.
  12. ^ a b c d e f g Schmidhuber, J. (2015). "Deep Learning in Neural Networks: An Overview". Neural Networks. 61: 85–117. arXiv:1404.7828. doi:10.1016/j.neunet.2014.09.003. PMID 25462637. S2CID 11715509.
  13. ^ Shigeki, Sugiyama (12 April 2019). Human Behavior and Another Kind in Consciousness: Emerging Research and Opportunities: Emerging Research and Opportunities. IGI Global. ISBN 978-1-5225-8218-2.
  14. ^ Bengio, Yoshua; Lamblin, Pascal; Popovici, Dan; Larochelle, Hugo (2007). Greedy layer-wise training of deep networks (PDF). Advances in neural information processing systems. pp. 153–160. Archived (PDF) from the original on 2019-10-20. Retrieved 2019-10-06.
  15. ^ a b Hinton, G.E. (2009). "Deep belief networks". Scholarpedia. 4 (5): 5947. Bibcode:2009SchpJ...4.5947H. doi:10.4249/scholarpedia.5947.
  16. ^ a b c Cybenko (1989). "Approximations by superpositions of sigmoidal functions" (PDF). Mathematics of Control, Signals, and Systems. 2 (4): 303–314. doi:10.1007/bf02551274. S2CID 3958369. Archived from the original (PDF) on 10 October 2015.
  17. ^ a b c Hornik, Kurt (1991). "Approximation Capabilities of Multilayer Feedforward Networks". Neural Networks. 4 (2): 251–257. doi:10.1016/0893-6080(91)90009-t.
  18. ^ a b Haykin, Simon S. (1999). Neural Networks: A Comprehensive Foundation. Prentice Hall. ISBN 978-0-13-273350-2.
  19. ^ a b Hassoun, Mohamad H. (1995). Fundamentals of Artificial Neural Networks. MIT Press. p. 48. ISBN 978-0-262-08239-6.
  20. ^ a b Lu, Z., Pu, H., Wang, F., Hu, Z. 및 Wang, L. (2017).뉴럴 네트워크의 표현력: Wide Archived 2019-02-13 Wayback Machine에서 본 전경.신경정보처리시스템, 6231-6239
  21. ^ a b c d Murphy, Kevin P. (24 August 2012). Machine Learning: A Probabilistic Perspective. MIT Press. ISBN 978-0-262-01802-9.
  22. ^ Sonoda, Sho; Murata, Noboru (2017). "Neural network with unbounded activation functions is universal approximator". Applied and Computational Harmonic Analysis. 43 (2): 233–268. arXiv:1505.03654. doi:10.1016/j.acha.2015.12.005. S2CID 12149203.
  23. ^ Bishop, Christopher M. (2006). Pattern Recognition and Machine Learning (PDF). Springer. ISBN 978-0-387-31073-2. Archived (PDF) from the original on 2017-01-11. Retrieved 2017-08-06.
  24. ^ Tappert, Charles C. (2019). "Who Is the Father of Deep Learning?". 2019 International Conference on Computational Science and Computational Intelligence (CSCI). IEEE. pp. 343–348. doi:10.1109/CSCI49370.2019.00067. ISBN 978-1-7281-5584-5. S2CID 216043128. Retrieved 31 May 2021.
  25. ^ Ivakhnenko, A. G.; Lapa, V. G. (1967). Cybernetics and Forecasting Techniques. American Elsevier Publishing Co. ISBN 978-0-444-00020-0.
  26. ^ a b Ivakhnenko, Alexey (1971). "Polynomial theory of complex systems" (PDF). IEEE Transactions on Systems, Man and Cybernetics. SMC-1 (4): 364–378. doi:10.1109/TSMC.1971.4308320. Archived (PDF) from the original on 2017-08-29. Retrieved 2019-11-05.
  27. ^ Fukushima, K. (1980). "Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position". Biol. Cybern. 36 (4): 193–202. doi:10.1007/bf00344251. PMID 7370364. S2CID 206775608.
  28. ^ Rina Dechter(1986년).제약 만족 문제를 검색하면서 학습합니다.캘리포니아 대학교 컴퓨터 과학부 인지 시스템 연구소2016-04-19 Wayback Machine 온라인 아카이브
  29. ^ Naum N.아이젠버그, Joos P.L. Vandewalle(2000)., 이 、 학 、 및 、 램 、 용 、 램램 。Springer Science & Business 디 spring 。
  30. ^ 함께 진화하는 반복 뉴런은 깊은 기억력 POMDP를 학습합니다.Proc. GECCO, Washington D. C., © 1795-1802, ACM Press, New York, NY, USA, 2005.
  31. ^ Seppo Linnainma(1970).알고리즘의 누적 반올림 오차를 로컬 반올림 오차의 테일러 확장으로 나타냅니다.석사 논문(핀란드어), University.헬싱키, 6-7
  32. ^ Griewank, Andreas (2012). "Who Invented the Reverse Mode of Differentiation?" (PDF). Documenta Mathematica (Extra Volume ISMP): 389–400. Archived from the original (PDF) on 21 July 2017. Retrieved 11 June 2017.
  33. ^ Werbos, P. (1974). "Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences". Harvard University. Retrieved 12 June 2017.
  34. ^ Werbos, Paul (1982). "Applications of advances in nonlinear sensitivity analysis" (PDF). System modeling and optimization. Springer. pp. 762–770.
  35. ^ a b LeKun 등, "수기 우편 번호 인식에 적용되는 역 전파", 신경 계산, 1, 페이지 541–551, 1989.
  36. ^ de Carvalho, Andre C. L. F.; Fairhurst, Mike C.; Bisset, David (8 August 1994). "An integrated Boolean neural network for pattern classification". Pattern Recognition Letters. 15 (8): 807–813. Bibcode:1994PaReL..15..807D. doi:10.1016/0167-8655(94)90009-4.
  37. ^ Hinton, Geoffrey E.; Dayan, Peter; Frey, Brendan J.; Neal, Radford (26 May 1995). "The wake-sleep algorithm for unsupervised neural networks". Science. 268 (5214): 1158–1161. Bibcode:1995Sci...268.1158H. doi:10.1126/science.7761831. PMID 7761831.
  38. ^ a b S. Hochreiter, "Untersuchungen zu dynamischen neuronalen Netzen Archived at the Wayback Machine 2015-03-06," 졸업장 논문. 연구소 f. Informatik, Technische University. 뮌헨. 어드바이저: J. Schmidhuber, 1991.
  39. ^ Hochreiter, S.; et al. (15 January 2001). "Gradient flow in recurrent nets: the difficulty of learning long-term dependencies". In Kolen, John F.; Kremer, Stefan C. (eds.). A Field Guide to Dynamical Recurrent Networks. John Wiley & Sons. ISBN 978-0-7803-5369-5.
  40. ^ Behnke, Sven (2003). Hierarchical Neural Networks for Image Interpretation. Lecture Notes in Computer Science. Vol. 2766. Springer. doi:10.1007/b11963. ISBN 3-540-40722-7. S2CID 1304548.
  41. ^ Morgan, Nelson; Bourlard, Hervé; Renals, Steve; Cohen, Michael; Franco, Horacio (1 August 1993). "Hybrid neural network/hidden markov model systems for continuous speech recognition". International Journal of Pattern Recognition and Artificial Intelligence. 07 (4): 899–916. doi:10.1142/s0218001493000455. ISSN 0218-0014.
  42. ^ Robinson, T. (1992). "A real-time recurrent error propagation network word recognition system". ICASSP. Icassp'92: 617–620. ISBN 9780780305328. Archived from the original on 2021-05-09. Retrieved 2017-06-12.
  43. ^ Waibel, A.; Hanazawa, T.; Hinton, G.; Shikano, K.; Lang, K. J. (March 1989). "Phoneme recognition using time-delay neural networks" (PDF). IEEE Transactions on Acoustics, Speech, and Signal Processing. 37 (3): 328–339. doi:10.1109/29.21701. hdl:10338.dmlcz/135496. ISSN 0096-3518. Archived (PDF) from the original on 2021-04-27. Retrieved 2019-09-24.
  44. ^ Baker, J.; Deng, Li; Glass, Jim; Khudanpur, S.; Lee, C.-H.; Morgan, N.; O'Shaughnessy, D. (2009). "Research Developments and Directions in Speech Recognition and Understanding, Part 1". IEEE Signal Processing Magazine. 26 (3): 75–80. Bibcode:2009ISPM...26...75B. doi:10.1109/msp.2009.932166. hdl:1721.1/51891. S2CID 357467.
  45. ^ Bengio, Y. (1991). "Artificial Neural Networks and their Application to Speech/Sequence Recognition". McGill University Ph.D. thesis. Archived from the original on 2021-05-09. Retrieved 2017-06-12.
  46. ^ Deng, L.; Hassanein, K.; Elmasry, M. (1994). "Analysis of correlation structure for a neural predictive model with applications to speech recognition". Neural Networks. 7 (2): 331–339. doi:10.1016/0893-6080(94)90027-2.
  47. ^ Doddington, G.; Przybocki, M.; Martin, A.; Reynolds, D. (2000). "The NIST speaker recognition evaluation ± Overview, methodology, systems, results, perspective". Speech Communication. 31 (2): 225–254. doi:10.1016/S0167-6393(99)00080-1.
  48. ^ a b Heck, L.; Konig, Y.; Sonmez, M.; Weintraub, M. (2000). "Robustness to Telephone Handset Distortion in Speaker Recognition by Discriminative Feature Design". Speech Communication. 31 (2): 181–192. doi:10.1016/s0167-6393(99)00077-1.
  49. ^ "Acoustic Modeling with Deep Neural Networks Using Raw Time Signal for LVCSR (PDF Download Available)". ResearchGate. Archived from the original on 9 May 2021. Retrieved 14 June 2017.
  50. ^ a b c Hochreiter, Sepp; Schmidhuber, Jürgen (1 November 1997). "Long Short-Term Memory". Neural Computation. 9 (8): 1735–1780. doi:10.1162/neco.1997.9.8.1735. ISSN 0899-7667. PMID 9377276. S2CID 1915014.
  51. ^ a b Graves, Alex; Eck, Douglas; Beringer, Nicole; Schmidhuber, Jürgen (2003). "Biologically Plausible Speech Recognition with LSTM Neural Nets" (PDF). 1st Intl. Workshop on Biologically Inspired Approaches to Advanced Information Technology, Bio-ADIT 2004, Lausanne, Switzerland. pp. 175–184. Archived (PDF) from the original on 2021-05-09. Retrieved 2016-04-09.
  52. ^ a b Graves, Alex; Fernández, Santiago; Gomez, Faustino (2006). "Connectionist temporal classification: Labelling unsegmented sequence data with recurrent neural networks". Proceedings of the International Conference on Machine Learning, ICML 2006: 369–376. CiteSeerX 10.1.1.75.6306.
  53. ^ 산티아고 페르난데스, 알렉스 그레이브스, 위르겐 슈미트후버(2007).Wayback Machine에서 Archived 2018-11-18에 대한 차별적 키워드 스팟에 대한 반복적 뉴럴 네트워크 적용.ICANN의 절차(2), 페이지 220–229.
  54. ^ a b Sak, Haşim; Senior, Andrew; Rao, Kanishka; Beaufays, Françoise; Schalkwyk, Johan (September 2015). "Google voice search: faster and more accurate". Archived from the original on 2016-03-09. Retrieved 2016-04-09.
  55. ^ Hinton, Geoffrey E. (1 October 2007). "Learning multiple layers of representation". Trends in Cognitive Sciences. 11 (10): 428–434. doi:10.1016/j.tics.2007.09.004. ISSN 1364-6613. PMID 17921042. S2CID 15066318. Archived from the original on 11 October 2013. Retrieved 12 June 2017.
  56. ^ Hinton, G. E.; Osindero, S.; Teh, Y. W. (2006). "A Fast Learning Algorithm for Deep Belief Nets" (PDF). Neural Computation. 18 (7): 1527–1554. doi:10.1162/neco.2006.18.7.1527. PMID 16764513. S2CID 2309950. Archived (PDF) from the original on 2015-12-23. Retrieved 2011-07-20.
  57. ^ Bengio, Yoshua (2012). "Practical recommendations for gradient-based training of deep architectures". arXiv:1206.5533 [cs.LG].
  58. ^ G. E. 힌튼, "Wayback Machine에서 여러 층표현배우다 2018-05-22", Trends in Cognitive Science, 11, 페이지 428–434, 2007.
  59. ^ a b c Hinton, G.; Deng, L.; Yu, D.; Dahl, G.; Mohamed, A.; Jaitly, N.; Senior, A.; Vanhoucke, V.; Nguyen, P.; Sainath, T.; Kingsbury, B. (2012). "Deep Neural Networks for Acoustic Modeling in Speech Recognition: The Shared Views of Four Research Groups". IEEE Signal Processing Magazine. 29 (6): 82–97. Bibcode:2012ISPM...29...82H. doi:10.1109/msp.2012.2205597. S2CID 206485943.
  60. ^ Singh, Premjeet; Saha, Goutam; Sahidullah, Md (2021). "Non-linear frequency warping using constant-Q transformation for speech emotion recognition". 2021 International Conference on Computer Communication and Informatics (ICCCI). pp. 1–4. arXiv:2102.04029. doi:10.1109/ICCCI50826.2021.9402569. ISBN 978-1-7281-5875-4. S2CID 231846518.
  61. ^ Sak, Hasim; Senior, Andrew; Beaufays, Francoise (2014). "Long Short-Term Memory recurrent neural network architectures for large scale acoustic modeling" (PDF). Archived from the original (PDF) on 24 April 2018.
  62. ^ Li, Xiangang; Wu, Xihong (2014). "Constructing Long Short-Term Memory based Deep Recurrent Neural Networks for Large Vocabulary Speech Recognition". arXiv:1410.4281 [cs.CL].
  63. ^ Zen, Heiga; Sak, Hasim (2015). "Unidirectional Long Short-Term Memory Recurrent Neural Network with Recurrent Output Layer for Low-Latency Speech Synthesis" (PDF). Google.com. ICASSP. pp. 4470–4474. Archived (PDF) from the original on 2021-05-09. Retrieved 2017-06-13.
  64. ^ 얀 레쿤(2016).Deep Learning Online 관련 슬라이드 2016-04-23 Wayback Machine에 보관
  65. ^ a b c Deng, L.; Hinton, G.; Kingsbury, B. (2013). "New types of deep neural network learning for speech recognition and related applications: An overview (ICASSP)" (PDF). Archived (PDF) from the original on 2017-09-26. Retrieved 2017-06-12. {{cite journal}}은 Cite를 필요로 합니다. journal=(도움말)
  66. ^ a b c Yu, D.; Deng, L. (2014). Automatic Speech Recognition: A Deep Learning Approach (Publisher: Springer). ISBN 978-1-4471-5779-3.
  67. ^ "Deng receives prestigious IEEE Technical Achievement Award - Microsoft Research". Microsoft Research. 3 December 2015. Archived from the original on 16 March 2018. Retrieved 16 March 2018.
  68. ^ a b Li, Deng (September 2014). "Keynote talk: 'Achievements and Challenges of Deep Learning - From Speech Analysis and Recognition To Language and Multimodal Processing'". Interspeech. Archived from the original on 2017-09-26. Retrieved 2017-06-12.
  69. ^ Yu, D.; Deng, L. (2010). "Roles of Pre-Training and Fine-Tuning in Context-Dependent DBN-HMMs for Real-World Speech Recognition". NIPS Workshop on Deep Learning and Unsupervised Feature Learning. Archived from the original on 2017-10-12. Retrieved 2017-06-14.
  70. ^ Seide, F.; Li, G.; Yu, D. (2011). "Conversational speech transcription using context-dependent deep neural networks". Interspeech: 437–440. doi:10.21437/Interspeech.2011-169. Archived from the original on 2017-10-12. Retrieved 2017-06-14.
  71. ^ Deng, Li; Li, Jinyu; Huang, Jui-Ting; Yao, Kaisheng; Yu, Dong; Seide, Frank; Seltzer, Mike; Zweig, Geoff; He, Xiaodong (1 May 2013). "Recent Advances in Deep Learning for Speech Research at Microsoft". Microsoft Research. Archived from the original on 12 October 2017. Retrieved 14 June 2017.
  72. ^ "Nvidia CEO bets big on deep learning and VR". Venture Beat. 5 April 2016. Archived from the original on 25 November 2020. Retrieved 21 April 2017.
  73. ^ "From not working to neural networking". The Economist. Archived from the original on 2016-12-31. Retrieved 2017-08-26.
  74. ^ a b Oh, K.-S.; Jung, K. (2004). "GPU implementation of neural networks". Pattern Recognition. 37 (6): 1311–1314. Bibcode:2004PatRe..37.1311O. doi:10.1016/j.patcog.2004.01.013.
  75. ^ "Wayback Machine에서 2021-05-09년에 아카이브된 GPU의 딥 러닝 최적화를 위한 기술 조사", S. Mittal 및 S.Vaishay, Journal of Systems Architecture, 2019년
  76. ^ a b Chellapilla, Kumar; Puri, Sidd; Simard, Patrice (2006), High performance convolutional neural networks for document processing, archived from the original on 2020-05-18, retrieved 2021-02-14
  77. ^ Cireşan, Dan Claudiu; Meier, Ueli; Gambardella, Luca Maria; Schmidhuber, Jürgen (21 September 2010). "Deep, Big, Simple Neural Nets for Handwritten Digit Recognition". Neural Computation. 22 (12): 3207–3220. arXiv:1003.0358. doi:10.1162/neco_a_00052. ISSN 0899-7667. PMID 20858131. S2CID 1918673.
  78. ^ Raina, Rajat; Madhavan, Anand; Ng, Andrew Y. (2009). "Large-scale Deep Unsupervised Learning Using Graphics Processors". Proceedings of the 26th Annual International Conference on Machine Learning. ICML '09. New York, NY, USA: ACM: 873–880. CiteSeerX 10.1.1.154.372. doi:10.1145/1553374.1553486. ISBN 9781605585161. S2CID 392458.
  79. ^ Sze, Vivienne; Chen, Yu-Hsin; Yang, Tien-Ju; Emer, Joel (2017). "Efficient Processing of Deep Neural Networks: A Tutorial and Survey". arXiv:1703.09039 [cs.CV].
  80. ^ a b "Merck Molecular Activity Challenge". kaggle.com. Archived from the original on 2020-07-16. Retrieved 2020-07-16.
  81. ^ a b "Multi-task Neural Networks for QSAR Predictions Data Science Association". www.datascienceassn.org. Archived from the original on 30 April 2017. Retrieved 14 June 2017.
  82. ^ a b 의 독성학 '21세기 데이터 챌린지
  83. ^ a b "NCATS Announces Tox21 Data Challenge Winners". Archived from the original on 2015-09-08. Retrieved 2015-03-05.
  84. ^ a b "Archived copy". Archived from the original on 28 February 2015. Retrieved 5 March 2015.{{cite web}}: CS1 maint: 제목으로 아카이브된 복사(링크)
  85. ^ Ciresan, D. C.; Meier, U.; Masci, J.; Gambardella, L. M.; Schmidhuber, J. (2011). "Flexible, High Performance Convolutional Neural Networks for Image Classification" (PDF). International Joint Conference on Artificial Intelligence. doi:10.5591/978-1-57735-516-8/ijcai11-210. Archived (PDF) from the original on 2014-09-29. Retrieved 2017-06-13.
  86. ^ Ciresan, Dan; Giusti, Alessandro; Gambardella, Luca M.; Schmidhuber, Juergen (2012). Pereira, F.; Burges, C. J. C.; Bottou, L.; Weinberger, K. Q. (eds.). Advances in Neural Information Processing Systems 25 (PDF). Curran Associates, Inc. pp. 2843–2851. Archived (PDF) from the original on 2017-08-09. Retrieved 2017-06-13.
  87. ^ Ciresan, D.; Giusti, A.; Gambardella, L.M.; Schmidhuber, J. (2013). "Mitosis Detection in Breast Cancer Histology Images using Deep Neural Networks". Proceedings MICCAI. Lecture Notes in Computer Science. 7908 (Pt 2): 411–418. doi:10.1007/978-3-642-40763-5_51. ISBN 978-3-642-38708-1. PMID 24579167.
  88. ^ 를 클릭합니다Vinyals, Oriol; Toshev, Alexander; Bengio, Samy; Erhan, Dumitru (2014). "Show and Tell: A Neural Image Caption Generator". arXiv:1411.4555 [cs.CV]..
  89. ^ 를 클릭합니다Fang, Hao; Gupta, Saurabh; Iandola, Forrest; Srivastava, Rupesh; Deng, Li; Dollár, Piotr; Gao, Jianfeng; He, Xiaodong; Mitchell, Margaret; Platt, John C; Lawrence Zitnick, C; Zweig, Geoffrey (2014). "From Captions to Visual Concepts and Back". arXiv:1411.4952 [cs.CV]..
  90. ^ 를 클릭합니다Kiros, Ryan; Salakhutdinov, Ruslan; Zemel, Richard S (2014). "Unifying Visual-Semantic Embeddings with Multimodal Neural Language Models". arXiv:1411.2539 [cs.LG]..
  91. ^ "Why Deep Learning Is Suddenly Changing Your Life". Fortune. 2016. Archived from the original on 14 April 2018. Retrieved 13 April 2018.
  92. ^ Silver, David; Huang, Aja; Maddison, Chris J.; Guez, Arthur; Sifre, Laurent; Driessche, George van den; Schrittwieser, Julian; Antonoglou, Ioannis; Panneershelvam, Veda (January 2016). "Mastering the game of Go with deep neural networks and tree search". Nature. 529 (7587): 484–489. Bibcode:2016Natur.529..484S. doi:10.1038/nature16961. ISSN 1476-4687. PMID 26819042. S2CID 515925.
  93. ^ A Guide to Deep Learning and Neural Networks, archived from the original on 2020-11-02, retrieved 2020-11-16
  94. ^ Szegedy, Christian; Toshev, Alexander; Erhan, Dumitru (2013). "Deep neural networks for object detection". Advances in Neural Information Processing Systems: 2553–2561. Archived from the original on 2017-06-29. Retrieved 2017-06-13.
  95. ^ Rolnick, David; Tegmark, Max (2018). "The power of deeper networks for expressing natural functions". International Conference on Learning Representations. ICLR 2018. Archived from the original on 2021-01-07. Retrieved 2021-01-05.
  96. ^ Hof, Robert D. "Is Artificial Intelligence Finally Coming into Its Own?". MIT Technology Review. Archived from the original on 31 March 2019. Retrieved 10 July 2018.
  97. ^ a b Gers, Felix A.; Schmidhuber, Jürgen (2001). "LSTM Recurrent Networks Learn Simple Context Free and Context Sensitive Languages". IEEE Transactions on Neural Networks. 12 (6): 1333–1340. doi:10.1109/72.963769. PMID 18249962. Archived from the original on 2020-01-26. Retrieved 2020-02-25.
  98. ^ a b c Sutskever, L.; Vinyals, O.; Le, Q. (2014). "Sequence to Sequence Learning with Neural Networks" (PDF). Proc. NIPS. arXiv:1409.3215. Bibcode:2014arXiv1409.3215S. Archived (PDF) from the original on 2021-05-09. Retrieved 2017-06-13.
  99. ^ a b Jozefowicz, Rafal; Vinyals, Oriol; Schuster, Mike; Shazeer, Noam; Wu, Yonghui (2016). "Exploring the Limits of Language Modeling". arXiv:1602.02410 [cs.CL].
  100. ^ a b Gillick, Dan; Brunk, Cliff; Vinyals, Oriol; Subramanya, Amarnag (2015). "Multilingual Language Processing from Bytes". arXiv:1512.00103 [cs.CL].
  101. ^ Mikolov, T.; et al. (2010). "Recurrent neural network based language model" (PDF). Interspeech: 1045–1048. doi:10.21437/Interspeech.2010-343. Archived (PDF) from the original on 2017-05-16. Retrieved 2017-06-13.
  102. ^ a b "Learning Precise Timing with LSTM Recurrent Networks (PDF Download Available)". ResearchGate. Archived from the original on 9 May 2021. Retrieved 13 June 2017.
  103. ^ LeCun, Y.; et al. (1998). "Gradient-based learning applied to document recognition". Proceedings of the IEEE. 86 (11): 2278–2324. doi:10.1109/5.726791. S2CID 14542261.
  104. ^ Sainath, Tara N.; Mohamed, Abdel-Rahman; Kingsbury, Brian; Ramabhadran, Bhuvana (2013). "Deep convolutional neural networks for LVCSR". 2013 IEEE International Conference on Acoustics, Speech and Signal Processing. pp. 8614–8618. doi:10.1109/icassp.2013.6639347. ISBN 978-1-4799-0356-6. S2CID 13816461.
  105. ^ Bengio, Yoshua; Boulanger-Lewandowski, Nicolas; Pascanu, Razvan (2013). "Advances in optimizing recurrent networks". 2013 IEEE International Conference on Acoustics, Speech and Signal Processing. pp. 8624–8628. arXiv:1212.0901. CiteSeerX 10.1.1.752.9151. doi:10.1109/icassp.2013.6639349. ISBN 978-1-4799-0356-6. S2CID 12485056.
  106. ^ Dahl, G.; et al. (2013). "Improving DNNs for LVCSR using rectified linear units and dropout" (PDF). ICASSP. Archived (PDF) from the original on 2017-08-12. Retrieved 2017-06-13.
  107. ^ "Data Augmentation - deeplearning.ai Coursera". Coursera. Archived from the original on 1 December 2017. Retrieved 30 November 2017.
  108. ^ Hinton, G. E. (2010). "A Practical Guide to Training Restricted Boltzmann Machines". Tech. Rep. UTML TR 2010-003. Archived from the original on 2021-05-09. Retrieved 2017-06-13.
  109. ^ You, Yang; Buluç, Aydın; Demmel, James (November 2017). "Scaling deep learning on GPU and knights landing clusters". Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis on - SC '17. SC '17, ACM. pp. 1–12. doi:10.1145/3126908.3126912. ISBN 9781450351140. S2CID 8869270. Archived from the original on 29 July 2020. Retrieved 5 March 2018.
  110. ^ Viebke, André; Memeti, Suejb; Pllana, Sabri; Abraham, Ajith (2019). "CHAOS: a parallelization scheme for training convolutional neural networks on Intel Xeon Phi". The Journal of Supercomputing. 75: 197–227. arXiv:1702.07908. Bibcode:2017arXiv170207908V. doi:10.1007/s11227-017-1994-x. S2CID 14135321.
  111. ^ 팅친 등「RLS에 근거한 CMAC의 학습 알고리즘」19.1(2004) : 49-61.
  112. ^ 팅친 등"연속 CMAC-QRLS 및 그 수축기 어레이웨이백 머신에 2018-11-18 아카이브되었습니다."Neural Processing Letters 22.1 (2005) : 1 ~16 。
  113. ^ Research, AI (23 October 2015). "Deep Neural Networks for Acoustic Modeling in Speech Recognition". airesearch.com. Archived from the original on 1 February 2016. Retrieved 23 October 2015.
  114. ^ "GPUs Continue to Dominate the AI Accelerator Market for Now". InformationWeek. December 2019. Archived from the original on 10 June 2020. Retrieved 11 June 2020.
  115. ^ Ray, Tiernan (2019). "AI is changing the entire nature of computation". ZDNet. Archived from the original on 25 May 2020. Retrieved 11 June 2020.
  116. ^ "AI and Compute". OpenAI. 16 May 2018. Archived from the original on 17 June 2020. Retrieved 11 June 2020.
  117. ^ "HUAWEI Reveals the Future of Mobile AI at IFA 2017 HUAWEI Latest News HUAWEI Global". consumer.huawei.com.
  118. ^ P, JouppiNorman; YoungCliff; PatilNishant; PattersonDavid; AgrawalGaurav; BajwaRaminder; BatesSarah; BhatiaSuresh; BodenNan; BorchersAl; BoyleRick (2017-06-24). "In-Datacenter Performance Analysis of a Tensor Processing Unit". ACM SIGARCH Computer Architecture News. 45 (2): 1–12. doi:10.1145/3140659.3080246.
  119. ^ Woodie, Alex (2021-11-01). "Cerebras Hits the Accelerator for Deep Learning Workloads". Datanami. Retrieved 2022-08-03.
  120. ^ "Cerebras launches new AI supercomputing processor with 2.6 trillion transistors". VentureBeat. 2021-04-20. Retrieved 2022-08-03.
  121. ^ Marega, Guilherme Migliato; Zhao, Yanfei; Avsar, Ahmet; Wang, Zhenyu; Tripati, Mukesh; Radenovic, Aleksandra; Kis, Anras (2020). "Logic-in-memory based on an atomically thin semiconductor". Nature. 587 (2): 72–77. Bibcode:2020Natur.587...72M. doi:10.1038/s41586-020-2861-0. PMC 7116757. PMID 33149289.
  122. ^ a b c Feldmann, J.; Youngblood, N.; Karpov, M.; et al. (2021). "Parallel convolutional processing using an integrated photonic tensor". Nature. 589 (2): 52–58. arXiv:2002.00281. doi:10.1038/s41586-020-03070-1. PMID 33408373. S2CID 211010976.
  123. ^ TIMIT 음향-음성 연속 음성 말뭉치 언어 데이터 컨소시엄, 필라델피아.
  124. ^ Robinson, Tony (30 September 1991). "Several Improvements to a Recurrent Error Propagation Network Phone Recognition System". Cambridge University Engineering Department Technical Report. CUED/F-INFENG/TR82. doi:10.13140/RG.2.2.15418.90567.
  125. ^ Abdel-Hamid, O.; et al. (2014). "Convolutional Neural Networks for Speech Recognition". IEEE/ACM Transactions on Audio, Speech, and Language Processing. 22 (10): 1533–1545. doi:10.1109/taslp.2014.2339736. S2CID 206602362. Archived from the original on 2020-09-22. Retrieved 2018-04-20.
  126. ^ Deng, L.; Platt, J. (2014). "Ensemble Deep Learning for Speech Recognition". Proc. Interspeech. S2CID 15641618.
  127. ^ Tóth, Laszló (2015). "Phone Recognition with Hierarchical Convolutional Deep Maxout Networks" (PDF). EURASIP Journal on Audio, Speech, and Music Processing. 2015. doi:10.1186/s13636-015-0068-3. S2CID 217950236. Archived (PDF) from the original on 2020-09-24. Retrieved 2019-04-01.
  128. ^ McMillan, Robert (17 December 2014). "How Skype Used AI to Build Its Amazing New Language Translator WIRED". Wired. Archived from the original on 8 June 2017. Retrieved 14 June 2017.
  129. ^ Hannun, Awni; Case, Carl; Casper, Jared; Catanzaro, Bryan; Diamos, Greg; Elsen, Erich; Prenger, Ryan; Satheesh, Sanjeev; Sengupta, Shubho; Coates, Adam; Ng, Andrew Y (2014). "Deep Speech: Scaling up end-to-end speech recognition". arXiv:1412.5567 [cs.CL].
  130. ^ "MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges". yann.lecun.com. Archived from the original on 2014-01-13. Retrieved 2014-01-28.
  131. ^ Cireşan, Dan; Meier, Ueli; Masci, Jonathan; Schmidhuber, Jürgen (August 2012). "Multi-column deep neural network for traffic sign classification". Neural Networks. Selected Papers from IJCNN 2011. 32: 333–338. CiteSeerX 10.1.1.226.8219. doi:10.1016/j.neunet.2012.02.023. PMID 22386783.
  132. ^ https://arxiv.org/abs/1404.3840 차오차오 루&샤오탕의 인간 수준의 얼굴 인식 초과 3월 17일 회수
  133. ^ Nvidia, "Deep Learning"으로 훈련받은 자동차 컴퓨터 시연(2015년 1월 6일), David Talbot, MIT Technology Review
  134. ^ a b c G. W. Smith; Frederic Fol Leymarie (10 April 2017). "The Machine as Artist: An Introduction". Arts. 6 (4): 5. doi:10.3390/arts6020005.
  135. ^ a b c Blaise Agüera y Arcas (29 September 2017). "Art in the Age of Machine Intelligence". Arts. 6 (4): 18. doi:10.3390/arts6040018.
  136. ^ Goldberg, Yoav; Levy, Omar (2014). "word2vec Explained: Deriving Mikolov et al.'s Negative-Sampling Word-Embedding Method". arXiv:1402.3722 [cs.CL].
  137. ^ a b Socher, Richard; Manning, Christopher. "Deep Learning for NLP" (PDF). Archived (PDF) from the original on 6 July 2014. Retrieved 26 October 2014.
  138. ^ Socher, Richard; Bauer, John; Manning, Christopher; Ng, Andrew (2013). "Parsing With Compositional Vector Grammars" (PDF). Proceedings of the ACL 2013 Conference. Archived (PDF) from the original on 2014-11-27. Retrieved 2014-09-03.
  139. ^ Socher, Richard (2013). "Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank" (PDF). Archived (PDF) from the original on 2016-12-28. Retrieved 2014-09-03. {{cite journal}}:Cite 저널 요구 사항 journal=(도움말)
  140. ^ Shen, Yelong; He, Xiaodong; Gao, Jianfeng; Deng, Li; Mesnil, Gregoire (1 November 2014). "A Latent Semantic Model with Convolutional-Pooling Structure for Information Retrieval". Microsoft Research. Archived from the original on 27 October 2017. Retrieved 14 June 2017.
  141. ^ Huang, Po-Sen; He, Xiaodong; Gao, Jianfeng; Deng, Li; Acero, Alex; Heck, Larry (1 October 2013). "Learning Deep Structured Semantic Models for Web Search using Clickthrough Data". Microsoft Research. Archived from the original on 27 October 2017. Retrieved 14 June 2017.
  142. ^ Mesnil, G.; Dauphin, Y.; Yao, K.; Bengio, Y.; Deng, L.; Hakkani-Tur, D.; He, X.; Heck, L.; Tur, G.; Yu, D.; Zweig, G. (2015). "Using recurrent neural networks for slot filling in spoken language understanding". IEEE Transactions on Audio, Speech, and Language Processing. 23 (3): 530–539. doi:10.1109/taslp.2014.2383614. S2CID 1317136.
  143. ^ a b Gao, Jianfeng; He, Xiaodong; Yih, Scott Wen-tau; Deng, Li (1 June 2014). "Learning Continuous Phrase Representations for Translation Modeling". Microsoft Research. Archived from the original on 27 October 2017. Retrieved 14 June 2017.
  144. ^ Brocardo, Marcelo Luiz; Traore, Issa; Woungang, Isaac; Obaidat, Mohammad S. (2017). "Authorship verification using deep belief network systems". International Journal of Communication Systems. 30 (12): e3259. doi:10.1002/dac.3259. S2CID 40745740.
  145. ^ "Deep Learning for Natural Language Processing: Theory and Practice (CIKM2014 Tutorial) - Microsoft Research". Microsoft Research. Archived from the original on 13 March 2017. Retrieved 14 June 2017.
  146. ^ Turovsky, Barak (15 November 2016). "Found in translation: More accurate, fluent sentences in Google Translate". The Keyword Google Blog. Archived from the original on 7 April 2017. Retrieved 23 March 2017.
  147. ^ a b c d Schuster, Mike; Johnson, Melvin; Thorat, Nikhil (22 November 2016). "Zero-Shot Translation with Google's Multilingual Neural Machine Translation System". Google Research Blog. Archived from the original on 10 July 2017. Retrieved 23 March 2017.
  148. ^ Wu, Yonghui; Schuster, Mike; Chen, Zhifeng; Le, Quoc V; Norouzi, Mohammad; Macherey, Wolfgang; Krikun, Maxim; Cao, Yuan; Gao, Qin; Macherey, Klaus; Klingner, Jeff; Shah, Apurva; Johnson, Melvin; Liu, Xiaobing; Kaiser, Łukasz; Gouws, Stephan; Kato, Yoshikiyo; Kudo, Taku; Kazawa, Hideto; Stevens, Keith; Kurian, George; Patil, Nishant; Wang, Wei; Young, Cliff; Smith, Jason; Riesa, Jason; Rudnick, Alex; Vinyals, Oriol; Corrado, Greg; et al. (2016). "Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation". arXiv:1609.08144 [cs.CL].
  149. ^ Metz, Cade (27 September 2016). "An Infusion of AI Makes Google Translate More Powerful Than Ever". Wired. Archived from the original on 8 November 2020. Retrieved 12 October 2017.
  150. ^ a b Boitet, Christian; Blanchon, Hervé; Seligman, Mark; Bellynck, Valérie (2010). "MT on and for the Web" (PDF). Archived from the original (PDF) on 29 March 2017. Retrieved 1 December 2016.
  151. ^ Arrowsmith, J; Miller, P (2013). "Trial watch: Phase II and phase III attrition rates 2011-2012". Nature Reviews Drug Discovery. 12 (8): 569. doi:10.1038/nrd4090. PMID 23903212. S2CID 20246434.
  152. ^ Verbist, B; Klambauer, G; Vervoort, L; Talloen, W; The Qstar, Consortium; Shkedy, Z; Thas, O; Bender, A; Göhlmann, H. W.; Hochreiter, S (2015). "Using transcriptomics to guide lead optimization in drug discovery projects: Lessons learned from the QSTAR project". Drug Discovery Today. 20 (5): 505–513. doi:10.1016/j.drudis.2014.12.014. PMID 25582842.
  153. ^ Wallach, Izhar; Dzamba, Michael; Heifets, Abraham (9 October 2015). "AtomNet: A Deep Convolutional Neural Network for Bioactivity Prediction in Structure-based Drug Discovery". arXiv:1510.02855 [cs.LG].
  154. ^ "Toronto startup has a faster way to discover effective medicines". The Globe and Mail. Archived from the original on 20 October 2015. Retrieved 9 November 2015.
  155. ^ "Startup Harnesses Supercomputers to Seek Cures". KQED Future of You. Archived from the original on 24 December 2015. Retrieved 9 November 2015.
  156. ^ "Toronto startup has a faster way to discover effective medicines". The Globe and Mail. Archived from the original on 2015-12-25. Retrieved 2017-08-26.
  157. ^ Gilmer, Justin; Schoenholz, Samuel S.; Riley, Patrick F.; Vinyals, Oriol; Dahl, George E. (2017-06-12). "Neural Message Passing for Quantum Chemistry". arXiv:1704.01212 [cs.LG].
  158. ^ Zhavoronkov, Alex (2019). "Deep learning enables rapid identification of potent DDR1 kinase inhibitors". Nature Biotechnology. 37 (9): 1038–1040. doi:10.1038/s41587-019-0224-x. PMID 31477924. S2CID 201716327.
  159. ^ Gregory, Barber. "A Molecule Designed By AI Exhibits 'Druglike' Qualities". Wired. Archived from the original on 2020-04-30. Retrieved 2019-09-05.
  160. ^ Tkachenko, Yegor (8 April 2015). "Autonomous CRM Control via CLV Approximation with Deep Reinforcement Learning in Discrete and Continuous Action Space". arXiv:1504.01840 [cs.LG].
  161. ^ van den Oord, Aaron; Dieleman, Sander; Schrauwen, Benjamin (2013). Burges, C. J. C.; Bottou, L.; Welling, M.; Ghahramani, Z.; Weinberger, K. Q. (eds.). Advances in Neural Information Processing Systems 26 (PDF). Curran Associates, Inc. pp. 2643–2651. Archived (PDF) from the original on 2017-05-16. Retrieved 2017-06-14.
  162. ^ Feng, X.Y.; Zhang, H.; Ren, Y.J.; Shang, P.H.; Zhu, Y.; Liang, Y.C.; Guan, R.C.; Xu, D. (2019). "The Deep Learning–Based Recommender System "Pubmender" for Choosing a Biomedical Publication Venue: Development and Validation Study". Journal of Medical Internet Research. 21 (5): e12957. doi:10.2196/12957. PMC 6555124. PMID 31127715.
  163. ^ Elkahky, Ali Mamdouh; Song, Yang; He, Xiaodong (1 May 2015). "A Multi-View Deep Learning Approach for Cross Domain User Modeling in Recommendation Systems". Microsoft Research. Archived from the original on 25 January 2018. Retrieved 14 June 2017.
  164. ^ Chicco, Davide; Sadowski, Peter; Baldi, Pierre (1 January 2014). Deep Autoencoder Neural Networks for Gene Ontology Annotation Predictions. Proceedings of the 5th ACM Conference on Bioinformatics, Computational Biology, and Health Informatics - BCB '14. ACM. pp. 533–540. doi:10.1145/2649387.2649442. hdl:11311/964622. ISBN 9781450328944. S2CID 207217210. Archived from the original on 9 May 2021. Retrieved 23 November 2015.
  165. ^ Sathyanarayana, Aarti (1 January 2016). "Sleep Quality Prediction From Wearable Data Using Deep Learning". JMIR mHealth and uHealth. 4 (4): e125. doi:10.2196/mhealth.6562. PMC 5116102. PMID 27815231. S2CID 3821594.
  166. ^ Choi, Edward; Schuetz, Andy; Stewart, Walter F.; Sun, Jimeng (13 August 2016). "Using recurrent neural network models for early detection of heart failure onset". Journal of the American Medical Informatics Association. 24 (2): 361–370. doi:10.1093/jamia/ocw112. ISSN 1067-5027. PMC 5391725. PMID 27521897.
  167. ^ Litjens, Geert; Kooi, Thijs; Bejnordi, Babak Ehteshami; Setio, Arnaud Arindra Adiyoso; Ciompi, Francesco; Ghafoorian, Mohsen; van der Laak, Jeroen A.W.M.; van Ginneken, Bram; Sánchez, Clara I. (December 2017). "A survey on deep learning in medical image analysis". Medical Image Analysis. 42: 60–88. arXiv:1702.05747. Bibcode:2017arXiv170205747L. doi:10.1016/j.media.2017.07.005. PMID 28778026. S2CID 2088679.
  168. ^ Forslid, Gustav; Wieslander, Hakan; Bengtsson, Ewert; Wahlby, Carolina; Hirsch, Jan-Michael; Stark, Christina Runow; Sadanandan, Sajith Kecheril (2017). "Deep Convolutional Neural Networks for Detecting Cellular Changes Due to Malignancy". 2017 IEEE International Conference on Computer Vision Workshops (ICCVW). pp. 82–89. doi:10.1109/ICCVW.2017.18. ISBN 9781538610343. S2CID 4728736. Archived from the original on 2021-05-09. Retrieved 2019-11-12.
  169. ^ Dong, Xin; Zhou, Yizhao; Wang, Lantian; Peng, Jingfeng; Lou, Yanbo; Fan, Yiqun (2020). "Liver Cancer Detection Using Hybridized Fully Convolutional Neural Network Based on Deep Learning Framework". IEEE Access. 8: 129889–129898. doi:10.1109/ACCESS.2020.3006362. ISSN 2169-3536. S2CID 220733699.
  170. ^ Lyakhov, Pavel Alekseevich; Lyakhova, Ulyana Alekseevna; Nagornov, Nikolay Nikolaevich (2022-04-03). "System for the Recognizing of Pigmented Skin Lesions with Fusion and Analysis of Heterogeneous Data Based on a Multimodal Neural Network". Cancers. 14 (7): 1819. doi:10.3390/cancers14071819. ISSN 2072-6694. PMC 8997449. PMID 35406591.
  171. ^ De, Shaunak; Maity, Abhishek; Goel, Vritti; Shitole, Sanjay; Bhattacharya, Avik (2017). "Predicting the popularity of instagram posts for a lifestyle magazine using deep learning". 2017 2nd International Conference on Communication Systems, Computing and IT Applications (CSCITA). pp. 174–177. doi:10.1109/CSCITA.2017.8066548. ISBN 978-1-5090-4381-1. S2CID 35350962.
  172. ^ "Colorizing and Restoring Old Images with Deep Learning". FloydHub Blog. 13 November 2018. Archived from the original on 11 October 2019. Retrieved 11 October 2019.
  173. ^ Schmidt, Uwe; Roth, Stefan. Shrinkage Fields for Effective Image Restoration (PDF). Computer Vision and Pattern Recognition (CVPR), 2014 IEEE Conference on. Archived (PDF) from the original on 2018-01-02. Retrieved 2018-01-01.
  174. ^ Kleanthous, Christos; Chatzis, Sotirios (2020). "Gated Mixture Variational Autoencoders for Value Added Tax audit case selection". Knowledge-Based Systems. 188: 105048. doi:10.1016/j.knosys.2019.105048. S2CID 204092079.
  175. ^ Czech, Tomasz (28 June 2018). "Deep learning: the next frontier for money laundering detection". Global Banking and Finance Review. Archived from the original on 2018-11-16. Retrieved 2018-07-15.
  176. ^ a b c "Army researchers develop new algorithms to train robots". EurekAlert!. Archived from the original on 28 August 2018. Retrieved 29 August 2018.
  177. ^ Raissi, M.; Perdikaris, P.; Karniadakis, G. E. (2019-02-01). "Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations". Journal of Computational Physics. 378: 686–707. Bibcode:2019JCoPh.378..686R. doi:10.1016/j.jcp.2018.10.045. ISSN 0021-9991. OSTI 1595805. S2CID 57379996.
  178. ^ Mao, Zhiping; Jagtap, Ameya D.; Karniadakis, George Em (2020-03-01). "Physics-informed neural networks for high-speed flows". Computer Methods in Applied Mechanics and Engineering. 360: 112789. Bibcode:2020CMAME.360k2789M. doi:10.1016/j.cma.2019.112789. ISSN 0045-7825. S2CID 212755458.
  179. ^ Raissi, Maziar; Yazdani, Alireza; Karniadakis, George Em (2020-02-28). "Hidden fluid mechanics: Learning velocity and pressure fields from flow visualizations". Science. 367 (6481): 1026–1030. Bibcode:2020Sci...367.1026R. doi:10.1126/science.aaw4741. PMC 7219083. PMID 32001523.
  180. ^ Oktem, Figen S.; Kar, Oğuzhan Fatih; Bezek, Can Deniz; Kamalabadi, Farzad (2021). "High-Resolution Multi-Spectral Imaging With Diffractive Lenses and Learned Reconstruction". IEEE Transactions on Computational Imaging. 7: 489–504. arXiv:2008.11625. doi:10.1109/TCI.2021.3075349. ISSN 2333-9403. S2CID 235340737.
  181. ^ Bernhardt, Melanie; Vishnevskiy, Valery; Rau, Richard; Goksel, Orcun (December 2020). "Training Variational Networks With Multidomain Simulations: Speed-of-Sound Image Reconstruction". IEEE Transactions on Ultrasonics, Ferroelectrics, and Frequency Control. 67 (12): 2584–2594. arXiv:2006.14395. doi:10.1109/TUFFC.2020.3010186. ISSN 1525-8955. PMID 32746211. S2CID 220055785.
  182. ^ Utgoff, P. E.; Stracuzzi, D. J. (2002). "Many-layered learning". Neural Computation. 14 (10): 2497–2529. doi:10.1162/08997660260293319. PMID 12396572. S2CID 1119517.
  183. ^ Elman, Jeffrey L. (1998). Rethinking Innateness: A Connectionist Perspective on Development. MIT Press. ISBN 978-0-262-55030-7.
  184. ^ Shrager, J.; Johnson, MH (1996). "Dynamic plasticity influences the emergence of function in a simple cortical array". Neural Networks. 9 (7): 1119–1129. doi:10.1016/0893-6080(96)00033-0. PMID 12662587.
  185. ^ Quartz, SR; Sejnowski, TJ (1997). "The neural basis of cognitive development: A constructivist manifesto". Behavioral and Brain Sciences. 20 (4): 537–556. CiteSeerX 10.1.1.41.7854. doi:10.1017/s0140525x97001581. PMID 10097006. S2CID 5818342.
  186. ^ S. Blakeslee. "뇌의 초기 성장에서 시간표는 매우 중요할 수 있습니다." 뉴욕 타임즈, 과학 섹션, pp.B5~B6, 1995.
  187. ^ Mazzoni, P.; Andersen, R. A.; Jordan, M. I. (15 May 1991). "A more biologically plausible learning rule for neural networks". Proceedings of the National Academy of Sciences. 88 (10): 4433–4437. Bibcode:1991PNAS...88.4433M. doi:10.1073/pnas.88.10.4433. ISSN 0027-8424. PMC 51674. PMID 1903542.
  188. ^ O'Reilly, Randall C. (1 July 1996). "Biologically Plausible Error-Driven Learning Using Local Activation Differences: The Generalized Recirculation Algorithm". Neural Computation. 8 (5): 895–938. doi:10.1162/neco.1996.8.5.895. ISSN 0899-7667. S2CID 2376781.
  189. ^ Testolin, Alberto; Zorzi, Marco (2016). "Probabilistic Models and Generative Neural Networks: Towards an Unified Framework for Modeling Normal and Impaired Neurocognitive Functions". Frontiers in Computational Neuroscience. 10: 73. doi:10.3389/fncom.2016.00073. ISSN 1662-5188. PMC 4943066. PMID 27468262. S2CID 9868901.
  190. ^ Testolin, Alberto; Stoianov, Ivilin; Zorzi, Marco (September 2017). "Letter perception emerges from unsupervised deep learning and recycling of natural image features". Nature Human Behaviour. 1 (9): 657–664. doi:10.1038/s41562-017-0186-2. ISSN 2397-3374. PMID 31024135. S2CID 24504018.
  191. ^ Buesing, Lars; Bill, Johannes; Nessler, Bernhard; Maass, Wolfgang (3 November 2011). "Neural Dynamics as Sampling: A Model for Stochastic Computation in Recurrent Networks of Spiking Neurons". PLOS Computational Biology. 7 (11): e1002211. Bibcode:2011PLSCB...7E2211B. doi:10.1371/journal.pcbi.1002211. ISSN 1553-7358. PMC 3207943. PMID 22096452. S2CID 7504633.
  192. ^ Cash, S.; Yuste, R. (February 1999). "Linear summation of excitatory inputs by CA1 pyramidal neurons". Neuron. 22 (2): 383–394. doi:10.1016/s0896-6273(00)81098-3. ISSN 0896-6273. PMID 10069343. S2CID 14663106.
  193. ^ Olshausen, B; Field, D (1 August 2004). "Sparse coding of sensory inputs". Current Opinion in Neurobiology. 14 (4): 481–487. doi:10.1016/j.conb.2004.07.007. ISSN 0959-4388. PMID 15321069. S2CID 16560320.
  194. ^ Yamins, Daniel L K; DiCarlo, James J (March 2016). "Using goal-driven deep learning models to understand sensory cortex". Nature Neuroscience. 19 (3): 356–365. doi:10.1038/nn.4244. ISSN 1546-1726. PMID 26906502. S2CID 16970545.
  195. ^ Zorzi, Marco; Testolin, Alberto (19 February 2018). "An emergentist perspective on the origin of number sense". Phil. Trans. R. Soc. B. 373 (1740): 20170043. doi:10.1098/rstb.2017.0043. ISSN 0962-8436. PMC 5784047. PMID 29292348. S2CID 39281431.
  196. ^ Güçlü, Umut; van Gerven, Marcel A. J. (8 July 2015). "Deep Neural Networks Reveal a Gradient in the Complexity of Neural Representations across the Ventral Stream". Journal of Neuroscience. 35 (27): 10005–10014. arXiv:1411.6422. doi:10.1523/jneurosci.5023-14.2015. PMC 6605414. PMID 26157000.
  197. ^ Metz, C. (12 December 2013). "Facebook's 'Deep Learning' Guru Reveals the Future of AI". Wired. Archived from the original on 28 March 2014. Retrieved 26 August 2017.
  198. ^ Gibney, Elizabeth (2016). "Google AI algorithm masters ancient game of Go". Nature. 529 (7587): 445–446. Bibcode:2016Natur.529..445G. doi:10.1038/529445a. PMID 26819021. S2CID 4460235. Archived from the original on 2 May 2019. Retrieved 30 January 2016.
  199. ^ Silver, David; Huang, Aja; Maddison, Chris J.; Guez, Arthur; Sifre, Laurent; Driessche, George van den; Schrittwieser, Julian; Antonoglou, Ioannis; Panneershelvam, Veda; Lanctot, Marc; Dieleman, Sander; Grewe, Dominik; Nham, John; Kalchbrenner, Nal; Sutskever, Ilya; Lillicrap, Timothy; Leach, Madeleine; Kavukcuoglu, Koray; Graepel, Thore; Hassabis, Demis (28 January 2016). "Mastering the game of Go with deep neural networks and tree search". Nature. 529 (7587): 484–489. Bibcode:2016Natur.529..484S. doi:10.1038/nature16961. ISSN 0028-0836. PMID 26819042. S2CID 515925.closed access
  200. ^ "A Google DeepMind Algorithm Uses Deep Learning and More to Master the Game of Go MIT Technology Review". MIT Technology Review. Retrieved 30 January 2016.
  201. ^ Metz, Cade (6 November 2017). "A.I. Researchers Leave Elon Musk Lab to Begin Robotics Start-Up". The New York Times. Archived from the original on 7 July 2019. Retrieved 5 July 2019.
  202. ^ Bradley Knox, W.; Stone, Peter (2008). "TAMER: Training an Agent Manually via Evaluative Reinforcement". 2008 7th IEEE International Conference on Development and Learning: 292–297. doi:10.1109/devlrn.2008.4640845. ISBN 978-1-4244-2661-4. S2CID 5613334.
  203. ^ "Talk to the Algorithms: AI Becomes a Faster Learner". governmentciomedia.com. Archived from the original on 28 August 2018. Retrieved 29 August 2018.
  204. ^ Marcus, Gary (14 January 2018). "In defense of skepticism about deep learning". Gary Marcus. Archived from the original on 12 October 2018. Retrieved 11 October 2018.
  205. ^ Knight, Will (14 March 2017). "DARPA is funding projects that will try to open up AI's black boxes". MIT Technology Review. Archived from the original on 4 November 2019. Retrieved 2 November 2017.
  206. ^ Marcus, Gary (November 25, 2012). "Is "Deep Learning" a Revolution in Artificial Intelligence?". The New Yorker. Archived from the original on 2009-11-27. Retrieved 2017-06-14.
  207. ^ Alexander Mordvintsev; Christopher Olah; Mike Tyka (17 June 2015). "Inceptionism: Going Deeper into Neural Networks". Google Research Blog. Archived from the original on 3 July 2015. Retrieved 20 June 2015.
  208. ^ Alex Hern (18 June 2015). "Yes, androids do dream of electric sheep". The Guardian. Archived from the original on 19 June 2015. Retrieved 20 June 2015.
  209. ^ a b c Goertzel, Ben (2015). "Are there Deep Reasons Underlying the Pathologies of Today's Deep Learning Algorithms?" (PDF). Archived (PDF) from the original on 2015-05-13. Retrieved 2015-05-10.
  210. ^ Nguyen, Anh; Yosinski, Jason; Clune, Jeff (2014). "Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images". arXiv:1412.1897 [cs.CV].
  211. ^ Szegedy, Christian; Zaremba, Wojciech; Sutskever, Ilya; Bruna, Joan; Erhan, Dumitru; Goodfellow, Ian; Fergus, Rob (2013). "Intriguing properties of neural networks". arXiv:1312.6199 [cs.CV].
  212. ^ Zhu, S.C.; Mumford, D. (2006). "A stochastic grammar of images". Found. Trends Comput. Graph. Vis. 2 (4): 259–362. CiteSeerX 10.1.1.681.2190. doi:10.1561/0600000018.
  213. ^ 밀러, G.A., N.촘스키."패턴 개념"패턴 검출에 관한 회의 논문, 미시간 대학 1957년.
  214. ^ Eisner, Jason. "Deep Learning of Recursive Structure: Grammar Induction". Archived from the original on 2017-12-30. Retrieved 2015-05-10.
  215. ^ "Hackers Have Already Started to Weaponize Artificial Intelligence". Gizmodo. 11 September 2017. Archived from the original on 11 October 2019. Retrieved 11 October 2019.
  216. ^ "How hackers can force AI to make dumb mistakes". The Daily Dot. 18 June 2018. Archived from the original on 11 October 2019. Retrieved 11 October 2019.
  217. ^ a b c d e "AI Is Easy to Fool—Why That Needs to Change". Singularity Hub. 10 October 2017. Archived from the original on 11 October 2017. Retrieved 11 October 2017.
  218. ^ Gibney, Elizabeth (2017). "The scientist who spots fake videos". Nature. doi:10.1038/nature.2017.22784. Archived from the original on 2017-10-10. Retrieved 2017-10-11.
  219. ^ a b c d Mühlhoff, Rainer (6 November 2019). "Human-aided artificial intelligence: Or, how to run large computations in human brains? Toward a media sociology of machine learning". New Media & Society. 22 (10): 1868–1884. doi:10.1177/1461444819885334. ISSN 1461-4448. S2CID 209363848.
  220. ^ "Facebook Can Now Find Your Face, Even When It's Not Tagged". Wired. ISSN 1059-1028. Archived from the original on 10 August 2019. Retrieved 22 November 2019.

추가 정보