신경 건축 탐색

Neural architecture search
다음에 대한 시리즈 일부
머신러닝
및 데이터 마이닝
Scatterplot featuring a linear support vector machine's decision boundary (dashed line)
문제
감독 학습
(계속 • 회귀)
클러스터링
차원성 감소
구조 예측
이상 탐지
인공신경망
강화학습
이론
기계 학습 장소
관련기사
다른 용도는 NAS(동음이의)를 참조하십시오.

신경구조검색(NAS)[1][2]은 기계학습 분야에서 널리 사용되는 모델인 인공신경망(ANN)의 설계를 자동화하는 기법이다.NAS는 수작업으로 설계된 아키텍처를 능가하거나 동등한 수준의 네트워크를 설계하는 데 사용되어 왔다.[3][4]NAS에 대한 방법은 사용된 검색 공간, 검색 전략 및 성능 평가 전략에 따라 분류할 수 있다.[1]

  • 검색 공간은 설계 및 최적화가 가능한 ANN의 유형을 정의한다.
  • 검색 전략은 검색 공간을 탐색하는 데 사용되는 접근 방식을 정의한다.
  • 성능 추정 전략은 설계에서 가능한 ANN의 성능을 평가한다(구성과 훈련 없이).

NAS는 하이퍼 파라미터 최적화[5] 및 메타[6] 학습과 밀접한 관련이 있으며 자동 머신러닝(AutoML)의 하위 분야다.

강화학습

보강 학습(RL)은 NAS 검색 전략을 뒷받침할 수 있다.Zoph 등은 CIFAR-10 데이터세트를 대상으로 RL을 탑재한 NAS를 적용하고, 관련 수작업 설계 모델보다 오류율이 3.65%, 0.09% 향상, 1.05배 빠른 수작업 설계 아키텍처에 필적하는 네트워크 아키텍처를 달성했다.[3]펜트리뱅크 데이터 집합에서 이 모델은 LSTM을 능가하는 반복 셀을 구성하여 62.4의 테스트 세트 복잡성에 도달했으며 이는 선행 시스템보다 3.6의 복잡성에 더 잘 도달했다.PTB 문자 언어 모델링 작업에서 문자당 비트 1.214를 달성했다.[3]

대규모 데이터 집합에서 모델 아키텍처를 직접 학습하는 것은 긴 과정이 될 수 있다.NASNet은[4][7] 작은 데이터셋을 위해 설계된 빌딩 블록을 더 큰 데이터셋으로 전송함으로써 이 문제를 해결했다.설계는 입력 피쳐 맵을 경구할 때 두 가지 주요 기능을 제공하는 피쳐 맵, 즉 동일한 범위(높이와 폭)의 지도를 반환하는 정상 셀과 반환된 피쳐 맵 높이와 폭이 2배 감소되는 환원 셀을 반환하기 위해 두 가지 유형의 콘볼루션 셀을 사용하도록 제한되었다.감속 셀의 경우, 셀의 입력에 적용되는 초기 작동은 (높이와 폭을 줄이기 위해) 2의 보폭을 사용한다.[4]설계의 학습된 측면에는 각 상위 계층이 입력으로 사용하는 하위 계층, 해당 계층에 적용되는 변환 및 각 계층의 다중 출력을 병합하는 요소들이 포함되었다.연구된 예에서, 최상의 융통성 계층(또는 "셀")은 CIFAR-10 데이터 집합에 대해 설계되었다가 각각 고유한 매개변수로 이 셀의 복사본을 쌓아서 ImageNet 데이터 집합에 적용되었다.이 접근방식은 상위 1위 82.7%, 상위 5위 96.2%의 정확도를 보였다.이는 FLOPS가 28% 감소된 90억의 비용으로 최고의 인적 발명 아키텍처들을 능가했다.시스템은 다양한 계산 수준에서 수작업으로 설계된 대안을 계속 초과했다.이미지 분류를 통해 학습된 이미지 특징은 다른 컴퓨터 비전 문제로 옮겨질 수 있다.예: 객체 탐지의 경우, Laste-RCNN 프레임워크와 통합된 학습된 셀은 COCO 데이터 집합에서 성능을 4.0% 향상시켰다.[4]

이른바 Efficient Neural Architecture Search(ENAS)에서 컨트롤러는 큰 그래프 안에서 최적의 서브그래프를 검색하는 방법을 학습하여 아키텍처를 발견한다.컨트롤러는 유효성 검사 세트의 예상 보상을 최대화하는 하위 그래프를 선택하기 위해 정책 구배와 함께 훈련된다.서브그래프에 해당하는 모델은 표준 교차 엔트로피 손실을 최소화하도록 훈련된다.여러 하위 모델은 파라미터를 공유하며, ENAS는 다른 접근법보다 GPU-시간, "표준" NAS보다 1000배 적은 시간을 요구한다.CIFAR-10에서 ENAS 설계는 2.89%의 테스트 오차를 달성하였으며, NASNet과 비교된다.펜트리뱅크에서 ENAS 설계는 55.8의 시험 난관에 도달했다.[8]

진화

NAS에 대한 대안적 접근법은 진화 알고리즘에 기초하며, 여러 그룹에 의해 채택되었다.[9][10][11][12][13][14][15]신경구조 검색을 위한 진화 알고리즘은 일반적으로 다음과 같은 절차를 수행한다.[16]먼저 검증 점수(피트니스)와 함께 서로 다른 후보 아키텍처로 구성된 풀이 초기화된다.각 단계에서 후보 풀의 아키텍처는 변이된다(예: 5x5 콘볼루션 대신 3x3 콘볼루션).다음으로, 새로운 아키텍처들은 몇 시대에 걸쳐 처음부터 교육을 받고 그 검증 점수를 얻는다.이것은 후보 풀에서 가장 낮은 점수를 받은 아키텍처를 더 좋고 새로운 아키텍처로 대체하는 것이다.이 절차는 여러 번 반복되며, 따라서 후보 풀은 시간이 지남에 따라 조정된다.ANN이 진화하는 맥락에서 돌연변이는 계층의 유형 변경(예: 콘볼루션에서 풀링으로), 계층의 하이퍼 파라미터 변경 또는 교육 하이퍼 파라미터 변경을 포함하는 계층 추가 또는 제거와 같은 작업이다.CIFAR-10과 ImageNet에서는 진화 및 RL이 비교적으로 수행된 반면, 두 가지 모두 랜덤 검색은 약간 상회했다.[12][11]

베이시안 최적화

하이퍼 파라미터 최적화를 위한 효율적인 방법임이 입증된 Bayesian Optimization은 NAS에도 적용될 수 있다.이러한 맥락에서, 목표 함수는 여러 시대에 대해 훈련을 받은 후 아키텍처를 검증 오류에 매핑한다.각 반복에서 BO는 이전에 획득한 아키텍처와 이들의 검증 오류를 기반으로 이 객관적 기능을 모델링하기 위해 대리인을 사용한다.그런 다음 탐색과 착취의 균형을 제공하는 기대 향상과 같은 획득 기능을 극대화하여 평가할 다음 아키텍처를 선택한다.획득 기능 극대화와 객관적 기능 평가는 NAS의 경우 계산적으로 비용이 많이 들고, 이러한 맥락에서 BO의 적용이 어려워지는 경우가 많다.최근 바나나는[17] 신경 예측기와 결합한 BO의 고성능 인스턴스화를 도입하여 이러한 방향에서 유망한 결과를 달성하고 있다.

힐 클라이밍

또 다른 그룹은 네트워크 형태론을 적용하는 힐 클라이밍 절차를 사용했고, 그 후 짧은 코사인 어네일링 최적화 실행이 뒤따랐다.그 접근방식은 경쟁력 있는 결과를 낳았고, 단일 네트워크를 훈련하는 것과 같은 규모의 자원을 요구하였다.예: CIFAR-10에서 이 방법은 단일 GPU에서 12시간 동안 오류율이 5% 미만인 네트워크를 설계하고 훈련시켰다.[18]

다목적 검색

대부분의 접근방식은 오직 최대 예측 성능을 가진 아키텍처를 찾는 것에만 초점을 맞추지만, 대부분의 실제 애플리케이션의 경우 메모리 소비, 모델 크기 또는 추론 시간(예: 예측을 얻는 데 필요한 시간)과 같은 다른 목표들은 관련이 있다.그 때문에, 연구자들은 다목적 검색을 만들었다.[15][19]

레모네이드(Lemonade[15])는 여러 목표를 효율적으로 최적화하기 위해 라마르크주의를 채택한 진화 알고리즘이다.모든 세대에서, 아동 네트워크는 현재 ANN의 인구와 관련하여 파레토 국경선을 개선하기 위해 생성된다.

Neural Architect는[19] 네트워크 내장 및 성능 예측 기능을 갖춘 자원 인식 다중 객체 RL 기반 NAS라고 한다.네트워크 임베딩은 기존 네트워크를 트레이닝 가능한 임베딩 벡터에 인코딩한다.임베딩에 기초하여, 제어기 네트워크는 대상 네트워크의 변환을 생성한다.다목적 보상 함수는 네트워크 정확도, 계산 리소스 및 훈련 시간을 고려한다.보상금은 컨트롤러 네트워크와 함께 사전 훈련되거나 공동 훈련된 다중 성능 시뮬레이션 네트워크에 의해 예측된다.컨트롤러 네트워크는 정책 구배를 통해 교육된다.수정 후, 결과 후보 네트워크는 정확도 네트워크와 교육 시간 네트워크로 평가된다.결과는 출력물을 컨트롤러 네트워크에 다시 전달하는 보상 엔진에 의해 결합된다.

원샷 모델

RL 또는 진화 기반 NAS는 NASNet, mNASNet 및 MobileNetV3 문서에 설명된 바와 같이 최첨단 컴퓨터 비전 결과를 얻기 위해 수천일 동안 검색/훈련을 받아야 한다.[4][20][21]

컴퓨터 비용을 줄이기 위해, 최근의 많은 NAS 방법은 체중 공유 아이디어에 의존한다.[22][23]이 접근법에서 단일 과모수화된 슈퍼 네트워크(원샷 모델이라고도 함)가 정의된다.슈퍼 네트워크는 매우 큰 DAG(Directed Acyclic Graph)로, 서브그래프는 서로 다른 후보 신경 네트워크다.따라서 슈퍼 네트워크에서는 가중치가 가장자리가 공통인 다수의 다른 하위 아키텍처 사이에서 공유되며, 각 하위 아키텍처는 슈퍼넷 내의 경로로 간주된다.본질적인 아이디어는 수천 개의 네트워크를 독립적으로 생성하고 훈련시키는 것보다 최종 설계에 대해 많은 옵션을 아우르는 하나의 슈퍼 네트워크를 훈련시키는 것이다.학습된 매개변수 외에도, 아키텍처 매개변수 집합은 다른 모듈보다 한 모듈에 대한 선호도를 묘사하는 방법을 학습한다.그러한 방법은 필요한 계산 자원을 불과 몇 일 GPU일로 줄인다.

보다 최근의 작품들은 이러한 체중 공유 패러다임을 구배 기반 최적화 방법을 사용할 수 있는 검색 공간의 지속적인 여유와 결합한다.[24][25][26][27]이러한 접근방식은 일반적으로 서로 다른 NAS라고 불리며 신경 아키텍처의 검색 공간을 탐색하는 데 매우 효율적이라는 것이 입증되었다.NAS의 그라데이션 기반 방법 중 가장 인기 있는 알고리즘 중 하나는 DARTS이다.[28]그러나 DARTS는 스킵 연결의 불가피한 통합과 미래의 많은 알고리즘에 의해 다루어진 부실한 일반화로 인해 성능 붕괴와 같은 문제에 직면해 있다.[29][30][31][32]Hesian 표준 기반 정규화 및 무작위 평활화/부수리적 공격을 각각 도입하여 DARTS의 강건화 및 검증 정확도 환경을 보다 원활하게 만드는 것과 같은 방법을 목표로 한다.성능 저하의 원인은 나중에 아키텍처 선택 측면에서 분석한다.[35]

차별화 NAS는 RL 기반 검색 방법에 필요한 검색 시간의 극히 일부만을 사용하여 경쟁적인 결과를 도출해냈다.예를 들어 FBNet(Facebook Berkeley Network의 줄임말)은 ImageNet 이미지 분류 데이터 집합에서 mNASNet과 MobileNetV2의 속도-정확한 트레이드오프 곡선을 능가하는 네트워크를 슈퍼네트워크 기반 검색이 만들어 낸다는 것을 보여주었다.FBNet은 mNASNet에 사용된 것보다 400배 이상 적은 검색 시간을 사용하여 이를 달성한다.[36][37][38]더 나아가 스퀴즈NAS는 슈퍼 네트워크 기반 NAS가 MobileNetV3의 속도-정확한 트레이드오프 곡선을 능가하는 신경 네트워크를 도시경관 의미 세분화 데이터 세트와 스퀴즈(Cruse)에서 생산한다는 것을 입증했다.NAS는 MobileNetV3 저자의 RL 기반 검색에 사용된 것보다 100배 이상 적은 검색 시간을 사용한다.[39][40]

NAS 벤치마크

NAS 연구는 종종 컴퓨터적으로 매우 비싸서 실험을 재현하기 어렵고 대규모 연산에 접근하지 않고는 연구자들에게 진입 장벽을 부과한다.[41]표 또는 대리 NAS 벤치마크는 NAS에 대한 보다 효율적이고 효과적이며 재현 가능한 연구를 촉진한다.

다음은 가장 인기 있는 NAS 벤치마크 목록이다.

  1. NAS-Bench-101 [41]
  2. NAS-Bench-201 [42]
  3. NAS-Bench-1shot1[43]
  4. NAS-Bench-301 [44]
  5. NAS-Bench-ASR [45]
  6. NAS-Bench-NLP[46]
  7. TransNAS-Bench-101[47]
  8. LC-벤치
  9. NAS-Bench-x11 [49]
  10. NAS-Bench-Suite[50]
  11. HW-NAS-벤치

참고 항목

참조

  1. ^ a b Elsken, Thomas; Metzen, Jan Hendrik; Hutter, Frank (August 8, 2019). "Neural Architecture Search: A Survey". Journal of Machine Learning Research. 20 (55): 1–21. arXiv:1808.05377. Bibcode:2018arXiv180805377E – via jmlr.org.
  2. ^ Wistuba, Martin; Rawat, Ambrish; Pedapati, Tejaswini (2019-05-04). "A Survey on Neural Architecture Search". arXiv:1905.01392 [cs.LG].
  3. ^ a b c Zoph, Barret; Le, Quoc V. (2016-11-04). "Neural Architecture Search with Reinforcement Learning". arXiv:1611.01578 [cs.LG].
  4. ^ a b c d e Zoph, Barret; Vasudevan, Vijay; Shlens, Jonathon; Le, Quoc V. (2017-07-21). "Learning Transferable Architectures for Scalable Image Recognition". arXiv:1707.07012 [cs.CV].
  5. ^ 마티아스 푸레르와 프랭크 허터.하이퍼 파라미터 최적화.인: AutoML: 방법, 시스템, 과제, 3~38페이지.
  6. ^ Vanschoren, Joaquin (2019). "Meta-Learning". Automated Machine Learning. The Springer Series on Challenges in Machine Learning. pp. 35–61. doi:10.1007/978-3-030-05318-5_2. ISBN 978-3-030-05317-8. S2CID 239362577.
  7. ^ Zoph, Barret; Vasudevan, Vijay; Shlens, Jonathon; Le, Quoc V. (November 2, 2017). "AutoML for large scale image classification and object detection". Research Blog. Retrieved 2018-02-20.
  8. ^ Hieu, Pham; Y., Guan, Melody; Barret, Zoph; V., Le, Quoc; Jeff, Dean (2018-02-09). "Efficient Neural Architecture Search via Parameter Sharing". arXiv:1802.03268 [cs.LG].
  9. ^ Real, Esteban; Moore, Sherry; Selle, Andrew; Saxena, Saurabh; Suematsu, Yutaka Leon; Tan, Jie; Le, Quoc; Kurakin, Alex (2017-03-03). "Large-Scale Evolution of Image Classifiers". arXiv:1703.01041 [cs.NE].
  10. ^ Suganuma, Masanori; Shirakawa, Shinichi; Nagao, Tomoharu (2017-04-03). "A Genetic Programming Approach to Designing Convolutional Neural Network Architectures". arXiv:1704.00764v2.
  11. ^ a b Liu, Hanxiao; Simonyan, Karen; Vinyals, Oriol; Fernando, Chrisantha; Kavukcuoglu, Koray (2017-11-01). "Hierarchical Representations for Efficient Architecture Search". arXiv:1711.00436v2.
  12. ^ a b Real, Esteban; Aggarwal, Alok; Huang, Yanping; Le, Quoc V. (2018-02-05). "Regularized Evolution for Image Classifier Architecture Search". arXiv:1802.01548 [cs.NE].
  13. ^ Miikkulainen, Risto; Liang, Jason; Meyerson, Elliot; Rawal, Aditya; Fink, Dan; Francon, Olivier; Raju, Bala; Shahrzad, Hormoz; Navruzyan, Arshak; Duffy, Nigel; Hodjat, Babak (2017-03-04). "Evolving Deep Neural Networks". arXiv:1703.00548 [cs].
  14. ^ Xie, Lingxi; Yuille, Alan. "Genetic CNN". 2017 IEEE International Conference on Computer Vision (ICCV): 1388–1397. doi:10.1109/ICCV.2017.154.
  15. ^ a b c Elsken, Thomas; Metzen, Jan Hendrik; Hutter, Frank (2018-04-24). "Efficient Multi-objective Neural Architecture Search via Lamarckian Evolution". arXiv:1804.09081 [stat.ML].
  16. ^ Liu, Yuqiao; Sun, Yanan; Xue, Bing; Zhang, Mengjie; Yen, Gary G; Tan, Kay Chen (2020-08-25). "A Survey on Evolutionary Neural Architecture Search". arXiv:2008.10937 [cs.NE].
  17. ^ White, Colin; Neiswanger, Willie; Savani, Yash (2020-11-02). "BANANAS: Bayesian Optimization with Neural Architectures for Neural Architecture Search". arXiv:1910.11858 [cs, stat].
  18. ^ Thomas, Elsken; Jan Hendrik, Metzen; Frank, Hutter (2017-11-13). "Simple And Efficient Architecture Search for Convolutional Neural Networks". arXiv:1711.04528 [stat.ML].
  19. ^ a b Zhou, Yanqi; Diamos, Gregory. "Neural Architect: A Multi-objective Neural Architecture Search with Performance Prediction" (PDF). Baidu. Retrieved 2019-09-27.
  20. ^ Tan, Mingxing; Chen, Bo; Pang, Ruoming; Vasudevan, Vijay; Sandler, Mark; Howard, Andrew; Le, Quoc V. (2018). "MnasNet: Platform-Aware Neural Architecture Search for Mobile". arXiv:1807.11626 [cs.CV].
  21. ^ Howard, Andrew; Sandler, Mark; Chu, Grace; Chen, Liang-Chieh; Chen, Bo; Tan, Mingxing; Wang, Weijun; Zhu, Yukun; Pang, Ruoming; Vasudevan, Vijay; Le, Quoc V.; Adam, Hartwig (2019-05-06). "Searching for MobileNetV3". arXiv:1905.02244 [cs.CV].
  22. ^ Pham, H, Guan, M.Y., Zop, B., Le, Q.V., Dean, J.: 매개변수 공유를 통한 효율적인 신경 구조 검색.인: 제35회 머신러닝 국제회의(2018년)의 진행.
  23. ^ Li, L, Talwalkar, A. : 신경 건축 검색을 위한 무작위 검색과 재현성.in: 인공지능의 불확실성에 관한 회의의 진행 (2019년)
  24. ^ H. Cai, L. Zhu, S. Han. Proxylessnas: 대상 작업 및 하드웨어에 대한 직접 신경 구조 검색.ICLR, 2019.
  25. ^ X. Dong이랑 Y.양, 4gpu 시간 안에 강력한 신경 구조를 찾는 중컴퓨터 비전과 패턴 인식에 관한 IEEE 총회에서.IEEE 컴퓨터 소사이어티, 2019.
  26. ^ H. 류, K.시모얀, 그리고 Y.양. 다트: 차별성 있는 건축 검색.ICLR의 경우, 2019
  27. ^ S. Xie, H. Jung, C.류, 그리고 L. 린.스나스: 확률적 신경구조 탐색.ICLR, 2019.
  28. ^ H. 류, K.시모얀, 그리고 Y.양. 다트: 차별성 있는 건축 검색.ICLR의 경우, 2019
  29. ^ 추, 샹샹, 주, 톈바오와 장, 보와 리, 지샹.페어 다트: 차별화할 수 있는 건축 탐색에서 불공평한 이점을 없애는 것.ECCV, 2020년
  30. ^ 아르베르 젤라, 토마스 엘스켄, 톤모이 사이키아, 야신 마라크치, 토마스 브록스, 프랭크 허터.차별화 가능한 아키텍처 검색 이해 및 강화.ICLR, 2020년
  31. ^ 샹닝 첸, 초주이 시.섭동 기반 정규화를 통한 차별화 가능한 건축 검색의 안정화ICML, 2020년
  32. ^ 유희수, 링시 시, 샤오펑 장, 신첸, 궈준 제, 치톈, 홍카이 시옹.PC-DARTS: 메모리 효율적인 아키텍처 검색을 위한 부분 채널 연결.ICLR, 2020년
  33. ^ 아르베르 젤라, 토마스 엘스켄, 톤모이 사이키아, 야신 마라크치, 토마스 브록스, 프랭크 허터.차별화 가능한 아키텍처 검색 이해 및 강화.ICLR, 2020년
  34. ^ 샹닝 첸, 초주이 시.섭동 기반 정규화를 통한 차별화 가능한 건축 검색의 안정화ICML, 2020년
  35. ^ 뤄첸 왕, 민하오 청, 샹닝 천, 샤오청 탕, 초주이 시.차별화된 NAS의 아키텍처 선택에 대해 다시 생각해 보십시오.ICLR, 2022년
  36. ^ Wu, Bichen; Dai, Xiaoliang; Zhang, Peizhao; Wang, Yanghan; Sun, Fei; Wu, Yiming; Tian, Yuandong; Vajda, Peter; Jia, Yangqing; Keutzer, Kurt (24 May 2019). "FBNet: Hardware-Aware Efficient ConvNet Design via Differentiable Neural Architecture Search". arXiv:1812.03443 [cs.CV].
  37. ^ Sandler, Mark; Howard, Andrew; Zhu, Menglong; Zhmoginov, Andrey; Chen, Liang-Chieh (2018). "MobileNetV2: Inverted Residuals and Linear Bottlenecks". arXiv:1801.04381 [cs.CV].
  38. ^ Keutzer, Kurt (2019-05-22). "Co-Design of DNNs and NN Accelerators" (PDF). IEEE. Retrieved 2019-09-26.
  39. ^ Shaw, Albert; Hunter, Daniel; Iandola, Forrest; Sidhu, Sammy (2019). "SqueezeNAS: Fast neural architecture search for faster semantic segmentation". arXiv:1908.01748 [cs.CV].
  40. ^ Yoshida, Junko (2019-08-25). "Does Your AI Chip Have Its Own DNN?". EE Times. Retrieved 2019-09-26.
  41. ^ a b Ying, C, Klein, A, Christiansen, E, Real, E, Murphy, K, & Hutter, F. (2019, 5월)Nas-bench-101: 재생 가능한 신경 구조 검색을 지향한다.기계학습에 관한 국제회의 (pp. 7105-7114)에서.PMLR.
  42. ^ 동, 엑스, 앤 양, Y(2020년).Nas-bench-201: 재생 가능한 신경 아키텍처 검색 범위 확장. arXiv 프리프린트 arXiv:2001.00326.
  43. ^ 젤라, A, Siems, J, & Hutter, F.(2020).Nas-bench-1shot1: 원샷 신경구조 검색 벤치마킹 및 해부. arXiv 프리프린트 arXiv:2001.10422
  44. ^ 지엠스, J, 짐머, L, 젤라, A, 루카식, J, 커페어, M., F. 허터, 2020.Nas-bench-301 및 신경 아키텍처 검색을 위한 대리 벤치마크 사례. arXiv 사전 인쇄 arXiv:2008.0977.
  45. ^ 메흐로트라, A, 라모스, A. G. C, 바타차랴, S, 더지악, UW, 비페라, R, 차우, T, ...앤레인, N. D. 20. 20. 20.Nas-bench-asr: 재현 가능한 신경 구조는 음성 인식을 검색한다.'학습 표현에 관한 국제 회의'에서.
  46. ^ 클류치니코프, N, 트로피모프, I, 아르테모바, E, 살니코프, M, 페도로프, M, & 버나예프, E.(2020년).NAS-Bench-NLP: 자연 언어 처리를 위한 신경 아키텍처 검색 벤치마크. arXiv 사전 인쇄 arXiv:2006.07116
  47. ^ 두안, Y, 첸, X, 쉬, H, 첸, Z, 량, X, 장, T, & Li, Z. (2021년)Transnas-bench-101: 작업 간 신경 구조 검색의 전달성 및 일반화성 개선.컴퓨터 비전 및 패턴 인식에 관한 IEEE/CVF 회의의 절차서 (pp. 5251-5260)
  48. ^ 짐머, L, 린다워, M, & 후터, F. (2021년)Auto-Pytorch: 효율적이고 강력한 AutoDL을 위한 다중 충실도 메탈어닝. IEEE Transactions on Pattern Analysis and Machine Intelligence, 43(9), 3079-3090.
  49. ^ Yan, S, White, C, Savani, Y, & Hutter, F. (2021년)NAS-Bench-x11 및 Power of Learning Curves.신경 정보 처리 시스템의 발전, 34.
  50. ^ 메타, Y, 화이트, C, 젤라, A, 크리슈나쿠마르, A, 자베르그자, G, 모라디안, S, ...&후터, F. (2022년)NAS-Bench-Suite: NAS 평가는 (지금) 놀랍게도 쉽다.arXiv 사전 인쇄 arXiv:2201.13396.
  51. ^ 리, C, 유, Z, 푸, Y, 장, 자오, Y, You, H, ... & Lin, Y. (2021년)HW-NAS-Bench: 하드웨어 인식 신경 아키텍처 검색 벤치마크. arXiv 사전 인쇄 arXiv:2103.10584.