베이시안 최적화

Bayesian optimization

베이시안 최적화는 어떠한 기능 형태도 가정하지 않는 블랙박스 기능의[1] 글로벌 최적화를 위한 순차적 설계 전략이다.일반적으로 값비싼 평가 기능을 최적화하기 위해 사용된다.

역사

이 용어는 일반적으로 조나스 모쿠스(Jonas Mockus)의 덕분으로 1970년대와 1980년대 글로벌 최적화에 관한 일련의 출판물에서 나온 그의 작품에서 유래되었다.[2][3][4]

전략

가우스 프로세스(퍼플)를 사용한 함수(검은색)의 베이지안 최적화.하단에 3개의 획득함수(파란색)가 표시된다.[5]

베이시안 최적화는 일반적으로 최대 x A ( ) A} 형식의 문제에 사용되며, 서 A 은(는) 멤버십을 쉽게 평가할 수 있는 포인트 집합이다. 최적화는 f( x) 을(를) 평가하기 어렵고, 어떤 구조를 알 수 없는 블랙박스이며, 20차원 이하에 의존하며, 파생상품을 평가하지 않는 문제에 유리하다.[6]

객관적 함수를 알 수 없기 때문에, 베이지안 전략은 그것을 임의 함수로 취급하고 그 위에 선행 함수를 두는 것이다.선행은 함수의 행동에 대한 믿음을 포착한다.데이터로 취급되는 함수 평가를 취합한 후, 선행은 목적함수에 대한 후방분포를 형성하도록 갱신한다.후분포는 다음 쿼리 포인트를 결정하는 획득 함수(흔히 infill 샘플링 기준이라고도 함)를 구성하는 데 사용된다.

객관적 기능에 대한 이전/후기 분포를 정의하기 위해 사용되는 몇 가지 방법이 있다.가장 일반적인 두 가지 방법은 Kriging이라는 방법으로 가우스 프로세스를 사용한다.또 다른 덜 비싼 방법은 Parzen-Tree Estimator를 사용하여 '높음'과 '낮음' 포인트에 대한 두 가지 분포를 구성한 다음 예상 개선 효과를 극대화하는 위치를 찾아낸다.[7]

표준 베이지안 최적화는 하기 쉬운 각 x A {\ xin A}에 의존하며, 이러한 가정으로부터 벗어나는 문제를 이국적인 베이지안 최적화 문제로 알려져 있다.최적화 문제는 소음이 있거나 평가가 병렬적으로 수행되고 있으며, 평가의 품질은 난이도와 정확도, 무작위 환경 조건의 존재 또는 평가와 파생상품이 관련된 경우 이국적이 될 수 있다.[6]

예

취득 함수의 예로는 개선 확률, 기대 개선, 베이지안 예상 손실, 신뢰 상한(UCB), 톰슨 샘플링 및 이들 혼합물이 있다.[8]그들은 모두 기능 쿼리의 수를 최소화하기 위해 탐색과 착취를 절충한다.이와 같이 베이시안 최적화는 평가 비용이 많이 드는 기능에 잘 적합하다.

솔루션 방법

획득 함수의 최대값은 일반적으로 탈색에 의존하거나 보조 최적화 도구를 사용하여 찾을 수 있다.획득 함수는 일반적으로 품행이 단정하며[citation needed] 뉴턴의 방법이나 브로이든-와 같은 준뉴턴 방법과 같은 수치 최적화 기법을 사용하여 최대화된다.플레처-골드파브-샨노 알고리즘.

적용들

이 접근법 problems,[9]의 컴퓨터 그래픽과 시각 design,[11][12][13]robotics,[14][15][16][17]센서 networks,[18][19]자동화 알고리즘 configuration,[20][21]자동 기계 학습 toolboxes,[22][23][24]강화 학습, 기획, 시각적 주의, archi rank,[10]는 것을 배우는 것 포함한 넓은 범위를 해결하기 위해 적용되어 왔다.깊은 배움에 Tecture 구성, 정적 프로그램 분석입니다., 실험 입자 물리학,[25][26] 화학, 물질 디자인, 그리고 약물 개발.[6][27][28]

참고 항목

참조

  1. ^ 조나스 모쿠스(2012년).글로벌 최적화에 대한 베이지안식 접근방식: 이론과 응용.클루워어 학회.
  2. ^ 조나스 모쿠스:극단을 찾기 위한 베이지안 방법에 대해.1974년 최적화 기술: 400-404
  3. ^ 조나스 모쿠스:극단적 목적을 위한 베이시안 방법과 그 적용에 관한 연구IFIP 1977년 회의: 195-200
  4. ^ J. Mockus, Bayesian Access to Global Optimization.클루워 학술 출판사, 도드레흐트, 1989년
  5. ^ Wilson, Samuel (2019-11-22), ParBayesianOptimization R package, retrieved 2019-12-12
  6. ^ a b c Frazier, Peter I. (2018-07-08). "A Tutorial on Bayesian Optimization". arXiv:1807.02811 [stat.ML].
  7. ^ J. S. Bergstra, R. Bardenet, Y. Bengio, B. Kégl:하이퍼 파라미터 최적화를 위한 알고리즘.신경정보처리시스템의 발전 : 2546–2554 (2011)
  8. ^ 매튜 호프만, 에릭 브로추, 난도 데 프리타스:베이시안 최적화를 위한 포트폴리오 할당.인공지능의 불확실성 : 327–336(2011년)
  9. ^ 에릭 브로추, 블라드 MCora, Nando de Freitas: Bayesian Optimization of High Cost Function에 대한 튜토리얼, 능동 사용자 모델링 및 계층적 강화 학습 적용CoRR 복근/1012.259 (2010)
  10. ^ Eric Brochu, Nando de Freitas, Abhijeet Ghosh: 이산 선택 데이터를 사용한 능동적 선호 학습.신경정보처리시스템의 발전 : 409-416(2007)
  11. ^ Eric Brochu, Tyson Brochu, Nando de Freitas:절차적 애니메이션 설계에 대한 베이지안 대화형 최적화 접근법.컴퓨터 애니메이션 2010 심포지엄: 103–112
  12. ^ 고야마 유키, 이세이 사토, 사카모토 다이스케, 이가라시 다케오: 크라우드에 의한 효율적인 시각 디자인 최적화를 위한 순차 라인 검색.ACM Transactions on Graphics, Volume 36, 발행 4, 페이지 48:1–48:11 (2017).DOI: https://doi.org/10.1145/3072959.3073598
  13. ^ 고야마 유키, 사토 이세이, 고토 마사타카 : 인터랙티브 비주얼 디자인 최적화를 위한 순차 갤러리.ACM Transactions on Graphics, Volume 39, 발행 4, 페이지 88:1–88:12(2020).DOI: https://doi.org/10.1145/3386569.3392444
  14. ^ 대니얼 J. 리조트, 타오 왕, 마이클 H. 볼링, 데일 슈우르만:가우스 공정 회귀 분석을 통한 자동 게걸 최적화.국제인공지능학회 : 944–949(2007)
  15. ^ 루벤 마르티네스 칸틴, 난도 드 프리타스, 에릭 브로추, 호세 카스텔라노스, 아르노우드 두셋.시각적으로 안내된 모바일 로봇을 사용하여 최적의 온라인 감지 및 계획을 위한 베이시안 탐색-탐색 접근 방식.자율 로봇.제27권, 제2, 페이지 93–103(2009)
  16. ^ 스콧 쿠인더스마, 로데릭 그루펜, 앤드류 바르토.확률적 최적화를 통한 가변 리스크 제어.국제 로봇 연구 저널, 32권, 7, 806–825 페이지(2013)
  17. ^ 로베르토 칼란드라, 안드레 세이파스, 얀 피터스, 마크 P.불확실성 하에서 게이츠를 학습하기 위한 Diensroth Bayesian 최적화.앤. 수학.인공위성. 인텔.제76권, 제1, 페이지 5-23 (2016) DOI:10.1007/s10472-015-9463-9
  18. ^ 니란얀 스리니바스, 안드레아스 크라우스, 샴 M. 카케이드, 마티아스 W.시거:도적단 설정에서 가우스 프로세스 최적화에 대한 정보-이론적 후회 한계.IEEE 정보이론 58(5):3250–3265(2012)
  19. ^ 로만 가넷, 마이클 A.오스본, 스티븐 J. 로버츠:센서 세트 선택을 위한 베이지안 최적화.ACM/IEEE 센서네트워크 정보처리에 관한 국제회의 : 209–219 (2010)
  20. ^ 프랭크 허터, 홀거 후스, 케빈 레이튼 브라운(2011년).일반 알고리즘 구성, 학습 및 인텔리전트 최적화를 위한 순차적 모델 기반 최적화
  21. ^ J. Snoek, H. Larochelle, R. P. Adams의 기계 학습 알고리즘의 실용 베이지안 최적화.신경정보처리시스템의 발전 : 2951-2959 (2012)
  22. ^ J. 버그스트라, D.야민스, D. D. 콕스(2013).하이퍼옵션: 기계 학습 알고리즘의 하이퍼 매개 변수 최적화를 위한 Python 라이브러리.Proc. SciPy 2013.
  23. ^ 크리스 손튼, 프랭크 허터, 홀거 H.후스, 케빈 레이튼 브라운:자동 WEKA: 분류 알고리즘의 선택과 하이퍼 파라미터 최적화 결합.KDD 2013: 847–855
  24. ^ Jasper Snoek, Hugo Larochelle, Ryan Prescott Adams.기계 학습 알고리즘의 실제 베이지안 최적화.신경정보처리시스템의 발전, 2012
  25. ^ 필립 일텐, 마이크 윌리엄스, Yunjie Yunjie Yang.베이지안 최적화를 사용한 이벤트 생성기 조정.2017 JINST 12 P04028.DOI: 10.1088/1748-0221/12/P04028
  26. ^ 에바리스토 시스바니 외미래 전자-이온 충돌기를 위한 AI 최적화 검출기 설계: 이중 방사기 RICH 케이스 2020 JINST 15 P05009.DOI: 10.1088/1748-0221/15/P05009
  27. ^ 고메즈-밤바렐리 외분자의 데이터 기반 연속표현을 이용한 자동 화학 설계.ACS Central Science, 제4권, 제2, 268-276호(2018)
  28. ^ 그리피스 외가변형 자동코더 화학공학을 이용한 자동 화학설계를 위한 제약 베이시안 최적화: 11, 577-586 (2020)

외부 링크

  • GPyOpt, GPY를 기반으로 하는 Bayesian Optimization용 Python 오픈 소스 라이브러리.
  • Bayesopt, Python, Matlab, Octave에 대한 지원을 통해 C/C++에서 효율적인 구현.
  • Python 구현인 Spearmint는 병렬 및 클러스터 컴퓨팅에 초점을 맞췄다.
  • SMAC, 일반 알고리즘 구성을 위한 랜덤 포리스트 기반 베이시안 최적화의 자바 구현.
  • ParBayesian Optimization, Bayesian 최적화의 고성능 병렬 구현과 가우스 프로세스 R.
  • 파이보, 모듈형 베이시안 최적화의 파이톤 구현.
  • Bayesopt.m, 제약이 있거나 없는 Bayesian 최적화의 Matlab 구현.
  • MOE MOE는 가우스 프로세스를 이용한 베이시안 글로벌 최적화의 파이톤/C++/CUDA 구현이다.
  • SigOpt SigOpt는 Bayesian Global Optimization을 엔터프라이즈 사용 사례에 초점을 맞춘 SaaS 서비스로 제공한다.
  • 마인드 파운드리 OPTaaS는 유연한 매개변수 제약이 있는 웹 서비스를 통해 베이시안 글로벌 최적화를 제공한다.
  • Bayeso, Bayesian 최적화의 Python 구현.
  • BoTorch는 GPyTorch를 지원하는 Bayesian 최적화 연구를 위한 모듈식 및 현대식 PyTorch 기반 오픈 소스 라이브러리.
  • Bayesian 최적화를 위한 TensorFlow 기반 오픈 소스 패키지인 GPflowOpt.
  • TensorFlow와 GPFlow를 기반으로 구축된 오픈 소스 Bayesian Optimization 도구 상자인 trieste.