메트로폴리스 조정 랑게빈 알고리즘
Metropolis-adjusted Langevin algorithm계산 통계에서 메트로폴리스 조정 랜지빈 알고리즘(MALA) 또는 랜지빈 몬테카를로(LMC)는 직접 샘플링이 어려운 확률 분포에서 무작위 샘플 - 무작위 관측의 시퀀스를 얻기 위한 마르코프 체인 몬테카를로(MMC) 방법이다.이름에서 알 수 있듯이, MALA는 두 가지 메커니즘의 조합을 사용해 불변 측정값으로 목표 확률 분포를 갖는 무작위 보행 상태를 생성한다.
- 목표 확률 밀도 함수의 구배 평가를 사용하는 (과대감쇠) Langevin 역학을 사용하는 새로운 상태를 제안한다.
- 이러한 제안은 목표 확률 밀도의 평가(구배도는 아님)를 사용하는 메트로폴리스-해스팅 알고리즘을 사용하여 수용되거나 거부된다.
비공식적으로 Langevin 역학은 구배 흐름의 방식으로 무작위 보행을 높은 확률의 지역으로 유도하는 반면 Metropolitan-Hastings는 이 무작위 보도의 혼합 및 수렴 특성을 개선한다.MALA는 원래 1994년 줄리안 베사그에 의해 제안된 것으로 [1](Smart Monte Carlo라는 방법이 이미 1978년에 도입되었지만) 그 속성은 리처드 트위디[3], 제프 로젠탈과 함께 가레스 로버츠에 의해 자세히 검토되었다.[4]그 이후 지롤라미와 칼더헤드의 다변형 변종(2011년)과 같은 많은 변종과 정교함이 도입되었다.[5]이 방법은 단일 이산 시간 스텝으로 해밀턴식 몬테카를로(하이브리드 몬테카를로) 알고리즘을 사용하는 것과 맞먹는다.[5]
추가내역
은(는) 에 확률밀도 함수를 나타내며 이 함수는 독립적이고 동일하게 분포된 표본의 앙상블을 그리기를 원하는 것이다.우리는 너무 많이 흡수된 Langevin Itô 확산을 고려한다.
표준 브라운 W 의 시간 파생에 의해 구동된다이 확산에 대해 일반적으로 사용되는 또 다른 정규화는
동일한 역학 관계를 생성한다.)In the limit as , this probability distribution of approaches a stationary distribution, which is also invariant under the diffusion, which we denote . It turns out that, in fact,=
Langevin 확산의 대략적인 샘플 경로는 많은 이산 시간 방법에 의해 생성될 수 있다.One of the simplest is the Euler–Maruyama method with a fixed time step . We set and then recursively define an approximation to the true solution by
여기서 각 는 평균 0 및 공분산 행렬이 d d 행렬과 동일한 d의 다변량 정규 분포로부터 독립된 추첨이다.Note that is normally distributed with mean and covariance equal to times the identity matrix.
업데이트 규칙에 따라 X 을(를) 업데이트하는 란제빈 확산 시뮬레이션을 위한 오일러-마루야마 방법과 대조적으로
MALA에는 추가 단계가 포함되어 있다.위 업데이트 규칙은 새로운 상태에 대한 X~ + 1 를 정의하는 것으로 간주한다.
이 제안은 Metropolitan-Hastings 알고리즘에 따라 수락 또는 거절된다: 세트
어디에
x에서 일반적으로 x) x'\ xneq (x\mid 로 전환 을(를) 간격의 연속적인 균등분포에서 끌어오도록 한다[ 그러면 제안이 받아들여지고 : ~ k+ 을 그렇지 않으면 제안이 거부되고, k + := X {\를 설정한다
랜지빈 확산과 메트로폴리스-해스팅 알고리즘의 결합역학 dynamics= 불변, 고정된 고유 분포의 존재에 필요한 상세 균형 조건을 만족시키는 = = MALA는 순진한 메트로폴리스-해스팅에 비해 대개 mo를 제안하는 장점이 있다.더 높은 확률의 으로 ves를 입력한다. 이 영역은 더 높은 확률: 때π{\displaystyle \pi}은 강력하게 이방성(즉 그것이 훨씬 더 신속한 방향에서 다른 사람보다 더 다양하다)반면에, 그것은 0<>, τ ≪ 1{0<, \tau 1\ll\displaystyle}은 랑제방 역학을 사로잡고 싶습니다.positive-definite 사전 조정 매트릭스의 사용 A∈ Rd×d. 필요하다에 따라 제안서를 생성하여 이러한 문제를 완화하는 데 도움이 될 수 있다.
so that has mean and covariance .
제한된 등급의 대상 분포의 경우, 이 알고리즘의 최적 은 0.0.574인 것으로 나타날 수 있다 실제로 차이가 있는 것으로 확인되면 스타일 을(를) 적절하게 수정해야 한다.[4]
참조
- ^ J. Besag (1994). "Comments on "Representations of knowledge in complex systems" by U. Grenander and MI Miller". Journal of the Royal Statistical Society, Series B. 56: 591–592.
- ^ Rossky, P.J.; Doll, J.D.; Friedman, H.L. (1978). "Brownian Dynamics as smart Monte Carlo simulation". J. Chem. Physics. 69 (10): 4628.
- ^ G. O. Roberts and R. L. Tweedie (1996). "Exponential convergence of Langevin distributions and their discrete approximations". Bernoulli. 2 (4): 341–363. doi:10.2307/3318418. JSTOR 3318418.
- ^ a b G. O. Roberts and J. S. Rosenthal (1998). "Optimal scaling of discrete approximations to Langevin diffusions". Journal of the Royal Statistical Society, Series B. 60 (1): 255–268. doi:10.1111/1467-9868.00123.
- ^ a b M. Girolami and B. Calderhead (2011). "Riemann manifold Langevin and Hamiltonian Monte Carlo methods". Journal of the Royal Statistical Society, Series B. 73 (2): 123–214. CiteSeerX 10.1.1.190.580. doi:10.1111/j.1467-9868.2010.00765.x.