톰슨 샘플링

이 글은 검증을 위해 인용구가 추가로 필요하다. 신뢰할 수 있는 출처에 인용문을 추가하여 이 기사를 개선할 수 있도록 도와주십시오. 공급되지 않은 재료는 도전하여 제거할 수 있다. 출처 찾기: "Thompson 샘플링" – 뉴스 · 신문 · 책 · 학자 · JSTOR (2012년 5월) (이 템플릿 메시지를 제거하는 방법과 시기 학습)

톰슨 샘플링,^[1][2] 윌리엄 R의 이름을 따서 명명되었다. 톰슨(Thompson)은 다연장 도적 문제에서 탐사와 폭발의 딜레마를 해결하는 행동을 선택하는데 있어서 휴리스틱스다. 무작위로 그려진 신념에 대해 기대되는 보상을 최대화하는 행동을 선택하는 것으로 구성된다.

설명

이 절에는 참조, 관련 판독 또는 외부 링크 목록이 포함되지만, 인라인 인용구가 부족하기 때문에 출처가 불분명하다. 보다 정밀한 인용구를 도입하여 이 섹션을 개선할 수 있도록 도와주십시오. (2012년 5월) (이 템플릿 메시지를 제거하는 방법과 시기 알아보기)

Consider a set of contexts ${\displaystyle {\mathcal {X}}}$, a set of actions ${\displaystyle {\mathcal {A}}}$, and rewards in ${\displaystyle \mathbb {R} }$. In each round, the player obtains a context ${\displaystyle x\in {\mathcal {X}}}$, plays an action ${\displaystyle a\in {\math$${A}}$을(를) 교정하고$$ 컨텍스트와 실행된 작업에 따라 다른 배포에 따라$$ 보상 ${\displaystyle r\mathbb{}}$∈ R ${\$ {$R}을($를) 받는다. 누적 보상액을 최대화하는 등의 행동을 하는 것이 선수의 목표다.

톰슨 샘플링의 요소는 다음과 같다.

1. 우도 함수 $P{\displaystyle (}$ r ${\displaystyle r}$, ${\displaystyle a}$ ,${\displaystyle }$x${\displaystyle }$) ${\displaystyle P(r \theta ,a,x$
2. $\theta {\displaystyle }$ ${\displaystyle \$$theta }$ 매개 변수 set$$ ${\displaystyle$}의 집합 r ${\displaystyle$ r$\};$
3. 이러한 파라미터에 대한$$ 이전 분포 $P{\displaystyle (}$ ${\displaystyle \theta }$) ${\displaystyle$ P$(\theta )}$
4. 과거 관측치 $D{\displaystyle \mathcal{}}$=${\displaystyle }${${\displaystyle }$( x${\displaystyle }$; ${\displaystyle a}$; ${\displaystyle r)\}}$ ${\displaystyle {\mathcal {D}=\{(x;a;r)$$\}}$;
5. a posterior distribution ${\displaystyle P(\theta {\mathcal {D}})\propto P({\mathcal {D}} \theta )P(\theta )}$, where ${\displaystyle P({\mathcal {D}} \theta )}$ is the likelihood function.

톰슨 샘플링은 예상 보상을 최대화할 확률에 따라$$ ${\displaystyle action\mathcal{}}$ ${\displaystyle {}^{}}$ ∈ ∈$${ { ^ ^ ^ { {{\$ast$}\$in${\$mathcal {A}}}}$의 동작을 재생하는 것으로 구성된다. 즉, ${\$는 확률로 선택된다$$.

${\displaystyle \int \mathb {I} \left[\mathb {E})(r a^{\ast },x,\theta )=\max _{a'}\mathb {E}(r',x,\ta )\right]P(\theta {\mathcal {D})d\theta ,}$

$여기$서 I ${\$은$($는) 지시 함수다.

실제로 이 규칙은 표본 추출에 의해 구현된다. In each round, parameters ${\displaystyle \theta ^{\ast }}$ are sampled from the posterior ${\displaystyle P(\theta {\mathcal {D}})}$, and an action ${\displaystyle a^{\ast }}$ chosen that maximizes ${\displaystyle \mathbb {E} [r \theta ^{\ast },a^{\ast }$$,x]},$즉 샘플링된 매개 변수, 작업 및 현재 컨텍스트에 주어진 기대 보상. 개념적으로 이것은 플레이어가 후분포에 따라 각 라운드에서 무작위로 자신의 신념을 인스턴스화한 다음 그에 따라 최적으로 행동한다는 것을 의미한다. 대부분의 실제 적용에서 모델에 대한 후방 분포를 유지하고 샘플링하는 것은 계산상 부담이 된다. 이와 같이 톰슨 샘플링은 근사 샘플링 기법과 연계하여 사용하는 경우가 많다.^[2]

역사

톰슨 샘플링은 원래 톰슨에 의해 1933년에 설명되었다.^[1] 이후 다연장 도적 문제의 맥락에서 독자적으로 수없이 재발견되었다.^{[3][4][5][6][7][8]} 도적 사건에 대한 첫 번째 합치 증거가 1997년에 나타났다.^[3] 마르코프 의사결정 과정에 첫 적용은 2000년이었다.^[5] 관련 접근법(베이지안 제어 규칙 참조)은 2010년에 발표되었다.^[4] 2010년에는 톰슨 샘플링이 즉각적으로 자가 교정된다는 사실도 밝혀졌다.^[8] 문맥 도적들의 점증적 융합 결과가 2011년에 발표되었다.^[6] 톰슨 샘플링은 웹사이트 설계와 온라인 광고에서 A/B 테스트를 포함한 많은 온라인 학습 문제에서 널리 사용되어 왔고 ^[9]분산형 의사결정에서 학습을 가속화해왔다.^[10] 전통적인 MAB의 변종인 도적과 결투하기 위해 쌍방향 비교의 형태로 피드백을 제공하는 D-TS(Double Thompson Sampling)

다른 접근법과의 관계

확률 일치

확률 매칭은 계급 멤버십 예측이 계급 기준율에 비례하는 의사결정 전략이다. 따라서 훈련에서 긍정적인 예가 60% 관찰되고 부정적인 예가 40% 관찰되는 경우, 확률 매칭 전략을 사용하는 관찰자는 (표시가 없는 예에 대해) 60%의 경우에 "긍정적"의 클래스 라벨을, 40%의 경우에 "부정적"의 클래스 라벨을 예측한다.

베이지안 제어 규칙

임의의 동적 환경 및 인과 구조에 대한 톰슨 샘플링의 일반화는, 베이지안 제어 규칙으로 알려져 있으며, 작용과 관찰로 적응 코딩 문제에 대한 최적의 해결책인 것으로 나타났다.^[4] 이 공식에서, 작용제는 일련의 행동에 대한 혼합물로서 개념화된다. 대리인은 환경과 상호작용하면서 인과적 특성을 학습하고 환경의 행동을 가장 잘 예측하여 행동에 대한 상대적 엔트로피를 최소화하는 행동을 채택한다. 만약 이러한 행동들이 최대 기대 효용 원리에 따라 선택되었다면, 베이시안 제어 규칙의 점근거동은 완벽하게 합리적인 작용제의 점근거동과 일치한다.

설정은 다음과 같다. ${\displaystyle 1_{}}$,${\displaystyle {}_{}{2\mathrm{}}_{}}$, ${\displaystyle ...}$ ,$$T {\$displaystyle a_{1},a_{$2},\$ldots$ ,$a_{{}$를 두십시오$.$$T}}$은(는) 에이전트에서 $시간{\displaystyle }$ T ${\displaystyle T}$까지$$실행한 작업이며$$, ${\displaystyle {o\mathrm{}}_{}}$ 1,${\displaystyle {}_{}{o\mathrm{}}_{}}$ 2,${\displaystyle }$…${\displaystyle {}_{}}$ ${\displaystyle T_{}}$ ${\$ o_{}, o_{},{{}를 두십시오.$T}}}$은(는) 에이전트에서 $시간{\displaystyle }$ T ${\displaystyle$T}까지 수집한 관측치임$.$ 에이전트는 다음 ${\displaystyle {확률}_{}}$로${\displaystyle {}_{}}$T + ${\displaystyle 1_{}}${\$displaystyle a_{T+$1}을(를) 실행한다.^[4]

${\displaystyle P(a_{T+1} {\hat {a}_{1:T},o_{1:T}),}$

여기서 "hat"-notation $a{\displaystyle {\stackrel{}{}}_{}}$ ${\displaystyle {\stackrel{}{^}}_{}}$ ${\displaystyle t_{}}$ ${\$는 ${\displaystyle t_{}}$ ${\$이(가) 인과 개입이라는 사실을$$ 나타내며$$, 일반적인 관찰이 아니다. 에이전트가 동작에 대해$$ ${\displaystyle \mathrm{beliefs}}$ ${\displaystyle \in }${ {\$displaystyle \theta \in \theta }$을(를) 신뢰하는 경우 베이시안 제어 규칙은

$P$$1:$$T},o_{1:$$T}=\int _{\$$Theta }P(a_{T+1} \theta ,{\hat{a}_{1:$$T},o_{1:$$T}P(\theta {\hat {a}_{1:$$T},o_{1:$$T}\,d\theta$ $\},$

여기서 $P{\displaystyle (}$ ^ ${\displaystyle a{\stackrel{}{}}_{}}$ ${\displaystyle {\stackrel{}{^}}_{}}$ ${\displaystyle 1_{\mathrm{}}}$: ${\displaystyle T_{}}$, ${\displaystyle o_{}}$ ${\displaystyle {1\mathrm{}}_{}}$: T${\displaystyle {}_{}}$) ${\displaystyle$ P$(\teta {\hat{a}_{1:$$T},o_{1:$$T}}$은(는) ${\displaystyle {\mathrm{지정}}_{}}$된 동작 $1{\displaystyle {}_{}}$: T ${\$ $\theta }$에 대한 후방 분포로$,$$T}$ 및$$ 관찰 $o{\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$: ${\displaystyle T_{}}$ ${\$$T$

실제로 베이지안 제어는 후분포 $P$로부터${\displaystyle {\stackrel{}{}}_{}매개변수{\stackrel{}{}}_{}}$ ${\$${\displaystyle {\mathrm{ta}}_{}}$ ${\displaystyle {}_{}}$displaystyle ^{\$state$${\displaystyle {}_{}}$$}}$을(를$) 샘플링$하는 데 해당된다$(\theta${\$hat{a}_${1$:$$T},o_{1:$$T$ 여기서 후방 분포는 관측치 ${\displaystyle {o\mathrm{}}_{}}$ 1,${\displaystyle {}_{}{}_{}}$ ${\displaystyle {2\mathrm{}}_{}}$,${\displaystyle \dots ,}$ ${\displaystyle o_{}}$ T ${\$ o_{}, o_{}, o_{}, o_{}, ldots.$T}}$을(를) 무시하고$$ ${\displaystyle {동작}_{}}$의 (경고) 1,${\displaystyle {}_{}{2\mathrm{}}_{}}$… ,${\displaystyle T_{}}$ ${\$$T}}$을$($를) 샘플링한 다음 동작 분포 $P{\displaystyle (T_{}}$+ ${\displaystyle 1_{}}$$$${\displaystyle \theta {}_{}{}^{}}$ ${\displaystyle {\ast ,}^{}{\stackrel{}{^}}_{}}$ ${\displaystyle 1_{\mathrm{}}}$: T${\displaystyle {}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$: ${\displaystyle T_{}}$)에서$$ ${\displaystyle T_{}^{}}$+ ${\displaystyle 1_{}^{}}$ ${\displaystyle {}_{}^{}}$ {$T+1}^{\ast$ }}}$$$\displaystyle P(a_{T+1}) \{\hat {a_}}}:{1:}}}}}}}:{$1:}}}}}}}}:{1:}}}}}$T},o_{1:$$T}}$ $.$

UCB(상위 신뢰 바인딩) 알고리즘

톰슨 표본 추출과 신뢰 상한 알고리즘은 그들의 이론적 보장의 기초가 되는 근본적인 속성을 공유한다. 대략적으로 말하면, 두 알고리즘 모두 최적이 될 수 있고 이러한 의미에서 "최적"인 활동에 탐색적 노력을 할당한다. 이 속성을 활용하면 UCB 알고리즘에 대해 설정된 후회 한계를 톰슨 샘플링에^[12] 대한 베이지안 후회 한계로 변환하거나 이러한 알고리즘과 많은 종류의 문제에 대한 후회 분석을 통합할 수 있다.^[13]

참조