마르코프 리뉴얼 프로세스

확률과 통계에서 마르코프 갱신 프로세스(MRP)는 마르코프 점프 프로세스의 개념을 일반화하는 랜덤 프로세스다.마르코프 체인, 포아송 프로세스 및 갱신 프로세스와 같은 다른 무작위 프로세스는 MRP의 특별한 사례로 도출될 수 있다.

정의

Markov 갱신 프로세스 그림

상태 공간 $\mathrm {S} .$ $\mathrm {S$ 고려 랜덤 변수 집합 $(X_{n},T_{n})$ , $(X_{n},T_{n})$ ) ${\displaystyle(X_{n})$ 고려 $\mathrm {S} .$ $T_{n$ 여기서 $T_{n}$ ${\$ 은(는) 점프 시간이고 $T_{n}$ $X_{n}$ ${\$ 은(는) 마르코프 체인의 관련 상태 $X_{n}$ (그림 참조).도착 간 시간 $\tau _{n}=T_{n}-T_{n-1}$ = $\tau _{n}=T_{n}-T_{n-1}$ - $\tau _{n}=T_{n}-T_{n-1}$ $\tau _{n}=T_{n}-T_{n-1}$ - 1 ${\$ 을(를) 두십시오. $T_{n}-T_{n-1}$ .그런 다음 시퀀스 $(X_{n},T_{n})$ $(X_{n},T_{n})$ , $(X_{n},T_{n})$ $(X_{n},T_{n})$ ) ${\displaystyle(X_{n},$ $T_{n}}$ 은(는) 다음과 같은 경우 Markov 갱신 프로세스라고 한다 $(X_{n},T_{n})$ .

{\begin{aigned}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid(X_{0},T_{0}),(X_{1},T_{1}),\ldots ,(X_{n}=i,T_{n})\\[5pt]={}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid X_{n}=i)\,\all n\geq 1,t\geq 0,i,j\in \mathrm {S} \in \end{igned}}}}}}}}}}}}}

기타 확률적 공정과의 관계

$t\in [T_{n},T_{n+1})$ 확률적 $Y_{t}:=X_{n}$ Y t $Y_{t}:=X_{n}$ $Y_{t}:=X_{n}$ $Y_{t}:=X_{n}$ {\ $displaystyle Y_{t}:=$ $t\in [T_{n},T_{n+1})$ ${n}}$ t $t\in [T_{n},T_{n+1})$ [ $t\in [T_{n},T_{n+1})$ , $t\in [T_{n},T_{n+1})$ n $t\in [T_{n},T_{n+1})$ + 1 $t\in [T_{n},T_{n+1})$ ) ${\displaystyt t\in [T_{n}}T_{n+1$ 에 대해 $Y_{t}:=X_{n}$ 정의하면 프로세스 $Y_{t}$ ${\$ 를 세미마코프라고 부른다 $Y_{t}$ .MRP 프로세스와 세미 마코프 프로세스의 주요 차이점은 전자가 상태와 시간의 두 개의 튜플로 정의되는 반면, 후자는 시간에 따라 진화하는 실제 무작위 프로세스이며 프로세스의 실현은 주어진 시간 동안 정의된 상태를 가지고 있다는 점에 유의한다.전체 프로세스는 연속 시간 마코프 체인/프로세스(CTMC)에서 일어나는 것처럼 Markovian, 즉 메모리가 없는 것이 아니다.대신, 그 과정은 지정된 점프 선동자들에서만 마코비안이다.이것이 Semi-Markov라는 이름의 근거다.^[1]^[2]^[3] (또한 참조: 숨겨진 Semi-Markov 모델 참조)
모든 홀딩 시간이 기하급수적으로 분산되는 세미 마르코프 프로세스(위 글머리 기호에서 정의됨)를 CTMC라고 한다. 다시 말해, 도착간 시간이 기하급수적으로 분산되고 주와 다음 주에 도달한 대기 시간이 독립적이면 우리는 CTMC를 갖게 된다.
${\begin{aigned}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid(X_{0},T_{0}),(X_{1},T_{1}),\ldots ,(X_{n}=i,T_{n}))\\[3pt]={}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid X_{n}=i)\\[3pt]={}&\Pr(X_{n+1}=j\mid X_{n}=i)(1-e^{-\lambda _{i}t}),{\text{ for all }}n\geq 1,t\geq 0,i,j\in \mathrm {S} ,i\neq j\end{aligned}}$
MRP의 $X_{n}$ $X_{n}$ ${\$ 순서는 이산 시간 마코프 체인이다.즉, MRP 방정식에서 시간 변수를 무시하면 DTMC로 끝난다.
$\Pr(X_{n+1}=j\mid X_{0},X_{1},\ldots,X_{n}=i)=\Pr(X_{n+1}=j_mid X_{n}=i)\,\all n\geq 1,i,j\in \matrmatrmatrmatrmit {S}}}}}}$
$\tau$ 의 $\tau$ 순서가 독립적이고 동일한 분포가 있으며, 이들의 분포가 $X_{n}$ X $X_{n}$ {\ $displaystyle X_{n}}$ 에 따라 달라지지 않으면 이 프로세스는 갱신 과정이다 $X_{n}$ 그래서, 만약 그 주들이 무시되고 우리가 연쇄적으로 시간이 흐른다면, 우리는 갱신 과정을 거치게 된다.
$\Pr(\tau _{n+1}\leq t\mid T_{0},T_{1},\ldots,T_{n}}}=\Pr(\tau _{n+1}\leq t)\,\all n\geq 1,\geq 0$

참고 항목

참조

^ Medhi, J. (1982). Stochastic processes. New York: Wiley & Sons. ISBN 978-0-470-27000-4.
^ Ross, Sheldon M. (1999). Stochastic processes (2nd ed.). New York [u.a.]: Routledge. ISBN 978-0-471-12062-9.
^ Barbu, Vlad Stefan; Limnios, Nikolaos (2008). Semi-Markov chains and hidden semi-Markov models toward applications : their use in reliability and DNA analysis. New York: Springer. ISBN 978-0-387-73171-1.

[1] Medhi, J. (1982). Stochastic processes. New York: Wiley & Sons. ISBN 978-0-470-27000-4.

[2] Ross, Sheldon M. (1999). Stochastic processes (2nd ed.). New York [u.a.]: Routledge. ISBN 978-0-471-12062-9.

[3] Barbu, Vlad Stefan; Limnios, Nikolaos (2008). Semi-Markov chains and hidden semi-Markov models toward applications : their use in reliability and DNA analysis. New York: Springer. ISBN 978-0-387-73171-1.

[1]

[2]

[3]

Search

마르코프 리뉴얼 프로세스

네임스페이스

더

목차

정의

기타 확률적 공정과의 관계

참고 항목

참조