마르코프 모델

Markov model

확률론에서 마르코프 모델은 의사 무작위로 변화하는 시스템을 모형화하는 데 사용되는 확률적 모델이다.[1] 미래 상태는 현재 상태에만 의존하고, 그 이전에 발생한 사건(즉, 마르코프 속성을 가정한다)에 의존하지 않는다고 가정한다. 일반적으로, 이러한 가정은 그렇지 않으면 난해한 모델과 함께 추론과 계산을 가능하게 한다. 이러한 이유로, 예측 모델링 및 확률적 예측의 분야에서, 주어진 모델이 마르코프 속성을 표시하는 것이 바람직하다.

소개

모든 순차적 상태를 관측할 수 있는지 여부와 관찰한 결과에 따라 시스템을 조정해야 하는지에 따라 서로 다른 상황에서 사용되는 4가지 공통 마르코프 모델이 있다.

마르코프 모델
시스템 상태를 완전히 관찰할 수 있음 시스템 상태를 부분적으로 관측할 수 있음
시스템은 자율적이다. 마르코프 체인 히든 마르코프 모델
시스템이 제어됨 마르코프 의사결정 과정 부분적으로 관측 가능한 마르코프 의사결정 과정

마르코프 체인

주요 기사: 마르코프 체인

가장 단순한 마코프 모델은 마코프 체인이다. 시간에 따라 변하는 랜덤 변수로 시스템의 상태를 모델링한다.[1] 이러한 맥락에서 마르코프 속성은 이 변수에 대한 분포가 이전 상태의 분포에만 의존한다는 것을 시사한다. 마르코프 체인의 예로는 마르코프 체인 몬테 카를로가 있는데, 마르코프 속성을 사용해 무작위 걷기 수행을 위한 특정 방법이 공동 분포로부터 표본을 추출한다는 것을 증명한다.

히든 마르코프 모델

주요 기사: 히든 마르코프 모델

숨겨진 마르코프 모델은 마르코프 체인으로, 국가가 부분적으로만 관측할 수 있거나 소란스럽게 관측할 수 있다. 즉, 관찰은 시스템의 상태와 관련이 있지만, 일반적으로 상태를 정확하게 판단하기에는 불충분하다. 숨겨진 마르코프 모델에 대해 잘 알려진 몇 가지 알고리즘이 존재한다. 예를 들어, 일련의 관찰을 주어진다면, Viterbi 알고리즘은 가장 유사하게 대응하는 상태의 시퀀스를 계산하고, 전방 알고리즘은 관측의 시퀀스 확률을 계산하며, Baum-–웰치 알고리즘은 숨겨진 마르코프 모델의 시작 확률, 전이 함수, 관찰 함수를 추정할 것이다.

한 가지 일반적인 용도는 음성 인식인데, 여기서 관측된 데이터는 음성 오디오 파형이고 숨겨진 상태는 구어 텍스트다. 이 예에서 비테르비 알고리즘은 음성 오디오가 주어진 가장 가능성이 높은 구어순서를 찾는다.

마르코프 의사결정 과정

주요 기사: 마르코프 의사결정 과정

마르코프 의사결정 프로세스는 상태 전환이 현재 상태에 따라 달라지는 마르코프 체인과 시스템에 적용되는 작용 벡터다. 일반적으로 마르코프 의사결정 프로세스는 기대 보상에 관하여 일부 효용성을 최대화하는 행동 정책을 계산하는 데 사용된다.

부분적으로 관측 가능한 마르코프 의사결정 과정

주요기사 : 부분적으로 관측 가능한 마르코프 의사결정과정

부분적으로 관측 가능한 마르코프 의사결정 과정(POMDP)은 시스템의 상태가 부분적으로만 관측되는 마르코프 의사결정 과정이다. POMDP는 NP 완제품으로 알려져 있지만, 최근의 근사치 기법은 단순 에이전트나 로봇 제어와 같은 다양한 용도에 유용하게 사용되고 있다.[2]

마르코프 랜덤 필드

주요 기사: 마르코프 랜덤 필드

마르코프 무작위 필드 또는 마르코프 네트워크는 다차원 마코프 체인의 일반화로 간주될 수 있다. 마르코프 사슬에서 주는 시간의 이전 상태에만 의존하는 반면, 마르코프 무작위 필드에서는 각 주는 여러 방향의 어느 한 방향에서든 이웃에 의존한다. 마르코프 랜덤 필드는 무작위 변수의 필드 또는 그래프로 시각화할 수 있으며, 여기서 각 랜덤 변수의 분포는 연결된 인접 변수에 따라 달라진다. 좀 더 구체적으로, 그래프의 임의 변수에 대한 공동 분포는 해당 랜덤 변수를 포함하는 그래프에 있는 모든 구획의 "클릭 잠재력"의 산물로 계산할 수 있다. 문제를 마르코프 랜덤 필드로 모델링하는 것은 그래프의 각 꼭지점에 있는 관절 분포를 이러한 방식으로 계산할 수 있다는 것을 의미하기 때문에 유용하다.

계층적 마르코프 모델

계층적 마르코프 모델을 적용하여 다양한 추상화 수준에서 인간의 행동을 분류할 수 있다. 예를 들어, 방의 한 사람의 위치와 같은 일련의 간단한 관찰은, 그 사람이 어떤 업무나 활동을 수행하고 있는지와 같이, 보다 복잡한 정보를 결정하는 것으로 해석될 수 있다. 계층적 마르코프 모델의 두 종류는 계층적 숨겨진 마르코프[3] 모델과 추상적 히든 마르코프 모델이다.[4] 둘 다 행동 인식에 사용되어 왔다.[5] 그리고 모델에서 다른 추상화 수준들 사이의 특정한 조건부 독립성 특성들은 더 빠른 학습과 추론을 가능하게 한다.[4][6]

내성 마르코프 모델

TMM은 확률론적-알고리즘 마르코프 체인 모델이다.[7] 그것은 발생할 수 있는 마지막 기호를 실제 발생 기호 대신 가장 가능성이 높은 것으로 간주하는 조건화 상황에 따라 확률을 할당한다. TMM은 대체, 추가 또는 삭제라는 세 가지 특성을 모델링할 수 있다. 성공적인 애플리케이션은 DNA 시퀀스 압축에서 효율적으로 구현되었다.[7][8]

마르코프 체인 예측 모델

마르코프 체인은 가격 동향,[9] 풍력[10] 및 일조 강도와 같은 몇 가지 주제에 대한 예측 방법으로 사용되어 왔다.[11] 마코프 체인 예측 모델은 시계열[10] 분석부터 파장[9] 및 마코프 체인 혼합물 분포 모델(MCM)과 결합된 숨겨진 마코프 모델까지 다양한 설정을 활용한다.[11]

참고 항목

참조

  1. ^ a b Gagniuc, Paul A. (2017). Markov Chains: From Theory to Implementation and Experimentation. USA, NJ: John Wiley & Sons. pp. 1–256. ISBN 978-1-119-38755-8.
  2. ^ Kaelbling, L. P.; Littman, M. L.; Cassandra, A. R. (1998). "Planning and acting in partially observable stochastic domains". Artificial Intelligence. 101 (1–2): 99–134. doi:10.1016/S0004-3702(98)00023-X. ISSN 0004-3702.
  3. ^ Fine, S.; Singer, Y. (1998). "The hierarchical hidden markov model: Analysis and applications". Machine Learning. 32 (1): 41–62. doi:10.1023/A:1007469218079.
  4. ^ a b Bui, H. H.; Venkatesh, S.; West, G. (2002). "Policy recognition in the abstract hidden markov model". Journal of Artificial Intelligence Research. 17: 451–499. doi:10.1613/jair.839.
  5. ^ Theocharous, G. (2002). Hierarchical Learning and Planning in Partially Observable Markov Decision Processes (PhD). Michigan State University.
  6. ^ Luhr, S.; Bui, H. H.; Venkatesh, S.; West, G. A. W. (2003). "Recognition of Human Activity through Hierarchical Stochastic Learning". PERCOM '03 Proceedings of the First IEEE International Conference on Pervasive Computing and Communications. pp. 416–422. CiteSeerX 10.1.1.323.928. doi:10.1109/PERCOM.2003.1192766. ISBN 978-0-7695-1893-0. S2CID 13938580.
  7. ^ a b Pratas, D.; Hosseini, M.; Pinho, A. J. (2017). "Substitutional tolerant Markov models for relative compression of DNA sequences". PACBB 2017 – 11th International Conference on Practical Applications of Computational Biology & Bioinformatics, Porto, Portugal. pp. 265–272. doi:10.1007/978-3-319-60816-7_32. ISBN 978-3-319-60815-0.
  8. ^ Pratas, D.; Pinho, A. J.; Ferreira, P. J. S. G. (2016). "Efficient compression of genomic sequences". Data Compression Conference (DCC), 2016. IEEE. pp. 231–240. doi:10.1109/DCC.2016.60. ISBN 978-1-5090-1853-6. S2CID 14230416.
  9. ^ a b de Souza e Silva, E.G.; Legey, L.F.L.; de Souza e Silva, E.A. (2010). "Forecasting oil price trends using wavelets and hidden Markov models". Energy Economics. 32.
  10. ^ a b Carpinone, A; Giorgio, M; Langella, R.; Testa, A. (2015). "Markov chain modeling for very-short-term wind power forecasting". Electric Power Systems Research. 122: 152–158. doi:10.1016/j.epsr.2014.12.025.
  11. ^ a b Munkhammar, J.; van der Meer, D.W.; Widén, J. (2019). "Probabilistic forecasting of high-resolution clear-sky index time-series using a Markov-chain mixture distribution model". Solar Energy. 184: 688–695. doi:10.1016/j.solener.2019.04.014.