베이지안 확률

Bayesian probability

베이지안 확률확률의 개념에 대한 해석으로, 일부 현상의 빈도나 성향 대신 확률은 지식 상태를[2] 나타내는 합리적인 기대[1] 또는 개인적 [3]믿음의 정량화로 해석된다.

확률의 베이지안 해석은 가설,[4][5] 즉 진실 또는 거짓을 알 수 없는 명제를 가지고 추론을 가능하게 하는 명제 논리의 확장으로 볼 수 있다.베이지안 관점에서는 확률이 가설에 할당되는 반면, 빈도주의 추론에서는, 가설은 일반적으로 확률이 할당되지 않고 테스트된다.

베이지안 확률은 증거 확률의 범주에 속합니다; 가설의 확률을 평가하기 위해 베이지안 확률론자는 사전 확률을 지정합니다.이는 다시 새롭고 관련성이 있는 데이터(증거)[6]에 비추어 사후 확률로 업데이트된다.베이지안 해석은 이 계산을 수행하기 위한 절차와 공식의 표준 세트를 제공합니다.

베이지안이라는 용어는 18세기 수학자이자 신학자인 토마스 베이즈로부터 유래되었으며, 그는 현재 베이지안 [7]: 131 추론이라고 알려진 것을 사용하여 통계 데이터 분석의 사소한 문제에 대한 최초의 수학적 처리를 제공했다.수학자 Pierre-Simon Laplace는 현재 베이지안 [7]: 97–98 확률이라고 불리는 것을 개척하고 대중화했다.

베이지안 방법론

베이지안 방법은 다음과 같은 개념과 절차에 의해 특징지어진다.

  • 정보 부족으로 인한 불확실성을 포함하여 통계 모델의 모든 불확실성 출처를 모델링하기 위해 랜덤 변수 또는 보다 일반적으로 알려지지 않은 [8]수량을 사용한다(알레아틱인식론적 불확실성 참조).
  • 이용 가능한(사전) 정보를 고려하여 사전 확률 분포를 결정할 필요성.
  • 베이즈 정리의 순차적 사용: 더 많은 데이터를 이용할 수 있게 되면 베이즈 정리를 사용하여 후방 분포를 계산한다. 그 후 후방 분포가 다음 사전이 된다.
  • 빈도론자에게 가설명제(참 또는 거짓이어야 함)인 반면, 베이지안 통계에서 가설의 빈도론 확률은 진실 값이 불확실할 경우 0에서 1 사이의 범위에 있을 수 있습니다.

객관적이고 주관적인 베이지안 확률

대체로 베이지안 확률에는 두 가지 해석이 있다.확률을 논리의 확장으로 해석하는 객관주의자들에게, 확률은 같은 지식을 공유하는 모든 사람(심지어 "로봇")이 베이지안 통계의 규칙에 따라 공유해야 하는 합리적인 기대를 수량화하는데, 이것은 콕스[2][9]정리에 의해 정당화될 수 있다.주관주의자들에게 확률은 개인적인 [3]믿음과 일치한다.합리성과 일관성은 그들이 제기하는 제약 안에서 상당한 변화를 허용한다; 제약은 네덜란드 도서 논쟁 또는 결정 이론과 드 피네티의 [3]정리에 의해 정당화된다.베이지안 확률의 객관적 및 주관적 변이는 주로 이전 확률의 해석과 구성에 차이가 있다.

역사

베이지안이라는 용어는 토마스 베이즈 (1702–1761)에서 유래했는데, 그는 "운명의 원칙에서 문제를 해결하기 위한 에세이"[10]라는 제목의 논문에서 현재 베이지안 정리라고 불리는 것의 특별한 경우를 증명했다.이 특별한 경우, 이전 분포와 사후 분포는 베타 분포였고 데이터는 베르누이 임상시험에서 나왔다.피에르 시몬 라플라스 (1749–1827)는 일반 버전의 정리를 도입하여 천체역학, 의학 통계학, 신뢰성, 그리고 [11]법의학의 문제에 접근하기 위해 그것을 사용했다.라플라스의 불충분한 이유 원리에 따른 균일한 전례를 사용한 초기 베이지안 추론은 "역확률"[12]이라고 불렸다.1920년대 이후, "역확률"은 빈도주의 [12]통계학이라고 불리는 방법들의 모음으로 대체되었다.

20세기에 라플라스 사상은 베이지안 실천에 객관적이고 주관적인 흐름일으키며 두 방향으로 발전했다.해롤드 제프리스확률론(1939년에 처음 출판)은 확률에 대한 베이지안 관점의 부활에 중요한 역할을 했고, 에이브러햄 왈드(1950)와 레오나드 새비지(1954)가 그 뒤를 이었다.형용사 베이지안 자체는 1950년대까지 거슬러 올라간다; 파생된 베이지안주의,[13][14][15] 신베이지안주의는 1960년대 동전이다.객관주의 흐름에서 통계 분석은 가정된 모델과 [16]분석된 데이터에만 의존한다.주관적인 결정은 관여할 필요가 없습니다.반면, "주관주의자" 통계학자들은 일반적인 사례에 대한 완전한 객관적 분석의 가능성을 부인한다.

1980년대에 베이지안 방법의 연구와 적용에 있어서 극적인 성장이 있었는데, 이는 주로 마르코프 연쇄 몬테카를로 방법의 발견과 그에 따른 많은 계산 문제의 제거에 기인하며, 비표준적이고 복잡한 애플리케이션에 [17]대한 관심이 증가했기 때문이다.빈도주의 통계는 여전히 강력하지만(대부분의 학부 교육이 이에 기초하고 있다는 사실에서 입증되었듯이), 베이지안 방법은 [19]기계 학습 분야에서 널리 받아들여지고 사용된다.

베이지안 확률의 정당화

베이지안 추론의 기초로서 베이지안 확률을 사용하는 것은 콕스 공리, 네덜란드 주장, 결정 이론에 기초한 주장, 그리고 드 피네티의 정리같은 여러 주장들에 의해 뒷받침되어 왔다.

자명한 어프로치

리처드 T. 콕스는 베이지안 업데이트가 두 개의 함수 방정식과 미분 가능성 [9]가설을 포함한 여러 공리에서 따른다는 것을 보여주었다.미분 가능성 또는 심지어 연속성에 대한 가정은 논란의 여지가 있다; Halpern은 진술의 부울 대수가 [20]유한할 수 있다는 그의 관찰에 기초하여 반례를 찾았다.다른 공리화들은 이론을 [8]더 엄격하게 만들 목적으로 여러 저자들에 의해 제안되어 왔다.

더치 북 어프로치

브루노 드 피네티는 베팅에 기초한 네덜란드 도서 논쟁을 제안했다.영리한 제작자는 도박꾼들이 판돈을 거는 이벤트(예를 들어 경마)의 결과와 상관없이 도박꾼들의 희생으로 도박꾼들이 이익을 얻을 수 있도록 승산 및 내기를 설정함으로써 네덜란드 책을 만든다.그것은 일관성이 없는 확률에 의해 암시되는 확률과 관련이 있다.

그러나 Ian Hacking은 전통적인 네덜란드 도서 논쟁은 베이지안 업데이트를 명시하지 않았다고 지적했다.베이지안 이외의 업데이트 규칙이 네덜란드 책을 피할 수 있는 가능성을 열어뒀다.예를[21][22] 들어, 해킹은 다음과 같이 쓰고 있습니다.네덜란드 책의 주장이나 확률 공리의 증거에 대한 개인주의 무기의 다른 어떤 주장도 동적인 가정을 수반하지 않습니다.베이지안주의를 수반하는 것은 없다.그래서 개인주의자는 동적 가정을 베이지안이어야 합니다.일관되게 개인주의자가 경험에서 배우는 베이지안 모델을 포기할 수 있다는 것은 사실이다.소금은 풍미를 잃을 수 있다.

실제로 네덜란드어 서적(Richard C의 출판 이후 "확률 운동학"[23]에 관한 문헌에서 논의된 바와 같이)을 피하는 비베이지안 업데이트 규칙이 있다. Jeffrey의 법칙, 그 자체가 베이지안이라고 여겨진다[24].)(독특하게) 베이지안 업데이트를 명시하기에 충분한 추가 가설은 실질적이며[25] 보편적으로 [26]만족스러운 것으로 보이지 않는다.

의사결정 이론 접근법

모든 허용 가능한 통계 절차가 베이지안 절차이거나 베이지안 [27]절차의 한계라는 것을 증명한 에이브러햄 월드에 의해 베이지안 추론(및 베이지안 확률)의 사용에 대한 결정론적 정당성이 제시되었다.반대로 모든 베이지안 절차는 [28]허용된다.

개인적 확률과 객관적 방법(prior 구축)

램지와 폰 노이만예상 효용 이론에 대한 연구에 따라, 의사결정 이론가들은 에이전트에 대한 확률 분포를 사용하여 합리적인 행동을 설명하였다.Johann Panzagl은 주관적 확률과 효용의 공리화를 제공함으로써 게임과 경제행동 이론을 완성했습니다.이러한 과제는 폰 노이만과 오스카 모르겐스테른에 의해 완료되지 않았습니다.원래의 이론은 모든 에이전트가 [29]편의상 동일한 확률 분포를 갖는다고 가정했습니다.판자글의 공리화는 Oskar Morgenstern에 의해 지지되었다: "Von Neumann과 나는...[확률]이 보다 전형적으로 주관적일 수 있는지의 의문] 그리고 후자의 경우 공리가 확률에 대한 숫자와 함께 원하는 수치 효용을 도출할 수 있다고 구체적으로 언급했다(게임 및 경제 행동 이론의 페이지 19 참조).우리는 이것을 실행하지 않았다; 그것은 판자글에 의해 필요한 모든 엄격함으로 증명되었다..."[30]

램지와 새비지는 개별 에이전트의 확률 분포를 실험에서 객관적으로 연구할 수 있다고 언급했다.확률에 관한 가설(유한 표본 사용)을 테스트하는 절차는 램지(1931년)와 드 피네티(1931년, 1937년, 1964년, 1970년) 때문이다.브루노 드[31][32] 피네티와 프랭크 P. 램지 둘 다 실용철학, 특히 (램지에게) 찰스 S.에게[32][33] 진 빚을 인정한다. 퍼스[32][33]

확률분포 평가를 위한 램지검사는 이론적으로 실행 가능하며, [34]반세기 동안 실험심리학자들을 바쁘게 해왔다.이 연구는 베이지안 확률 명제가 위조될 수 있으며, 따라서 찰스 S의 경험적 기준을 충족할 수 있다는 것을 보여준다. 퍼스는 램지에게 영감을 준 작품이야(이 반증가능성-기준Karl Popper에 의해 보급되었습니다.[35][36]

개인 확률의 실험 평가에 대한 현대 작업은 피어스-재스트로 [37]실험의 무작위화, 블라인딩 및 부울 결정 절차를 사용한다.개인은 서로 다른 확률 판단에 따라 행동하기 때문에, 이러한 에이전트의 확률은 "개인적"입니다(그러나 객관적인 연구에 따를 수 있습니다).

개인적 확률은 과학 및 의사결정자가 (행동할 준비가 된) 정보에 근거한 확률 분포를 지정할 지식이나 시간이 부족한 일부 애플리케이션에서 문제가 된다.과학과 인간의 한계를 충족하기 위해, 베이지안 통계학자들은 사전 확률을 특정하기 위한 "객관적인" 방법을 개발했다.

실제로 일부 베이시안들은 사전 지식 상태가 "정규적인" 통계 문제에 대한 (독특한) 사전 확률 분포를 정의한다고 주장했다.이러한 "객관적" 우선 순위를 구성하는 올바른 방법을 찾는 것은 라플라스에서 존 메이나드 케인즈, 해롤드 제프리스, 에드윈 톰슨 제인스이르는 통계 이론가들의 추구였다.이러한 이론가들과 그 후계자들은 "객관적" 우선 순위를 구성하기 위한 몇 가지 방법을 제안했다(불행히도, 이러한 방법들에 따라 제안된 우선 순위들의 상대적 "객관적"을 평가하는 방법은 명확하지 않다).

이러한 방법들은 각각 "일반적인" 단일 파라미터 문제에 유용한 우선 순위를 제공하며, 각 이전 방법은 몇 가지 까다로운 통계 모델("불규칙성" 또는 여러 개의 매개변수를 포함)을 처리할 수 있습니다.이 방법들 각각은 베이지안 실무에서 유용했다.실제로, "객관적" (또는 "디폴트" 또는 "무시") 이전을 건설하는 방법은 단지 그러한 이전이 [38]베이지안 과학에서 특히 필요하기 때문에 제임스 버거 (듀크 대학)와 호세 미구엘 베르나르도와 같은 주관적인 (또는 "개인적인") 베이제시안들에 의해 개발되었습니다."우선순위 건설의 보편적 방법"에 대한 추구는 통계 [38]이론가들을 계속 끌어 모으고 있다.

따라서 베이지안 통계학자는 정보에 입각한 사전(관련 전문 지식 또는 이전 데이터를 사용)을 사용하거나 "객관적" 우선 순위를 구성하기 위한 경쟁 방법 중 하나를 선택해야 한다.

「 」를 참조해 주세요.

레퍼런스

  1. ^ Cox, R.T. (1946). "Probability, Frequency, and Reasonable Expectation". American Journal of Physics. 14 (1): 1–10. Bibcode:1946AmJPh..14....1C. doi:10.1119/1.1990764.
  2. ^ a b Jaynes, E.T. (1986). "Bayesian Methods: General Background". In Justice, J. H. (ed.). Maximum-Entropy and Bayesian Methods in Applied Statistics. Cambridge: Cambridge University Press. CiteSeerX 10.1.1.41.1055.
  3. ^ a b c de Finetti, Bruno (2017). Theory of Probability: A critical introductory treatment. Chichester: John Wiley & Sons Ltd. ISBN 9781119286370.
  4. ^ Hailperin, Theodore (1996). Sentential Probability Logic: Origins, Development, Current Status, and Technical Applications. London: Associated University Presses. ISBN 0934223459.
  5. ^ Howson, Colin (2001). "The Logic of Bayesian Probability". In Corfield, D.; Williamson, J. (eds.). Foundations of Bayesianism. Dordrecht: Kluwer. pp. 137–159. ISBN 1-4020-0223-8.
  6. ^ Paulos, John Allen (5 August 2011). "The Mathematics of Changing Your Mind [by Sharon Bertsch McGrayne]". Book Review. New York Times. Archived from the original on 2022-01-01. Retrieved 2011-08-06.
  7. ^ a b Stigler, Stephen M. (March 1990). The history of statistics. Harvard University Press. ISBN 9780674403413.
  8. ^ a b Dupré, Maurice J.; Tipler, Frank J. (2009). "New axioms for rigorous Bayesian probability". Bayesian Analysis. 4 (3): 599–606. CiteSeerX 10.1.1.612.3036. doi:10.1214/09-BA422.
  9. ^ a b Cox, Richard T. (1961). The algebra of probable inference (Reprint ed.). Baltimore, MD; London, UK: Johns Hopkins Press; Oxford University Press [distributor]. ISBN 9780801869822.
  10. ^ McGrayne, Sharon Bertsch (2011). The Theory that Would not Die. [https://archive.org/details/theorythatwouldn0000mcgr/page/10 10 ], p. 10, at Google Books.
  11. ^ Stigler, Stephen M. (1986). "Chapter 3". The History of Statistics. Harvard University Press.
  12. ^ a b Fienberg, Stephen. E. (2006). "When did Bayesian Inference become "Bayesian"?" (PDF). Bayesian Analysis. 1 (1): 5, 1–40. doi:10.1214/06-BA101. Archived from the original (PDF) on 10 September 2014.
  13. ^ Harris, Marshall Dees (1959). "Recent developments of the so-called Bayesian approach to statistics". Agricultural Law Center. Legal-Economic Research. University of Iowa: 125 (fn. #52), 126. The works of Wald, Statistical Decision Functions (1950) and Savage, The Foundation of Statistics (1954) are commonly regarded starting points for current Bayesian approaches
  14. ^ Annals of the Computation Laboratory of Harvard University. Vol. 31. 1962. p. 180. This revolution, which may or may not succeed, is neo-Bayesianism. Jeffreys tried to introduce this approach, but did not succeed at the time in giving it general appeal.
  15. ^ Kempthorne, Oscar (1967). The Classical Problem of Inference—Goodness of Fit. Fifth Berkeley Symposium on Mathematical Statistics and Probability. p. 235. It is curious that even in its activities unrelated to ethics, humanity searches for a religion. At the present time, the religion being 'pushed' the hardest is Bayesianism.
  16. ^ Bernardo, J.M. (2005). "Reference analysis". Bayesian Thinking - Modeling and Computation. Handbook of Statistics. Vol. 25. pp. 17–90. doi:10.1016/S0169-7161(05)25002-2. ISBN 9780444515391.
  17. ^ Wolpert, R.L. (2004). "A conversation with James O. Berger". Statistical Science. 9: 205–218. doi:10.1214/088342304000000053.
  18. ^ Bernardo, José M. (2006). A Bayesian mathematical statistics primer (PDF). ICOTS-7. Bern.
  19. ^ Bishop, C.M. (2007). Pattern Recognition and Machine Learning. Springer.
  20. ^ Halpern, J. (1999). "A counterexample to theorems of Cox and Fine" (PDF). Journal of Artificial Intelligence Research. 10: 67–85. doi:10.1613/jair.536. S2CID 1538503.
  21. ^ 해킹(1967), 섹션 3, 316 페이지
  22. ^ 해킹(1988년, 124페이지)
  23. ^ Skyrms, Brian (1 January 1987). "Dynamic Coherence and Probability Kinematics". Philosophy of Science. 54 (1): 1–20. CiteSeerX 10.1.1.395.5723. doi:10.1086/289350. JSTOR 187470.
  24. ^ Joyce, James (30 September 2003). "Bayes' Theorem". The Stanford Encyclopedia of Philosophy. stanford.edu.
  25. ^ Fuchs, Christopher A.; Schack, Rüdiger (1 January 2012). Ben-Menahem, Yemima; Hemmo, Meir (eds.). Probability in Physics. The Frontiers Collection. Springer Berlin Heidelberg. pp. 233–247. arXiv:1103.5950. doi:10.1007/978-3-642-21329-8_15. ISBN 9783642213281. S2CID 119215115.
  26. ^ van Frassen, Bas (1989). Laws and Symmetry. Oxford University Press. ISBN 0-19-824860-1.
  27. ^ Wald, Abraham (1950). Statistical Decision Functions. Wiley.
  28. ^ Bernardo, José M.; Smith, Adrian F.M. (1994). Bayesian Theory. John Wiley. ISBN 0-471-92416-4.
  29. ^ 판자글 (1967, 1968)
  30. ^ 모겐스턴 (1976년, 65페이지)
  31. ^ Galavotti, Maria Carla (1 January 1989). "Anti-Realism in the Philosophy of Probability: Bruno de Finetti's Subjectivism". Erkenntnis. 31 (2/3): 239–261. doi:10.1007/bf01236565. JSTOR 20012239. S2CID 170802937.
  32. ^ a b c Galavotti, Maria Carla (1 December 1991). "The notion of subjective probability in the work of Ramsey and de Finetti". Theoria. 57 (3): 239–259. doi:10.1111/j.1755-2567.1991.tb00839.x. ISSN 1755-2567.
  33. ^ a b Dokic, Jérôme; Engel, Pascal (2003). Frank Ramsey: Truth and Success. Routledge. ISBN 9781134445936.
  34. ^ 데이비드슨 외 연구진(1957)
  35. ^ Thornton, Stephen (7 August 2018). "Karl Popper". Stanford Encyclopedia of Philosophy.
  36. ^ Popper, Karl (2002) [1959]. The Logic of Scientific Discovery (2nd ed.). Routledge. p. 57. ISBN 0-415-27843-0 – via Google Books. (독일어로 1935년 원문 번역).
  37. ^ Peirce & Jastrow (1885)
  38. ^ a b Bernardo, J. M. (2005). "Reference Analysis". In Dey, D.K.; Rao, C. R. (eds.). Handbook of Statistics (PDF). Vol. 25. Amsterdam: Elsevier. pp. 17–90.

참고 문헌