Frequentist probability

"Statistical probability" redirects here. For the episode of Star Trek: Deep Space Nine, see Statistical Probabilities.
John Venn, who provided a thorough exposition of frequentist probability in his book, The Logic of Chance (1866)

Frequentist probability or frequentism is an interpretation of probability; it defines an event's probability as the limit of its relative frequency in many trials. Probabilities can be found (in principle) by a repeatable objective process (and are thus ideally devoid of opinion). This interpretation supports the statistical needs of many experimental scientists and pollsters. It does not support all needs, however; gamblers typically require estimates of the odds without experiments.

The development of the frequentist account was motivated by the problems and paradoxes of the previously dominant viewpoint, the classical interpretation. In the classical interpretation, probability was defined in terms of the principle of indifference, based on the natural symmetry of a problem, so, e.g. the probabilities of dice games arise from the natural symmetric 6-sidedness of the cube. This classical interpretation stumbled at any statistical problem that has no natural symmetry for reasoning.

Definition

In the frequentist interpretation, probabilities are discussed only when dealing with well-defined random experiments. The set of all possible outcomes of a random experiment is called the sample space of the experiment. An event is defined as a particular subset of the sample space to be considered. For any given event, only one of two possibilities may hold: it occurs or it does not. The relative frequency of occurrence of an event, observed in a number of repetitions of the experiment, is a measure of the probability of that event. This is the core conception of probability in the frequentist interpretation.

빈번한 접근법에 대한 주장은 시행 횟수가 증가함에 따라 상대적 빈도의 변화가 줄어들 것이라는 것이다. 따라서 확률을 해당 상대적 주파수의 한계값으로 볼 수 있다.

범위

빈번한 이론적 해석은 확률의 정의와 사용에 대한 철학적인 접근방식이다; 그것은 몇 가지 그러한 접근방식 중 하나이다. 그것은 자연 언어의 구어체 언어에서 'probable' 개념의 모든 함축적 의미를 포착한다고 주장하지는 않는다.

해석으로서, 그것은 확률 이론의 수학적 공리화와 상충하지 않고, 오히려 수학적 확률 이론을 실제 상황에 적용하는 방법에 대한 지침을 제공한다. 그것은 특히 베이지안 해석과 대조되는 경우, 실제 실험의 구성과 설계에서 뚜렷한 지침을 제공한다. 이 지침이 유용한 것인지, 아니면 잘못 해석하기 쉬운 것인지에 대해서는 논란의 대상이 되어 왔다. 특히 확률의 빈도 해석만이 빈번한 추론의 유일한 가능한 근거로 잘못 가정했을 때 더욱 그러하다. 따라서 예를 들어, p-값의 의미에 대한 잘못된 해석 목록은 p-값에 대한 기사에 수반된다. 논쟁은 통계적 가설 검증에 관한 기사에 자세히 설명되어 있다. Jeffreys-Lindley 역설은 동일한 데이터 집합에 적용되는 서로 다른 해석이 결과의 '통계적 유의성'에 대해 어떻게 다른 결론을 이끌어낼 수 있는지를 보여준다.[citation needed]

윌리엄 펠러는 다음과 같이 말했다.[1]

우리 시스템에는 내일 해가 뜰 가능성에 관한 추측을 할 곳이 없다. 그것에 대해 말하기 전에 우리는 아마도 "무한히 많은 세계 중에서 무작위로 선택된 세계들 중에서" 그 선을 따라 달릴 (이상화된) 모델에 동의해야 한다.그런 모델을 만들려면 상상력이 거의 필요 없지만 재미도 없고 의미도 없어 보인다.

펠러의 논평은 대체 확률 해석을 이용해 일출 문제에 대한 해결책을 발표한 피에르 시몬 라플레이스에 대한 비판이었다. 라플레이스가 출처에 명시적이고 즉각적인 부인에도 불구하고, 천문학에 관한 전문지식과 확률에 기초하여, 2세기 동안의 비난이 뒤따랐다.

History

Main article: History of probability

The frequentist view may have been foreshadowed by Aristotle, in Rhetoric,[2] when he wrote:

the probable is that which for the most part happens[3]

Poisson clearly distinguished between objective and subjective probabilities in 1837.[4] Soon thereafter a flurry of nearly simultaneous publications by Mill, Ellis ("On the Foundations of the Theory of Probabilities"[5] and "Remarks on the Fundamental Principles of the Theory of Probabilities"[6]), Cournot (Exposition de la théorie des chances et des probabilités)[7] and Fries introduced the frequentist view. Venn provided a thorough exposition (The Logic of Chance: An Essay on the Foundations and Province of the Theory of Probability (published editions in 1866, 1876, 1888))[8] two decades later. These were further supported by the publications of Boole and Bertrand. By the end of the 19th century the frequentist interpretation was well established and perhaps dominant in the sciences.[4] The following generation established the tools of classical inferential statistics (significance testing, hypothesis testing and confidence intervals) all based on frequentist probability.

Alternatively,[9] Jacob Bernoulli (AKA James or Jacques) understood the concept of frequentist probability and published a critical proof (the weak law of large numbers) posthumously in 1713. He is also credited with some appreciation for subjective probability (prior to and without Bayes theorem).[10][11] Gauss and Laplace used frequentist (and other) probability in derivations of the least squares method a century later, a generation before Poisson.[12] Laplace considered the probabilities of testimonies, tables of mortality, judgments of tribunals, etc. which are unlikely candidates for classical probability. In this view, Poisson's contribution was his sharp criticism of the alternative "inverse" (subjective, Bayesian) probability interpretation. Any criticism by Gauss and Laplace was muted and implicit. (Their later derivations did not use inverse probability.)

Major contributors to "classical" statistics in the early 20th century included Fisher, Neyman and Pearson. Fisher contributed to most of statistics and made significance testing the core of experimental science, although he was critical of the frequentist concept of "repeated sampling from the same population" (Rubin, 2020);[13] Neyman formulated confidence intervals and contributed heavily to sampling theory; Neyman and Pearson paired in the creation of hypothesis testing. All valued objectivity, so the best interpretation of probability available to them was frequentist. All were suspicious of "inverse probability" (the available alternative) with prior probabilities chosen by using the principle of indifference. Fisher said, "...the theory of inverse probability is founded upon an error, [referring to Bayes theorem] and must be wholly rejected." (from his Statistical Methods for Research Workers). While Neyman was a pure frequentist,[14] Fisher's views of probability were unique; Both had nuanced view of probability. von Mises offered a combination of mathematical and philosophical support for frequentism in the era.[15][16]

Etymology

According to the Oxford English Dictionary, the term 'frequentist' was first used by M. G. Kendall in 1949, to contrast with Bayesians, whom he called "non-frequentists".[17][18] He observed

3....we may broadly distinguish two main attitudes. One takes probability as 'a degree of rational belief', or some similar idea...the second defines probability in terms of frequencies of occurrence of events, or by relative proportions in 'populations' or 'collectives'; (p. 101)
...
12. It might be thought that the differences between the frequentists and the non-frequentists (if I may call them such) are largely due to the differences of the domains which they purport to cover. (p. 104)
...
I assert that this is not so ... The essential distinction between the frequentists and the non-frequentists is, I think, that the former, in an effort to avoid anything savouring of matters of opinion, seek to define probability in terms of the objective properties of a population, real or hypothetical, whereas the latter do not. [emphasis in original]

「확률의 주파수 이론」은 케인즈(1921년)의 장 제목으로 한 세대 앞서 사용되었다.[2]

역사적 순서: 확률 개념이 도입되었고 많은 확률 수학이 파생되었다(20세기 이전), 고전적 통계 추론 방법이 개발되었다. 확률의 수학적 기초가 확고해지고 현재의 용어(20세기 전체)가 도입되었다. 확률과 통계에서 주요한 역사적 원천은 고전적, 주관적(베이지안적), 빈도론적 확률의 현재의 용어를 사용하지 않았다.

대체 보기

주요기사 : 확률해석

확률론은 수학의 한 분야다. 그 뿌리가 과거 수세기에 이르지만 1933년 안드레이 콜모고로프의 공리로 성숙기에 이르렀다. 이 이론은 값의 초기 할당보다는 확률 값에 대한 유효한 연산에 초점을 맞추고 있다. 수학은 확률의 해석과 거의 무관하다.

확률의 적용과 해석은 철학, 과학, 통계에 의해 고려된다. 모두가 관찰에서 지식을 추출하는 것, 즉 귀납적 추론에 관심이 있다. 다양한 경쟁적인 해석들이 있다;[19] 모두가 문제를 가지고 있다. 자주론적 해석은 결과의 자연적 대칭성을 알 수 없는 어떤 문제 같은 고전적 해석으로 어려움을 해결한다. 그것은 더치북과 같은 다른 문제들을 다루지 않는다.

  • 고전적 확률은 물리적 이상화된 대칭성(다이스, 동전, 카드)에 기초하여 확률을 할당한다. 고전적 정의는 순환성의 위험에 있다. 확률은 확률의 동일성을 가정하여 정의된다.[20] 대칭성이 없는 경우 정의의 효용성은 제한된다.
  • 주관적(베이지안) 확률(경쟁 해석의 한 가족)은 믿음의 정도를 고려한다. 모든 실제적인 "주관적" 확률 해석은 대부분의 주관성을 피하기 위해 합리성에 제약을 받는다. 실제 주관성은 관찰자와 분석가와는 무관한 결과를 얻기 위해 노력하는 과학의 일부 정의에 반하는 것이다.[citation needed] 과학에서 베이지안주의의 다른 적용(예: 논리 베이시안주의)은 많은 과학 연구와 사물의 고유한 주관성을 수용하고 모든 분석에 대한 주관성의 영향에 경계와 맥락을 배치하기 위해 베이지안 추론을 사용한다.[21] 이 개념의 역사적 뿌리는 법적 증거로서 그러한 숫자가 아닌 적용으로 확장되었다.
  • Propensity probability views probability as a causative phenomenon rather than a purely descriptive or subjective one.[19]

Notes

  1. ^ William Feller (1957), An Introduction to Probability Theory and Its Applications, Vol. 1, p. 4
  2. ^ a b Keynes, John Maynard; A Treatise on Probability (1921), Chapter VIII "The Frequency Theory of Probability".
  3. ^ Rhetoric Bk 1 Ch 2; discussed in J. Franklin, The Science of Conjecture: Evidence and Probability Before Pascal (2001), The Johns Hopkins University Press. ISBN0801865697 , p. 110.
  4. ^ a b Gigerenzer, Gerd; Swijtink, Porter; Daston, Beatty; Daston, Krüger (1989). The Empire of chance : how probability changed science and everyday life. Cambridge Cambridgeshire New York: Cambridge University Press. pp. 35–6, 45. ISBN 978-0-521-39838-1.
  5. ^ Ellis, Robert Leslie (1843) "On the Foundations of the Theory of Probabilities", Transactions of the Cambridge Philosophical Society vol 8
  6. ^ Ellis, Robert Leslie (1854) "Remarks on the Fundamental Principles of the Theory of Probabilities", Transactions of the Cambridge Philosophical Society vol 9
  7. ^ Cournot, Antoine Augustin (1843) Exposition de la théorie des chances et des probabilités. L. Hachette, Paris. archive.org
  8. ^ Venn, John (1888) The Logic of Chance, 3rd Edition archive.org. Full title: The Logic of Chance: An essay on the foundations and province of the theory of probability, with especial reference to its logical bearings and its application to Moral and Social Science, and to Statistics, Macmillan & Co, London
  9. ^ Hald, Anders (2004). A history of parametric statistical inference from Bernoulli to Fisher, 1713 to 1935. København: Anders Hald, Department of applied Mathematics and Statistics, University of Copenhagen. pp. 11–12. ISBN 978-87-7834-628-5.
  10. ^ Fienberg, Stephen E. (1992). "A Brief History of Statistics in Three and One-half Chapters: A Review Essay". Statistical Science. 7 (2): 208–225. doi:10.1214/ss/1177011360.
  11. ^ David, F. N. (1962). Games, Gods & Gambling. New York: Hafner. pp. 137–138. Bernoulli provided a classical example of drawing many black and white pebbles from an urn (with replacement). The sample ratio allowed Bernoulli to infer the ratio in the urn, with tighter bounds as the number of samples increased. Historians can interpret the example as classical, frequentist or subjective probability. David says, "James has definitely started here the controversy on inverse probability..." Bernoulli wrote generations before Bayes, LaPlace and Gauss. The controversy continues.
  12. ^ Hald, Anders (2004). A history of parametric statistical inference from Bernoulli to Fisher, 1713 to 1935. København: Anders Hald, Department of Applied Mathematics and Statistics, University of Copenhagen. pp. 1–5. ISBN 978-87-7834-628-5.
  13. ^ Rubin, M. (2020). ""Repeated sampling from the same population?" A critique of Neyman and Pearson's responses to Fisher". European Journal for Philosophy of Science. 10 (42): 1–15. doi:10.1007/s13194-020-00309-6.
  14. ^ Neyman, Jerzy (30 August 1937). "Outline of a Theory of Statistical Estimation Based on the Classical Theory of Probability". Phil. Trans. R. Soc. Lond. A. 236 (767): 333–380. doi:10.1098/rsta.1937.0005. Neyman's derivation of confidence intervals embraced the measure theoretic axioms of probability published by Kolmogorov a few years previously and referenced the subjective (Bayesian) probability definitions of Jeffreys published earlier in the decade. Neyman defined frequentist probability (under the name classical) and stated the need for randomness in the repeated samples or trials. He accepted in principle the possibility of multiple competing theories of probability while expressing several specific reservations about the existing alternative probability interpretation.
  15. ^ 폰 미제스, 리차드(1939) 확률, 통계, 진실 (독일어로) (영어 번역, 1981: 도버 출판물; 2 개정판. ISBN 0486242145) (p.14)
  16. ^ 빈도 이론 5장; 도널드 길레스에서 논의된 확률의 철학 이론(2000), 심리학 출판사. ISBN 9780415182751 페이지 88.
  17. ^ 확률과 통계학의 일부 단어의 초기 알려진 사용
  18. ^ Kendall, Maurice George (1949). "On the Reconciliation of Theories of Probability". Biometrika. Biometrika Trust. 36 (1/2): 101–116. doi:10.1093/biomet/36.1-2.101. JSTOR 2332534.
  19. ^ a b Hájek, Alan, Zalta, Edward N. (ed.), Interpretations of Probability, The Stanford Encyclopedia of Philosophy 날짜 값 확인: archive-date= (도움말)
  20. ^ Ash, Robert B. (1970). Basic Probability Theory. New York: Wiley. pp. 1–2.
  21. ^ Fairfield, Tasha; Charman, Andrew E. (15 May 2017). "Explicit Bayesian Analysis for Process Tracing: Guidelines, Opportunities, and Caveats". Political Analysis. 25 (3): 363–380. doi:10.1017/pan.2017.14.

참조

  • P W 브리그먼 현대 물리학의 논리, 1927년
  • 알론조 교회, 무작위 수열의 개념, 1940년
  • Harald Cramér, 수학적 통계방법, 1946
  • 윌리엄 펠러, 확률 이론과 그 적용에 대한 소개, 1957
  • P Martin-Löf, 무작위 시퀀스의 개념에 대하여, 1966
  • 리처드 폰 미제스, 확률, 통계 및 진실, 1939년(독일 원문 1928년)
  • Jerzy Neyman, 확률과 통계학 첫 코스, 1950년
  • 한스 라이헨바흐, 확률론, 1949년(독일 원문 1935년)
  • 베르트랑 러셀, 인간 지식, 1948년
  • Friedman, C. (1999). "The Frequency Interpretation in Probability". Advances in Applied Mathematics. 23 (3): 234–254. doi:10.1006/aama.1999.0653. PS