모든 모델이 잘못됨

All models are wrong

"모든 모델은 틀렸다"는 통계의 일반적인 표현이다; 그것은 종종 "모든 모델은 틀렸지만, 일부는 유용하다"로 확대된다. 일반적으로 통계적 모델뿐만 아니라 일반적으로 과학적 모델에도 적용할 수 있는 것으로 간주된다. 금언론은 통계적 또는 과학적 모델들이 항상 현실의 복잡성에 미치지 못하지만 여전히 쓸모가 있다는 것을 인정한다.

비록 근본적인 개념이 Box의 저술보다 앞서지만, 이 진부한 표현은 일반적으로 통계학자 George Box에 기인한다.

조지 박스의 인용구

박스가 "모든 모델이 틀렸다"고 말한 첫 기록은 미국통계협회 저널에 게재된 1976년 논문에 있다.[1] 1976년 논문은 진부한 표현을 두 번 담고 있다. 이 논문의 두 절은 다음과 같다.

2.3 시모니
모든 모델이 잘못되었기 때문에 과학자는 지나친 정교함으로 "올바른" 모델을 얻을 수 없다. 반대로 그는 자연현상에 대한 경제적인 설명을 구해야 한다. 단순하지만 환기시키는 모델을 고안하는 능력이 위대한 과학자의 표식인 것처럼 과대포장 및 과대모수화는 흔히 평범함의 표식이다. 2.4 선택적으로 걱정한다.
모든 모델이 틀렸기 때문에 과학자는 무엇이 잘못되었는지에 대해 경각심을 가져야 한다. 해외에 호랑이가 있는데 쥐를 걱정하는 것은 부적절하다.

Box는 1978년 통계 워크숍의 진행에 발표된 논문에서 이러한 격언을 반복했다.[2] 이 논문에는 "모든 모델은 잘못되었지만 일부는 유용하다"는 제목의 섹션이 포함되어 있다. 그 부분은 아래에 복사되어 있다.

이제 현실 세계에 존재하는 어떤 시스템이라도 어떤 단순한 모델에 의해 정확하게 표현될 수 있다면 매우 놀랄 것이다. 그러나 교활하게 선택된 단순화 모델은 종종 눈에 띄게 유용한 근사치를 제공한다. 예를 들어, PV = RT 관련 법칙 PV, Volume V 및 상수 R을 통한 "이상" 가스의 온도 T는 실제 가스에 대해 정확히 사실이 아니지만, 유용한 근사치를 자주 제공하며, 가스 분자의 거동에 대한 물리적 시각에서 발생하기 때문에 더 나아가 그 구조가 유익하다. 그러한 모델에는 "모델이 사실인가?"라는 질문을 할 필요가 없다. 만약 "진실"이 "진실"이 되려면 대답은 "아니오"가 되어야 한다. 유일한 관심사는 "모델이 빛나고 유용한가?"이다.

박스는 1987년 저서 '경험적 모델 구축과 반응 표면'(노먼 드레이퍼와 공동 저술한 책)에서 이런 격언을 두 번 더 반복했다.[3] 첫 번째 반복은 74페이지에 있다: "모든 모델이 틀렸다는 것을 기억하라; 실제적인 질문은 그들이 유용하지 않기 위해 얼마나 잘못되어야 하는가이다." 두 번째 반복은 아래에서 발췌한 424페이지에 있다.

...모든 모델은 근사치 입니다. 본질적으로 모든 모델은 틀리지만 일부는 유용하다. 그러나 모델의 대략적인 성질은 항상 염두에 두어야 한다...

이 책의 두 번째 판은 2007년에 반응 표면, 혼합물 및 능선 분석이라는 제목으로 출판되었다. 제2판 역시 초판(63쪽과 414쪽)의 그것과 같은 맥락에서 절충론을 두 번 반복한다.[4]

Box는 1997년 저서 Statistical Control에서 이런 격언을 두 번 더 반복했다. 모니터링 및 피드백 조정(Alberto Luceno와 공동 작성).[5] 첫 번째 반복은 아래 발췌한 페이지 6에 있다.

"모든 모델은 틀리지만 일부 모델은 유용하다"는 말이 있다. 다시 말해, 어떤 모델도 기껏해야 유용한 허구일 뿐이다. 정확히 정규 분포나 정확한 선형 관계는 없었거나 앞으로도 없을 것이다. 그럼에도 불구하고 그러한 소설을 재미있게 접하고 근사치로 사용함으로써 엄청난 진보가 이루어졌다.

두 번째 반복은 페이지 9에 있다: "그러므로 모든 모델이 잘못되었으므로, 무엇을 걱정해야 하는지 아는 것이 매우 중요하다; 또는 다른 방식으로 표현하면, 어떤 모델이 실제로 작동하는 절차를 생산할 가능성이 있는지(정확한 가정은 결코 사실이 아니다)"

이 책의 두 번째 판은 2009년에 '모니터링 및 조정별 통계적 통제(Alberto Luceno, Maria del Carmen Paniagua-Quiynones와 공동저자)'라는 제목으로 출판되었다. 제2판도 진언설을 두 번 반복한다.[6] 첫 번째 반복은 아래에 발췌한 61페이지에 있다.

모든 모델은 근사치 입니다. 가정은 암묵적이든 명료하게 언급되든 결코 정확히 진실하지 않다. 모든 모델이 틀리지만 일부 모델은 유용하다. 그래서 당신이 물어봐야 할 질문은 "모델이 사실인가?"가 아니라 "모델이 이 특정한 애플리케이션에 충분한가?"이다.

두 번째 반복은 페이지 63에 있다; 그것의 맥락은 본질적으로 첫 판의 두 번째 반복의 그것과 같다.

박스가 널리 인용한 '실험자를 위한 통계학'(윌리엄 헌터와 공동저자)은 초판(1978년 출판)에 이런 격언은 포함하지 않는다.[7] 제2판(2005년 출판, 윌리엄 헌터, J. 스튜어트 헌터와 공동저자)에는 금욕주의가 3번 포함되어 있다: 208쪽, 384쪽, 440쪽.[8] 페이지 440에서 관련 문장은 다음과 같다: "어떤 모델에서나 기대할 수 있는 가장 큰 문장은 현실에 유용한 근사치를 제공할 수 있다는 것이다. 모든 모델이 잘못되었다. 일부 모델은 유용하다."

박스는 진부한 표현 외에도 진부한 표현으로 진부한 표현을 쓰기도 했다. 한 예는 1978년인데 반해 박스는 미국통계협회 회장이었다. 협회의 연례 회의에서, 박스는 대통령 연설을 했다. 그는 거기서 "물론, 모델은 결코 사실이 아니지만, 다행스럽게도 그것은 유용할 필요가 있을 뿐이다"[9]라고 말했다.

토론

진부함에 대한 다양한 논의가 있었다. 그 논의들 중에서 선택할 수 있는 것이 아래에 제시되어 있다.

1983년, 통계학자 피터 맥컬라와 존 넬더는 일반화된 선형 모델에 대한 그들의 많은 관심을 받은 책을 출판했다. 이 책에는 (박스를 인용하지 않았지만) 진부함에 대한 간략한 논의가 포함되어 있다.[10] 1989년에 출판된 이 책의 두 번째 판은 매우 유사한 금욕주의에 대한 논의를 담고 있다.[11] 초판부터의 논의는 다음과 같다.

과학에서의 모델링은 부분적으로 예술로 남아있다. 그러나, 일부 원칙들은 모듈러들을 인도하기 위해 존재한다. 첫번째는 모든 모델이 틀렸다는 것이다; 하지만 어떤 모델은 다른 모델보다 더 낫고 우리는 더 좋은 모델을 찾을 수 있다. 동시에 우리는 영원한 진리가 우리의 손아귀 안에 있지 않다는 것을 인식해야 한다.

1995년 통계학자 데이비드 콕스 경은 다음과 같이 논평했다.[12]

…모든 모델이 틀렸다고 말하는 것만으로는 도움이 되지 않는 것 같다. 바로 그 단어 모델은 단순화와 이상화를 암시한다. 복잡한 물리적, 생물학적 또는 사회학적 시스템을 몇 가지 공식으로 정확하게 설명할 수 있다는 생각은 명백히 터무니없는 것이다. 그러나 그러한 시스템의 중요한 안정적 측면을 포착하는 이상적 표현의 구축은 일반 과학 분석과 통계적 모델, 특히 실질적인 모델에서 필수적인 부분이며 다른 종류의 모델과 본질적으로 다르지 않아 보인다.

1996년, 응용통계학자의 신조(Applicated Statisticalian's Credge)가 제안되었다.[13] 크리드에는 그 핵심부분의 진부함이 포함되어 있다.

2002년에는 K. P. 번햄과 D. R. Anderson은 통계적 모델 선택에 관한 그들의 열렬한 책을 출판했다. 이 책에는 다음과 같은 내용이 적혀 있다.[14]

모델은 현실의 단순화 또는 근사치로서 모든 현실을 반영하지는 못할 것이다. ... 박스는 "모든 모델이 잘못됐지만 일부는 유용하다"고 지적했다. 모델은 결코 "진실"이 될 수 없지만, 모델은 매우 유용한 것부터 유용한 것, 그리고 마지막으로 본질적으로 쓸모없는 것으로 분류될 수 있다.

통계학자 J. Michael Steel은 금욕주의에 대해 다음과 같이 논평했다.[15]

... 도시 지도 같은 멋진 모델들이 있다.

내가 지도가 틀렸다고 하면 건물 이름이 잘못 표기되어 있거나, 일방통행 방향의 라벨이 잘못 표기되어 있다는 뜻이다. 나는 내 지도가 모든 물리적 현실을 재현할 것이라고는 전혀 예상하지 못했고, 내 지도가 대답해야 한다고 주장하는 질문에 제대로 답하지 못할 때에만 바가지를 쓴다는 느낌이 든다.

나의 필라델피아 지도는 유용하다. 더구나 시대에 뒤떨어진 몇몇을 제외하고는 틀리지 않았다.

그래서, "그래, 지도는 하나의 모델로 생각할 수 있지만, 확실히 지도가 '시각적으로 강화된 데이터베이스'라고 하는 것이 더 정확할 것이다. 그러한 데이터베이스는 정확할 수 있다. 이런 모델들은 박스가 염두에 두고 있었던 그런 모델이 아니다.

동감이다...

2008년 통계학자 앤드루 겔만은 이에 대해 특히 다음과 같은 반응을 보였다.[16]

나는 거리 지도가 정확히 정확할 수 있다는 그의 일반적인 점을 지도의 해상도로 받아들인다.

…'모든 모델은 틀렸다'는 말은 완전히 명백하지 않기 때문에 도움이 된다....

이것은 간단한 지적이고, 사람들이 그것에 대해 크게 지적하는 것에 대해 어떻게 스틸이 짜증날 수 있는지 알 수 있다. 하지만, 문제는 많은 사람들이 모든 모델이 틀렸다는 것을 깨닫지 못한다는 것이다.

2013년 과학철학자 피터 트루란은 금욕주의와 관련된 에세이를 출간했다.[17] 특히 에세이는 다음과 같이 기록하고 있다.

...양립할 수 없을 것 같은 모델은 같은 현상에 대해 예측하는 데 사용될 수 있다. 각 모델에 대해 우리는 예측력이 적어도 대략적으로 참임을 나타내는 지표라고 믿을 수 있다. 그러나 두 모델이 모두 예측에 성공했지만 상호 일관성이 없다면 어떻게 둘 다 진실일 수 있는가? 간단한 예를 들어보자. 두 명의 관찰자가 물체를 보고 있다. 하나는 원형 디스크를 보고 다른 하나는 직사각형을 보고 보고 보고할 수 있다. 둘 다 맞겠지만 하나는 위에서 물체(원통형 깡통)를 보고 다른 하나는 옆에서 관찰하고 있을 것이다. 두 모델은 같은 현실의 다른 측면을 나타낸다.

트루란의 에세이는 뉴턴의 중력 이론이 아인슈타인의 상대성 이론에 의해 대체되었지만, 뉴턴의 이론은 일반적으로 "empirically적으로 적절하다"고 지적한다. 실제로 뉴턴의 이론은 일반적으로 예측력이 뛰어나다. 그러나 뉴턴의 이론은 아인슈타인 이론의 근사치가 아니다. 예를 들면, 사과가 나무에서 떨어지는 것을 생각해보라. 뉴턴의 이론에 따르면, 사과가 떨어지는 이유는 지구가 사과에 힘을 가하기 때문인데, 이것은 "중력의 힘"이라고 불린다. 아인슈타인의 이론에 따르면, 지구는 사과에 어떤 힘도 행사하지 않는다.[18] 따라서 뉴턴의 이론은 어떤 의미에서는 완전히 틀리지만 극히 유용한 것으로 간주될 수도 있다.(뉴턴 이론의 유용성은 부분적으로 아인슈타인의 이론보다 수학적으로나 계산적으로 대단히 단순하다는 데서 비롯된다.)

2014년 통계학자 데이비드 핸드(David Hand)[19]는 다음과 같은 진술을 했다.

일반적으로 통계적 모델을 구축할 때, 우리는 현실 세계에 대한 무언가를 이해하는 것이 목표라는 것을 잊어서는 안 된다. 또는 행동을 예측하고, 결정을 내리고, 증거를 요약하고, 그 밖의 것들을 하지만, 추상적인 수학 세계가 아닌 현실 세계에 대해 항상: 우리의 모델은 현실이 아니다. 즉 조지 박스가 "모든 모델은 틀렸지만, 어떤 것은 유용하다"고 말한 것에서 잘 만들어진 요점이다.

2016년에는 P. J. 비켈과 K. A. 독섬은 수학 통계학 제2권을 출판했다. 그 책에는 위에 주어진 박스의 대통령 연설의 인용구가 포함되어 있다. 그것은 인용문이 "현대 통계학의 길잡이 원리"[20]의 가장 좋은 공식이라고 말한다.

또한 2011년에는 네덜란드에서 모델 선택에 관한 워크숍이 열렸다. 워크숍의 이름은 "모든 모델이 틀렸다..".[21]

역사적 선행자

비록 이 격언은 조지 박스에서 유래된 것처럼 보이지만, 근본적인 개념은 수십 년, 아마도 수 세기 전으로 거슬러 올라간다. 그것에 대한 몇 가지 예가 아래에 제시되어 있다.

1960년에 게오르크 라쉬는 다음과 같이 말했다.

... 어떤 모델도 [진실]은 아니다. 뉴턴의 법칙도 아니다. 모델을 작성할 때, 당신이 원하는 지식을 가지고 본질적으로 고려하지 않는 모든 세부사항을 생략한다. 모델은 참이 아니어야 하지만, 해당 모델이 적용되는 것이 중요하며, 특정 목적에 적용되는지 여부는 당연히 조사되어야 한다. 이것은 또한 모델이 최종적으로 받아들여지지 않는다는 것을 의미하며, 오직 시험으로만 받아들여진다.

—.mw-parser-output cite.citation{font-style:상속을 하다;word-wrap:break-word}.mw-parser-output .citation q{인용:")"""\"""'""'"}.mw-parser-output .citation:target{background-color:rgba(0,127,255,0.133)}.mw-parser-output.id-lock-freea,.mw-parser-output .citation .cs1-lock-free{.배경:linear-gradient(transparent,transparent),url("//upload.wikimedia.org/wikipedia/commons/6/65/Lock-green.svg")right 0.1em center/9pxno-repeat}.mw-parser-output .id-lock-limiteda,.mw-parser-output .id-lock-registration a,.mw-parser-output .citation .cs1-lock-limiteda,.mw-parser-output .citation .cs1-lock-registration{.배경:linear-gradient(transparent,transparent),url("//upload.wikimedia.org/wikipedia/commons/d/d6/Lock-gray-alt-2.svg")right 0.1em center/9pxno-repeat}.mw-parser-output .id-lock-subscription a,.mw-parser-output .citation .cs1-lock-subscription{.배경:linear-gradient(transparent,transparent),url("//upload.wikimedia.org/wikipedia/commons/a/aa/Lock-red-alt-2.svg")right 0.1em center/9pxno-repeat}.mw-parser-output{배경 .cs1-ws-icon:linear-gradient(transparent,transparent),url("//upload.wikimedia.org/wikipedia/commons/4/4c/Wikisource-logo.svg")right 0.1emcenter/12pxno-repeat}.mw.-parser-output .cs1-code{색:상속을 하다;배경:상속을 하다;국경 아무 것도 없고 패딩: 물려받다}.mw-parser-output .cs1-hidden-error{디스플레이:아무도, 색:#d33}.mw-parser-output .cs1-visible-error{색:#d33}.mw-parser-output .cs1-maint{디스플레이:아무도, 색:#3a3, margin-left:0.3em}.mw-parser-output .cs1-format{:95%font-size}.mw-parser-output .cs1-kern-left{.Padding-left:0.2em}.mw-parser-output .cs1-kern-right{padding-right:0.2em}.mw-parser-output .citation .mw-selflink{font-weight:상속}Rasch, G.(1960년), 확률적 모델 일부 지능과 Attainment 시험용, 코펜하겐:덴마크 Paedagogiske 승인하는,를 대신하여 서명함. 37–38, 1980년에 시카고 대학 출판부에서 제외.

1947년, 수학자 존 폰 노이만은 "진실은... 근사치 외에는 어떤 것도 허락하기엔 너무 복잡하다"고 말했다.[22]

1942년 프랑스의 철학자 시인 폴 발레리는 다음과 같이 말했다.[23]

Cequi est simple est toujours faud. 세규 Cequi ne'est pas est est use는 쓸모가 없다.

단순한 것은 언제나 잘못된 것이다. 그렇지 않은 것은 쓸모가 없다.[24]

—Valéry, Paul (1942), Mauvaises pensées et autres, Paris: Éditions Gallimard

1939년 통계공정통제 창시자인 월터 쉐하트는 다음과 같이 말했다.[25]

... 어떤 모델도 통계적 통제 상태의 무한 확장 가능한 개념을 완전하고 독특하게 특징지을 이론적으로 달성할 수 없다. 아마도 더욱 중요한 것은, 수열의 유한한 부분에 기초하여 [X1, X2, X3, X, ...] 그리고 우리는 결코 유한한 부분 이상을 가질 수 없다. 그러한 상태가 실제로 존재한다고 하더라도 특정 통제 상태의 특정 특성을 정확히 나타내는 모델을 만들기를 합리적으로 기대할 수는 없다. 여기서 상황은 우리가 분자의 모형을 발견하는 물리과학과 매우 비슷하다; 어떤 모형도 분자라 불리는 착상된 물리적인 것의 불완전하지만 유용한 그림이다.

— Shewhart, W. A. (1939), Statistical Method From the Viewpoint of Quality Control, U.S. Department of Agriculture, p. 19

1923년, 관련 사상은 화가 파블로 피카소에 의해 표현되었다.

우리 모두는 예술이 진실이 아니라는 것을 안다. 예술은 적어도 우리에게 이해하라고 주어진 진리를 깨닫게 하는 거짓말이다. 예술가는 자신의 거짓말의 진실성을 다른 사람들에게 납득시키는 방법을 알아야 한다.

— Picasso, Pablo (1923), "Picasso speaks", The Arts, 3: 315–326;[26] reprinted in Barr, Alfred H., Jr. (1939), Picasso: Forty Years of his Art (PDF), Museum of Modern Art, pp. 9–12

참고 항목

메모들

  1. ^ Box, G. E. P. (1976), "Science and statistics" (PDF), Journal of the American Statistical Association, 71 (356): 791–799, doi:10.1080/01621459.1976.10480949.
  2. ^ Box, G. E. P. (1979), "Robustness in the strategy of scientific model building", in Launer, R. L.; Wilkinson, G. N. (eds.), Robustness in Statistics, Academic Press, pp. 201–236, doi:10.1016/B978-0-12-438150-6.50018-2, ISBN 9781483263366.
  3. ^ Box, G. E. P.; Draper, N. R. (1987), Empirical Model-Building and Response Surfaces, John Wiley & Sons.
  4. ^ Box, G. E. P.; Draper, N. R. (2007), Response Surfaces, Mixtures, and Ridge Analyses, John Wiley & Sons.
  5. ^ Box, G. E. P.; Luceño, A (1997), Statistical Control: By Monitoring and Feedback Adjustment, John Wiley & Sons.
  6. ^ Box, G. E. P.; Luceño, A.; del Carmen Paniagua-Quiñones, M. (2009), Statistical Control By Monitoring and Adjustment, John Wiley & Sons.
  7. ^ Box, G. E. P.; Hunter, W. G. (1978), Statistics for Experimenters, John Wiley & Sons.
  8. ^ Box, G. E. P.; Hunter, J. S.; Hunter, W. G. (2005), Statistics for Experimenters (2nd ed.), John Wiley & Sons.
  9. ^ Box, G. E. P. (1979), "Some problems of statistics and everyday life", Journal of the American Statistical Association, 74 (365): 1–4, doi:10.2307/2286713, JSTOR 2286713.
  10. ^ McCullagh, P.; Nelder, J. A. (1983), Generalized Linear Models, Chapman & Hall, §1.1.4.
  11. ^ McCullagh, P.; Nelder, J. A. (1989), Generalized Linear Models (second ed.), Chapman & Hall, §1.1.4.
  12. ^ Cox, D. R. (1995), "Comment on "Model uncertainty, data mining and statistical inference"", Journal of the Royal Statistical Society, Series A, 158: 455–456.
  13. ^ Nester, M. R. (1996), "An applied statistician's creed" (PDF), Journal of the Royal Statistical Society, Series C, 45 (4): 401–410, doi:10.2307/2986064, JSTOR 2986064.
  14. ^ Burnham, K. P.; Anderson, D. R. (2002), Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach (2nd ed.), Springer-Verlag, §1.2.5. [1919년 10월 현재, 이 책의 복합판은 구글 스콜라에서 인용한 것이 48,000개가 넘는다.]
  15. ^ 스틸, J. M. "모델: 걸작과 구차한 변명"
  16. ^ 겔만(2008년 6월 12일)은 "모든 모델은 틀리지만 일부는 유용하다"는 말에 대한 생각도 있다고 말했다.
  17. ^ Truran, P. (2013), "Models: Useful but not true", Practical Applications of the Philosophy of Science, SpringerBriefs in Philosophy, Springer, pp. 61–67, doi:10.1007/978-3-319-00452-5_10, ISBN 978-3-319-00451-8.
  18. ^ 아인슈타인의 상대성 이론에 따르면, 사과가 떨어지는 주된 이유는 지구가 시간을 뒤틀어서 나무 밑바닥 근처의 시계가 나무의 높은 곳에 있는 시계보다 더 느리게 뛰기 때문이다; 또한 2차적인 이유가 있는데, 그것은 지구가 공간을 뒤틀기 때문이다. 아인슈타인의 이론에 대한 경험적 증거는 매우 강하다. 예를 들어 GPS는 아인슈타인의 이론에 의존하고 있으며, 뉴턴의 이론에 의존한다면 그것은 효과가 없을 것이다(2002년).
  19. ^ Hand, D. J. (2014), "Wonderful examples, but let's not close our eyes", Statistical Science, 29: 98–100, arXiv:1405.4986, doi:10.1214/13-STS446.
  20. ^ Bickel, P. J.; Doksum, K. A. (2016), Mathematical Statistics, vol. II, Chapman & Hall, p. 2.
  21. ^ Wit, E.; van den Heuvel, E.; Romeijn, J.-W. (2012), "'All models are wrong...': an introduction to model uncertainty" (PDF), Statistica Neerlandica, 66 (3): 217–236, doi:10.1111/j.1467-9574.2012.00530.x. [워크샵 웹 페이지도 참조: "모든 모델이 잘못되었어....".]
  22. ^ von Neumann, J. (1947), "The mathematician", in Haywood, R. B. (ed.), Works of the Mind, University of Chicago Press, pp. 180–196; 1995년에 Brody F, Vamos T (편집자), The Neumann Compendium, World Scientific, 페이지 618–626에 의해 다시 출판되었다.
  23. ^ 발레리의 인용과 "모든 모델은 틀렸다"는 진언의 연관성은 밴캣(2013, §1.7)과 같은 다양한 저자들에 의해 주목되어 왔다.
  24. ^ 일부 저자들은 발레리(1970, 페이지 466), 울프슨 & 머피(1998), 반카트(2013, §1.7)와 같은 다른 영어 번역본을 주었다. 여기에 제시된 번역은 구글 번역이 주었는데, 울프슨 & 머피의 번역문인 "What"과 "What"이 "What"이 "What"이 "What"으로 번역된 것과 단 한 단어밖에 다르다.
  25. ^ 셰하트의 인용과 "모든 모델은 틀렸다"는 격언의 연관성은 프리커&우달(2016년)이 주목한다.
  26. ^ 이 인용문은 원래 스페인어(마리우스 드 자야스의 인터뷰 중)로 제시되었다. 인용된 출판물은 영어로 되어 있다.

참조

추가 읽기

외부 링크