심슨의 역설

심슨의 역설은 다른 여러 이름으로도 통하는데, 여러 데이터 그룹에서 추세가 나타나지만 그룹이 결합되면 사라지거나 역전되는 확률과 통계상의 현상이다. 이 결과는 사회과학과 의학과학 통계에서 자주 접하게 되며,^[1][2][3] 특히 빈도 데이터가 지나치게 인과적 해석을 할 때 문제가 된다.^[4] 역설은 교란 변수와 인과관계가 통계 모델링에서 적절히 다뤄질 때 해결할 수 있다.^[4][5] 심슨의 역설은 통계 오용에 의해 야기될 수 있는 일종의 오해의 결과를 설명하는데 이용되어 왔다.^[6][7]

Edward H. Simpson은 1951년에 이 현상을 기술 논문에서 처음 설명했지만,^[8] 1899년에 통계학자 Karl Pearson 외 연구진,^[9] 1903년에 Udny Yule이 앞서 유사한 효과를 언급했었다.^[10] 심슨의 역설이라는 이름은 콜린 R에 의해 소개되었다. 1972년 ^[11]블라이스 심슨의 역전, 율-심슨 효과, 합병 역설, 역전 역설이라고도 한다.^[12]

예

UC 버클리 성별 편견

심슨의 역설의 가장 잘 알려진 예 중 하나는 버클리 캘리포니아 대학교의 대학원 입학사정관 중 성 편향에 대한 연구로부터 나온다. 1973년 가을의 입학전형 수치를 보면, 여성보다 지원자가 더 많은 것으로 나타났으며, 우연일 가능성은 거의 없을 정도로 차이가 컸다.^[13][14]

	전부		남자들		여성들.
	지원자	인정하였다	지원자	인정하였다	지원자	인정하였다
합계	12,763	41%	8442	44%	4321	35%

그러나 개별 학과를 살펴보면 85개 학과 중 6개 학과가 남성 편중 현상이 두드러진 반면 4개 학과가 여성 편중 현상이 두드러진 것으로 나타났다. 총합해서, 수집되고 수정된 데이터는 "작지만 통계적으로 여성에게 유리한 편향"을 보여주었다.^[14] 아래에는 6개의 가장 큰 부서의 데이터가 나열되어 있으며, 각 성별에 대한 지원자 수에 따른 상위 2개 부서의 데이터가 이탤릭체로 표시되어 있다.

부서	전부		남자들		여성들.
	지원자	인정하였다	지원자	인정하였다	지원자	인정하였다
A	933	64%	825	62%	108	82%
B	585	63%	560	63%	25	68%
C	918	35%	325	37%	593	34%
D	792	34%	417	33%	375	35%
E	584	25%	191	28%	393	24%
F	714	6%	373	6%	341	7%
합계	4526	39%	2691	45%	1835	30%

비켈 외 연구원의 연구 논문은 여성은 자격 있는 지원자들 사이에서도 입학률이 낮은 더 경쟁적인 학과에 지원하는 경향이 있는 반면, 남성은 더 높은 입학률을 가진 덜 경쟁적인 학과(예: 공학부)에 적용하는 경향이 있다고 결론지었다.^[14]

신장석치료

또 다른 예는 신장결석의 두 가지 치료의 성공률을 비교한 실제 의학 연구에서^[15] 나온 것이다.^[16] 아래 표에는 성공률(여기서 용어 성공률은 실제로 성공 비율을 의미한다)과 작은 신장 결석과 큰 신장 결석을 모두 포함하는 치료 횟수가 표시된다. 여기서 치료 A는 개방적인 수술 절차를 포함하고 치료 B는 폐쇄적인 수술 절차를 포함한다. 괄호 안의 숫자는 그룹의 전체 크기를 초과하는 성공 사례의 수를 나타낸다.

치료 스톤 사이즈	치료 A	치료 B
작은 돌	그룹 1 93% (81/87)	그룹 2 87% (234/270)
큰돌	그룹 3 73% (192/263)	그룹 4 69% (55/80)
둘 다	78% (273/350)	83% (289/350)

역설적인 결론은 A 시술이 작은 돌에 사용되었을 때, 또한 큰 돌에 사용되었을 때 더 효과적이지만, 두 가지 크기를 동시에 고려할 때 B 시술이 더 효과적인 것으로 보인다는 것이다. 이 예에서 역설의 원인이 되는 "루킹" 변수(또는 교란 변수)는 돌의 크기인데, 이전에는 그 효과가 포함되기 전까지는 연구자들에게 중요한 것으로 알려져 있지 않았다.

어떤 치료가 더 낫다고 생각되는지는 어느 성공 비율(성공/총합)이 더 큰가에 의해 결정된다. 심슨의 역설을 만들어 내는 결합된 데이터를 고려할 때 두 비율 사이의 불평등이 역전되는 것은 다음과 같은 두 가지 효과가 함께 발생하기 때문이다.

1. 잠복 변수를 무시할 때 합쳐지는 집단의 크기는 매우 다르다. 의사들은 큰 돌을 가진 케이스가 더 나은 치료법 A를 주고, 작은 돌을 가진 케이스가 더 낮은 치료법 B를 주는 경향이 있다. 따라서, 총계는 그룹 3과 그룹 2가 지배하고, 훨씬 작은 그룹 1, 4가 지배하지 않는다.
2. 잠복 변수인 돌크기는 비율에 큰 영향을 미친다. 즉, 성공률은 치료의 선택보다 사건의 심각도에 더 큰 영향을 받는다. 따라서 치료제 A(3군)를 이용한 큰 돌을 가진 환자군은 작은 돌을 가진 환자군보다 더 나쁜데, 비록 치료제 B(2군)를 사용했더라도 치료제 A군(3군)이 작은 돌을 가진 집단보다 더 나쁜 결과를 초래한다.

이러한 효과를 바탕으로 돌의 크기가 더 나은 치료의 이점(A)을 압도하기 때문에 역설적인 결과가 나타나는 것으로 보인다. 요컨대 B는 치료하기 쉬운 작은 돌 케이스에 더 자주 적용되기 때문에 효과가 덜한 치료법이 더 효과적인 것으로 보였다.^[16]

타율

심슨의 역설의 일반적인 예는 프로야구 선수들의 타율과 관련이 있다. 한 선수가 여러 해 동안 매년 다른 선수보다 타율이 높을 수는 있지만, 그 모든 해에 걸쳐 타율이 낮을 수는 있다. 이런 현상은 해가 갈수록 타수 차이가 클 때 발생할 수 있다. 수학자 켄 로스는 1995년과 1996년에 데릭 지터와 데이비드 저스티스라는 두 야구 선수의 타율을 사용하여 이것을 증명했다.^[17][18]

연도 두드리다	1995		1996		합쳐진
데릭 지터	12/48	.250	183/582	.314	195/630	.310
데이비드 저스티스	104/411	.253	45/140	.321	149/551	.270

1995년과 1996년 모두 저스티스는 지터보다 타율(볼드타입)이 높았다. 하지만 두 시즌이 합쳐지면 지터가 저스티스보다 높은 타율을 보인다. 로스에 따르면, 이 현상은 가능한 선수들 중 1년에 한 번 정도 관찰될 것이라고 한다.^[17]

벡터 해석

심슨의 역설은 2차원 벡터 공간을 이용해 설명할 수도 있다.^[19] A success rate of ${\displaystyle \textstyle {\frac {p}{q}}}$ (i.e., successes/attempts) can be represented by a vector ${\displaystyle {\overrightarrow {A}}=(q,p)}$, with a slope of ${\displaystyle \textstyle {\frac {p}{q}}}$. A steeper vector then represents a greater success rate. If two rates ${\displaystyle \textstyle {\frac {p_{1}}{q_{1}}}}$ and ${\displaystyle \textstyle {\frac {p_{2}}{q_{2}}}}$ are combined, as in the examples given above, the result can be represented by the sum of the vectors ${\displaystyle (q_{1},p_{1})}$ and ${\displaystyle (}$${\displaystyle (q_{2},p_{2})}$, which according to the parallelogram rule is the vector ${\displaystyle (q_{1}+q_{2},p_{1}+p_{2})}$, with slope ${\displaystyle \textstyle {\frac {p_{1}+p_{2$$}}{q_{1}+q_{2$

Simpson's paradox says that even if a vector ${\displaystyle {\overrightarrow {L_{1}}}}$ (in orange in figure) has a smaller slope than another vector ${\displaystyle {\overrightarrow {B_{1}}}}$ (in blue), and ${\displaystyle {\overrightarrow {L_{2}}}}$ has a smaller slope than ${\displaystyle \stackrel{}{B_2}}$${\displaystyle {\overrightarrow {B_{2}}}}$, the sum of the two vectors ${\displaystyle {\overrightarrow {L_{1}}}+{\overrightarrow {L_{2}}}}$ can potentially still have a larger slope than the sum of the two vectors ${\displaystyle {\overrightarrow {B_{1}}}+{\overrighta$$rrow{B_{2$}}: 예시와 같이$.$ 이렇게 되려면 주황색 벡터 중 하나가 파란색 벡터(여기서 ${\displaystyle \stackrel{}{{L2\mathrm{}}_{}}}$→ ${\$ {$L_{2}}:$ 및$$ ${\displaystyle \stackrel{}{{B\mathrm{}}_{}}}$ 1${\displaystyle \stackrel{}{{}_{}}}$→ ${\$ 중 하나보다 더 큰 기울기를 가져야 하며,$$ 일반적으로 다른 첨자 벡터보다 길어서 오버럴을 지배하게 된다.비교해서

변수 간의 상관 관계

심슨의 역설은 두 변수가 서로 긍정적인 상관관계를 가지는 것으로 보이는 상관관계에서도 발생할 수 있는데, 두 변수가 실제로 부정적인 상관관계를 가지고 있을 때, 그 반전은 "루킹" 교란자에 의해 야기되었다. Berman 등은 ^[20]경제학에서 예를 들며, 데이터 집합이 전반적인 수요가 기대와 반대로 가격(즉, 높은 가격이 더 많은 수요로 이어진다는 것)과 긍정적으로 상관되어 있음을 시사한다. 분석 결과 혼동 변수가 될 시간이 있음을 알 수 있다: 시간과 가격을 기준으로 가격과 수요를 모두 표시하면 여러 기간에 걸쳐 예상되는 부정적인 상관관계가 드러나고, 단순히 가격에 대한 수요를 표시함으로써 시간의 영향을 무시하면 긍정적인 관계가 된다.

심리학

심슨의 역설에 대한 심리적 관심은 왜 사람들이 처음에는 사인 반전이 불가능하다고 생각하는지 설명하려고 하는데, 이는 한 가지 조건 하에서 그리고 그 조건의 부정 아래에서 선호되는 행동은 그 상태를 알 수 없을 때 거부되어야 한다는 생각에 불쾌하다. 문제는 사람들이 어디서 이런 강한 직관을 얻는가, 그리고 그것이 어떻게 마음 속에 암호화되어 있는가 하는 것이다.

심슨의 역설은 이 직관이 고전적 논리나 확률적 미적분학에서만 파생될 수 없음을 증명하고, 따라서 철학자들은 이 직관이 행동과 그들의 결과에 대해 추론하는 데 있어서 사람들을 인도하는 선천적인 인과적 논리에 의해 뒷받침된다고 추측하게 했다.^{[citation needed]} 새비지의 확실한 원칙은^[11] 그러한 논리가 수반할 수 있는 것의 예다. 새비지의 확실히 보장된 것은 원리의 자격을 갖춘 버전 정말 펄의 do-calculus[4]에서 나와서"각 소집단에서 사 C또한 전체 인구에서 B의 확률을 높이어야 하는 행사 B의 가능성을 증가시킨 소송은 A,은 이 방침은 일부의 사람들의 유통을 바꾸지만 않는다면 말을 읽고 파생될 수 있다.s." 이것은 행동과 결과에 대한 지식이 베이지안 네트워크와 유사한 형태로 저장된다는 것을 암시한다.

확률

Pavlides와 Perlman의 논문은 Hadjicostas 때문에 균일한 분포를 가진 임의의 2 × 2 표에서 심슨의 역설은 정확히 일어날 확률을 가지고 일어날 것이라는 증거를 제시한다. ½60.^[21] Kock의 연구에 따르면 2개의 예측 변수와 1개의 기준 변수가 있는 경로 모델(즉, 경로 분석에 의해 생성된 모델)에서 심슨의 역설 현상이 무작위로 발생할 확률은 약 12.8%로 8개의 경로 모델당 1개보다 약간 높다.^[22]

심슨의 두 번째 역설

잘 알려지지 않은 두 번째 역설은 에드워드 H. 심슨의 1951년 논문에서도 논의되었다. 심슨의 역설처럼 '감각적 해석'이 반드시 분리된 데이터에서 발견되는 것이 아니라 오히려 결합된 데이터에서 존재할 수 있을 때 발생할 수 있다. 어떤 형태의 데이터를 사용해야 하는지 배경과 데이터가 생성되는 과정에 달려있는지, 즉 데이터의 정확한 해석은 단순히 표를 관찰한다고 해서 항상 결정할 수 없다.^[23]

참고 항목

• Anscombe의 4중주 – 기술 통계량은 동일하지만 분포는 매우 다른 4개의 데이터 세트
• Berkson의 역설 – 조건부 확률을 포함하는 통계적 실험을 잘못 해석하는 경향
• 체리 따기 – 불완전한 증거의 오류
• 콘도르케트 역설 – 집단 선호가 순환하는 사회적 선택 이론의 상황
• 생태학적 오류 – 집단 특성이 개인에게 적용될 때 발생하는 논리적 오류
• 저출산의 역설 – 명백히 흡연하는 어머니 자녀의 출산율과 사망률에서 역설적인 관찰
• 수정 가능한 영역 단위 문제 – 공간 현상의 점 기반 측정이 구역으로 통합될 때 나타나는 통계적 편향
• 검사의 오류 – 통계적 추론의 오류

참조

참고 문헌 목록

• 레일라 슈냅스와 코랄리 콜메즈, 수학 시험 중 2013년 베이직 북스 법정에서 숫자가 어떻게 사용되고 남용되는가. ISBN 978-0-465-03292-1(제6장: 수학오류번호 6: 심슨의 역설) 버클리 성 편향 사례: 차별 탐지).

외부 링크

위키미디어 커먼즈에는 심슨의 역설과 관련된 미디어가 있다.

• 얀 스프렌저와 나프탈리 와인버거가 쓴 스탠포드 철학 백과사전에서 심슨의 역설.
• 통계가 오해의 소지가 있는 방법 – Mark Liddell – TED-Ed 비디오 및 교훈.
• 펄, 유대, "심슨의 역설 이해"(PDF)
• 심슨의 역설의 벡터 해석에 관한 알렉산더 보고몰니의 짧은 글.
• 2009년 12월 2일자 월스트리트저널 칼럼 "The Numbers Guy"는 심슨의 역설적인 최근 사례를 뉴스에서 다루었다. 특히 심슨의 역설은 2009년 경기침체와 1983년 경기침체를 비교한 것이다.
• 판에서, 통계 퍼즐러: 아서 스미스의 심슨의 역설 이해, 2010년 8월 20일
• 심슨의 역설, 미분물리학 헨리 라이히의 영상