일원 분산 분석

통계에서 일원 분산 분석(약칭 일원 분산 분석)은 두 표본 평균이 유의하게 다른지(F 분포를 사용)를 비교하는 데 사용할 수 있는 기법이다. 이 기법은 숫자 반응 데이터인 "Y", 일반적으로 하나의 변수, 숫자 또는 (일반적으로) 범주형 입력 데이터인 "X"에만 사용할 수 있으며, 따라서 항상 하나의 변수, 즉 "일방향"^[1]에만 사용할 수 있다.

분산 분석은 모든 그룹의 표본이 동일한 평균 값을 가진 모집단에서 추출된다는 귀무 가설을 검정한다. 이를 위해 모집단 분산에 대한 두 가지 추정치가 작성된다. 이러한 추정치는 다양한 가정에 의존한다(아래 참조). 분산 분석은 평균 간에 계산된 분산 대 표본 내의 분산 비율인 F-통계학적 분산을 생성한다. 집단 평균이 동일한 평균값을 가진 모집단에서 추출된 경우, 집단 평균 간의 분산이 중심 한계 정리 후 표본의 분산보다 낮아야 한다. 따라서 비율이 높을수록 표본이 다른 평균값을 가진 모집단에서 추출되었음을 의미한다.^[1]

그러나 일반적으로 일원 분산 분석은 t-검정으로 적용될 수 있기 때문에 최소 3개 그룹 간의 차이를 검정하는 데 사용된다(Gosset, 1908). 비교할 수 있는 평균이 두 개뿐인 경우 t-검정과 F-검정은 동일하다. 분산 분석과 t의 관계는 F = t로² 주어진다. 일원 분산 분석의 확장은 두 개의 서로 다른 범주형 독립 변수가 하나의 종속 변수에 미치는 영향을 조사하는 이원 분산 분석이다.

가정

단방향 분산 분석 결과는 다음과 같은 가정이 충족되는 한 신뢰할 수 있는 것으로 간주할 수 있다.

반응 변수 잔차는 정규 분포를 따른다(또는 거의 정규 분포를 따른다).
모집단의 분산이 같다.
주어진 그룹에 대한 반응은 독립적이고 동일한 분포의 정규 랜덤 변수(단순 랜덤 표본(SRS)가 아님)이다.

데이터가 서수일 경우 Kruskal-Wallis 일원 분산 분석과 같은 이 검정에 대한 비모수 대안을 사용해야 한다. 분산이 같지 않은 경우 2-표본 웰치의 t-검정을 일반화할 수 있다.^[2]

모집단 정규성으로부터의 이탈

분산 분석은 정규성 가정의 위반과 관련하여 비교적 강력한 절차다.^[3]

일원 분산 분석은 공분산 분석뿐만 아니라 요인 및 다변량 레이아웃에도 일반화할 수 있다.^{[clarification needed]}

특히 작은 알파 수준과 불균형한 레이아웃에 대해 각 모집단이 정규 분포를 따른다는 가정에 대한 심각한 위반이 있을 때 이러한 F-검정 중 어느 것도 강력하지 않다는 것이 흔히 통속 문헌에 명시되어 있다.^[4] 더욱이, 균질성에 대한 기본적인 가정이 위반될 경우, 제1종 오류 특성은 훨씬 더 심각하게 변질된다는 주장도 있다.^[5]

그러나 이는 1950년대와 그 이전에 행해진 일을 바탕으로 한 오해다. 몬테카를로 시뮬레이션에 의한 이 문제에 대한 최초의 종합적인 조사는 도날드슨(1966년)이었다.^[6] 그는 일반적인 출발(양극성 꼬치, 불평등 분산)에서 "F-검정은 보수적"이라는 것을 보여주었고, 따라서 변수가 유의하다는 것을 발견하는 것보다 덜 가능성이 있다. 그러나 표본 크기나 셀의 수가 증가함에 따라 "힘 곡선은 정규 분포를 바탕으로 그것과 수렴되는 것 같다"고 한다. 티쿠(1971)는 "F의 비정규 이론 파워는 표본 크기가 증가함에 따라 급격히 감소하는 보정 용어에 의해 정상 이론 파워와 다른 것으로 밝혀졌다"^[7]고 밝혔다. 특히 대형 표본의 비정규성 문제는 대중적인 기사가 시사하는 것보다 훨씬 덜 심각하다.

현재의 견해는 "몬테 카를로 연구는 모집단에서 분석된 변수의 정규 분포 가정에 대한 위반에 얼마나 민감한지를 결정하기 위해 정규 분포 기반 검정과 함께 광범위하게 사용되었다. 이러한 연구의 일반적인 결론은 그러한 위반의 결과가 이전에 생각했던 것보다 덜 심각하다는 것이다. 비록 이러한 결론들이 정규성 가정에 대해 아무도 관심을 갖지 못하게 완전히 좌절시켜서는 안 되지만, 그것들은 연구의 모든 영역에서 분포에 의존하는 통계 시험의 전반적인 인기를 증가시켰다."^[8]

요인 레이아웃의 비모수 대안은 Sawilowsky를 참조하십시오.^[9] 자세한 내용은 분산 분석을 참조하십시오.

고정 효과, 완전 랜덤화 실험, 불균형 데이터

모델

정규 선형 모형은 서로 다른 평균을 가진 종 모양의 곡선(정규)인 확률 분포를 가진 처리 그룹을 설명한다. 따라서 모형을 적합하려면 각 처리 그룹의 평균과 분산 계산(처리 그룹 내의 평균 분산이 사용됨)만 필요하다. 평균과 분산의 계산은 가설 검정의 일부로 수행된다.

완전 랜덤화 실험에 일반적으로 사용되는 정규 선형 모델은 다음과 같다.^[10]

y_{i,j}=\mu _{j}+\varepsilon _{i,j}

y_{i,j}=\mu _{j}+\varepsilon _{i,j}

j =

y_{i,j}=\mu _{j}+\varepsilon _{i,j}

+

y_{i,j}=\mu _{j}+\varepsilon _{i,j}

i

y_{i,j}=\mu _{j}+\varepsilon _{i,j}

j

{\

평균 모형)

또는

y_{i,j}=\mu +\tau _{j}+\varepsilon _{i,j}

y_{i,j}=\mu +\tau _{j}+\varepsilon _{i,j}

y_{i,j}=\mu +\tau _{j}+\varepsilon _{i,j}

=

y_{i,j}=\mu +\tau _{j}+\varepsilon _{i,j}

+

y_{i,j}=\mu +\tau _{j}+\varepsilon _{i,j}

+ μ

y_{i,j}=\mu +\tau _{j}+\varepsilon _{i,j}

+

y_{i,j}=\mu +\tau _{j}+\varepsilon _{i,j}

i

y_{i,j}=\mu +\tau _{j}+\varepsilon _{i,j}

y_{i,j}=\mu +\tau _{j}+\varepsilon _{i,j}

{\

효과 모델)

어디에

i=1,\dotsc ,I

=

i=1,\dotsc ,I

,

i=1,\dotsc ,I

{\displaystyle i=1,\dotsc

,

I}

은(는) 실험 단위에 대한 색인이다.

j=1,\dotsc ,J

=

j=1,\dotsc ,J

,

j=1,\dotsc ,J

…

j=1,\dotsc ,J

,

j=1,\dotsc ,J

j=1,\dotsc ,J

은(는) 치료 그룹 위에 있는 색인이다.

I_{j}

I_{j}

{\

는

I_{j}

jth 처리 그룹의 실험 단위 수입니다.

{\

I_{j}}

는

I=\sum _{j}I_{j}

총 실험 단위 수입니다.

y_{i,j}

y_{i,j}

y_{i,j}

{\

는

y_{i,j}

관측치임

\mu _{j}

{\

는 j번째 처리 그룹에 대한 관측치의 평균이다

\mu _{j}

.

[\displaystyle \mu }

은

\mu

(는) 관측치의 최대 평균이다.

\tau _{j}

\tau _{j}

{\

은

\tau_j

(는) J번째 처리 효과로, 총 평균과의 편차

\sum \tau _{j}=0

\mu _{j}=\mu +\tau _{j}}

\varepsilon \thicksim N(0,\sigma ^{2})

~

\varepsilon \thicksim N(0,\sigma ^{2})

(

\varepsilon \thicksim N(0,\sigma ^{2})

,

\varepsilon _{i,j}

\varepsilon \thicksim N(0,\sigma ^{2})

\varepsilon \thicksim N(0,\sigma ^{2})

)

{\displaystyle \varepsilon \thicksim

N

(0,\sigma ^{2}},

\varepsilon _{i,j}

\varepsilon _{i,j}

,

\varepsilon _{i,j}

j {\

displaystyle \varepsilon_{i,

j}는 일반적으로 0-mean 랜덤 오류로 분포되어

\varepsilon _{i,j}

있다.

실험 단위에 대한 $i$ 지수 $i$ $i$ 는 여러 가지 방법으로 해석할 수 있다. 일부 실험에서는 동일한 실험 단위가 다양한 치료법을 적용받는다. i $i$ 는 특정 단위를 가리킬 수 있다 $i$ . 다른 치료의 경우, 각 치료 그룹에는 고유한 실험 단위 집합이 있다. $i$ $i$ 은 $($ 는) j {\ $displaystyle$ j $}$ -th $j$ 리스트의 인덱스일 수 있다 $i$ .

데이터의 데이터 및 통계 요약

$y_{ij}$ $y_{ij}$ yi j ${\$ 을(를) 구성하는 한 가지 형태는 다음과 $y_{ij}$ 같은 열에 그룹이 있다.

분산 분석 데이터 조직, 불균형, 단일 요인
	그룹 관찰 목록
	${\displaystyle I_{1}.$	${\displaystyle I_{2}}:$	$I_{3}$	$\dotso$	$I_{j}$
1	$y_{11}$	$y_{12}$	$y_{13}$		$y_{1j}$
2	$y_{21}$	$y_{22}$	$y_{23}$		$y_{2j}$
3	$y_{31}$	$y_{32}$	$y_{33}$		$y_{3j}$
$\displaystyle \vdots }$					$\displaystyle \vdots }$
$(\displaystyle i}$	$y_{i1$	$y_{i2}$	$y_{i3}$	$\dotso$	$y_{ij}$

	그룹 요약 통계						대요약통계
# 관측됨	${\displaystyle I_{1}.$	${\displaystyle I_{2}}:$	$\dotso$	$I_{j}$	$\dotso$	$I_{J}$	# 관측됨	$I=\sum I_{j}$
합계				$\sum_{i}y_{ij}$			합계	$\sum _{j}\sum _{i}y_{ij}}$
Sum Sq				$\sum _{i}(y_{ij})^{2}$			Sum Sq	$\sum _{j}\sum _{i}(y_{ij})^{2}$
평균	$m_{1}$	$\dotso$		$m_{j}$	$\dotso$	$m_{J}$	평균	$m$
분산	$s_{1}^{2}$	$\dotso$		$s_{j}^{2}$	$\dotso$	$s_{J}^{2}$	분산	$s^{2}$

모델과 요약을 비교하는 방법 $\mu =m$ $\mu =m$ = $\mu =m$ {\ $displaystyle \mu =m}$ 및 $\mu =m$ $\mu _{j}=m_{j}$ $\mu _{j}=m_{j}$ = $\mu _{j}=m_{j}$ j ${\$ 총 평균과 총 분산은 집단 평균과 분산이 아닌 총합에서 계산된다.

가설 검정

요약 통계량을 고려할 때 가설 검정 계산은 표 형식으로 표시된다. SS의 두 열은 설명 값에 대해 표시되지만 결과를 표시하기 위해서는 한 열만 표시하면 된다.

고정 모형, 단일 요인, 완전 랜덤화 실험에 대한 분산 분석표
변동원	제곱합	제곱합	자유도	평균 제곱	F
	설명 SS^[11]	계산 SS^[12]	DF	MS
치료	$\sum _{Treatments}I_{j}(m_{j}-m)^{2}$	$\sum _{j}{j}{\frac {(\sum _{i}y_{ij}}^{2}}:{{}}}}I_{j}}-{\frac {(\sum _{j}\sum _{i}y_{ij}}^{2}}:}I}$	$J-1}$	${\frac {SS_{Trace}{{trace}{{precess}DF_{Treature}$	${\frac {MS_{Treatment}{{protection}{{precMS_{Error}}}}$
오류	$\sum _{Treatments}(I_{j}-1)s_{j}^{2}$	$\sum _{j}\sum _{i}y_{ij}^{2}-\sum _{j}{\frac {(\sum _{i}y_{ij}})^{2}}:{{}}}I_{j}}}$	$디스플레이 스타일 I-J}$	${\frac {SS_{Error}{{}}{DF_{Error}}}$
합계	$\sum _{Ovservations}(y_{ij}-m)^{2}$	$\sum _{j}\sum _{i}y_{ij}^{2}-{\frac {(\sum _{j}\sum _{i}y_{ij}}}^{2}}:{{}}}}}}I}$	$(\displaystyle I-1})$

$MS_{Error}$ $MS_{Error}$ $MS_{Error}$ r $MS_{Error}$ r $MS_{Error}$ {\ $displaystyle MS_{Error}}$ 는 $\sigma ^{2}$ 모델의 }} 2 ${\$ 에 해당하는 분산 추정치다 $MS_{Error}$ .

분석 요약

핵심 분산 분석은 일련의 계산으로 구성된다. 데이터는 표 형식으로 수집된다. 그러면

각 처리 그룹은 실험 단위 수, 두 개의 합, 평균 및 분산으로 요약된다. 처리 그룹 요약을 결합하여 단위 수와 합계에 대한 총계를 제공한다. 총 평균과 총 분산을 합산하여 계산한다. 그 모델에는 치료법과 큰 수단이 사용된다.
세 개의 DF와 SS는 요약에서 계산된다. 그런 다음 MS가 계산되고 비율이 F를 결정한다.
컴퓨터는 일반적으로 F로부터 p-값을 결정하는데, 이 값은 치료법이 유의하게 다른 결과를 생산하는지 여부를 결정한다. 결과가 유의미하면, 모델은 잠정적으로 유효성을 갖는다.

실험이 균형을 이루면 모든 $I_{j}$ j ${\$ 항이 $I_{j}$ 같으므로 SS 방정식이 단순해진다.

실험 단위(또는 환경 효과)가 동질적이지 않은 보다 복잡한 실험에서는 행 통계량도 분석에 사용된다. 이 모형에는 i $i$ 에 종속된 항이 포함되어 있다 $i$ 추가 항을 결정하면 사용 가능한 자유도가 감소한다.

예

반응에 대한 세 가지 요인 수준(예: 식물 성장에 대한 세 가지 비료 수준)의 영향을 연구하기 위한 실험을 고려해 보십시오. 각 수준에 대해 6개의 관측치를 가지고 있다면 실험 결과를 다음과 같은 표에 쓸 수 있을 것이다. 여기서₁ a, a₂, a는₃ 연구 중인 인자의 세 가지 수준이다.

a₁	a₂	a₃
6	8	13
8	12	9
4	9	11
5	11	8
3	6	7
4	8	12

이 실험의 전체 F-검정에 대해 H로₀ 표시된 귀무 가설은 인자의 세 수준이 모두 평균적으로 동일한 반응을 보인다는 것이다. F-비율 계산하기

1단계: 각 그룹 내 평균 계산:

{\begin{aigned}{\overline {Y}_{1}&={\frac {1}{6}}\sum Y_{1}i}={\frac {6+8+4+5+4}{6}}{6}}}}}=5\\{\{\overline {Y}_{2}&={\frac {1}{6}\sum Y_{2i}={\frac {8+12+9+11+8}{6}{6}}}}=9\\{\\overline {Y}_{3}&={\frac {1}{6}\sum Y_{3i}={\frac {13+9+11+8+7+12}{6}}}}=10\end{정렬}

2단계: 전체 평균 계산:

{\overline{Y}}={\frac {\sum _{i}}{{Y}}}}{a}={\frac {{\overline {{Y}}}+{1}}+{{Y}}}}}}}}{a}}}={\frac {5+9+10}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}=8

여기서 a는 그룹의 수입니다.

3단계: "그룹 간" 차이 제곱 합계를 계산하십시오.

{\reasoned}S_{B}&=n({\overline {Y}}_{1}-{\overline {Y}})^{2}+n({\overline {Y}}_{2}-{\overline {Y}})^{2}+n({\overline {Y}}_{3}-{\overline {Y}})^{2}\\[8pt]&=6(5-8)^{2}+6(9-8)^{2}+6(10-8)^{2}=84\end{aligned}}

여기서 n은 그룹당 데이터 값의 수입니다.

그룹 간 자유도가 그룹 수보다 1개 작음

f_{b}=3-1=2

따라서 그룹 간 평균 제곱 값은

MS_{B}=84/2=42

4단계: "그룹 내" 제곱합을 계산한다. 각 그룹의 데이터를 중심으로 시작

a₁	a₂	a₃
6−5=1	8−9=−1	13−10=3
8−5=3	12−9=3	9−10=−1
4−5=−1	9−9=0	11−10=1
5−5=0	11−9=2	8−10=−2
3−5=−2	6−9=−3	7−10=−3
4−5=−1	8−9=−1	12−10=2

그룹 내 제곱합은 이 표에 있는 18개 값의 제곱합이다.

{\reasoned}S_{W}=&(1)^{2}+(3)^{2}+(-1)^{2}+(0)^{2}+(-2)^{2}+(-1)^{2}+\\&(-1)^{2}+(3)^{2}+(0)^{2}+(2)^{2}+(-3)^{2}+(-1)^{2}+\\&(3)^{2}+(-1)^{2}+(1)^{2}+(-2)^{2}+(-3)^{2}+(2)^{2}\\=&\ 1+9+1+0+4+1+1+9+0+4+9+1+9+1+1+4+9+4\\=&\ 68\\\end{aigned}}

그룹 내 자유도는

f_{W}=a(n-1)=3(6-1)=15

따라서 그룹 내 평균 제곱 값은

MS_{W}=S_{W}/f_{W}=68/15\ 약 4.5

5단계: F-ratio는

F={\frac {MS_{B}}{MS_{W}}\ 약 42/4.약 9시 5분.3

임계값은 검정 통계가 검정을 기각하기 위해 초과해야 하는 수입니다. 이 경우 F_crit(2,15) = 3.68 α = 0.05이다. F=9.3 > 3.68이므로 5% 유의 수준에서 유의미하다. 세 그룹의 기대치가 다르다는 유력한 증거가 있다고 결론짓고 귀무 가설을 받아들이지 않을 것이다. 이 검정의 p-값은 0.002이다.

F-테스트를 수행한 후에는 그룹 평균에 대한 "사후 hoc" 분석을 수행하는 것이 일반적이다. 이 경우 첫 번째 두 그룹 평균은 4 단위, 첫 번째 그룹 평균과 세 번째 그룹 평균은 5 단위, 두 번째 그룹 평균과 세 번째 그룹 평균은 1 단위만 차이가 난다. 이러한 차이의 각 표준 오차는 4 ${\sqrt {4.5/6+4.5/6}}=1.2$ / ${\sqrt {4.5/6+4.5/6}}=1.2$ + ${\sqrt {4.5/6+4.5/6}}=1.2$ / 6 ${\sqrt {4.5/6+4.5/6}}=1.2$ = 1. ${\sqrt {4.5/6+4.5/6}}=1.2$ ${\디스플레이$ 스타일 ${\sqrt {4.5/6+4.5/6}=1.2}$ 입니다 ${\sqrt {4.5/6+4.5/6}}=1.2$ 따라서 평균 차이가 표준 오차의 곱하기 때문에 첫 번째 그룹의 모집단 평균이 다른 그룹의 모집단 평균과 다르다는 것을 매우 확신할 수 있다. 그러나 두 번째와 세 번째 그룹의 평균 차이가 표준 오차에 비견되기 때문에 서로 모집단 평균이 다르다는 증거는 없다.

주 F(x, y)는 분자에 자유도가 x이고 분모에 자유도가 y인 F-분포 누적분포함수를 나타낸다.

참고 항목

메모들

^ ^a ^b Howell, David (2002). Statistical Methods for Psychology. Duxbury. pp. 324–325. ISBN 0-534-37770-X.
^ Welch, B. L. (1951). "On the Comparison of Several Mean Values: An Alternative Approach". Biometrika. 38 (3/4): 330–336. doi:10.2307/2332579. JSTOR 2332579.
^ Kirk, RE (1995). Experimental Design: Procedures For The Behavioral Sciences (3 ed.). Pacific Grove, CA, USA: Brooks/Cole.
^ Blair, R. C. (1981). "A reaction to 'Consequences of failure to meet assumptions underlying the fixed effects analysis of variance and covariance.'". Review of Educational Research. 51 (4): 499–507. doi:10.3102/00346543051004499.
^ Randolf, E. A.; Barcikowski, R. S. (1989). "Type I error rate when real study values are used as population parameters in a Monte Carlo study". Paper Presented at the 11th Annual Meeting of the Mid-Western Educational Research Association, Chicago.
^ Donaldson, Theodore S. (1966). "Power of the F-Test for Nonnormal Distributions and Unequal Error Variances". Paper Prepared for United States Air Force Project RAND.
^ Tiku, M. L. (1971). "Power Function of the F-Test Under Non-Normal Situations". Journal of the American Statistical Association. 66 (336): 913–916. doi:10.1080/01621459.1971.10482371.
^ "Archived copy". Archived from the original on 2018-12-04. Retrieved 2016-09-22.{{cite web}}: CS1 maint: 타이틀로 보관된 사본(링크)
^ Sawilowsky, S. (1990). "Nonparametric tests of interaction in experimental design". Review of Educational Research. 60 (1): 91–126. doi:10.3102/00346543060001091.
^ Montgomery, Douglas C. (2001). Design and Analysis of Experiments (5th ed.). New York: Wiley. p. Section 3–2. ISBN 9780471316497.
^ Moore, David S.; McCabe, George P. (2003). Introduction to the Practice of Statistics (4th ed.). W H Freeman & Co. p. 764. ISBN 0716796570.
^ Winkler, Robert L.; Hays, William L. (1975). Statistics: Probability, Inference, and Decision (2nd ed.). New York: Holt, Rinehart and Winston. p. 761.

추가 읽기

George Casella (18 April 2008). Statistical design. Springer. ISBN 978-0-387-75965-4.

[Howell_2002_324–325-1] Howell, David (2002). Statistical Methods for Psychology. Duxbury. pp. 324–325. ISBN 0-534-37770-X.

[Welch1951-2] Welch, B. L. (1951). "On the Comparison of Several Mean Values: An Alternative Approach". Biometrika. 38 (3/4): 330–336. doi:10.2307/2332579. JSTOR 2332579.

[Kirk-3] Kirk, RE (1995). Experimental Design: Procedures For The Behavioral Sciences (3 ed.). Pacific Grove, CA, USA: Brooks/Cole.

[4] Blair, R. C. (1981). "A reaction to 'Consequences of failure to meet assumptions underlying the fixed effects analysis of variance and covariance.'". Review of Educational Research. 51 (4): 499–507. doi:10.3102/00346543051004499.

[5] Randolf, E. A.; Barcikowski, R. S. (1989). "Type I error rate when real study values are used as population parameters in a Monte Carlo study". Paper Presented at the 11th Annual Meeting of the Mid-Western Educational Research Association, Chicago.

[6] Donaldson, Theodore S. (1966). "Power of the F-Test for Nonnormal Distributions and Unequal Error Variances". Paper Prepared for United States Air Force Project RAND.

[7] Tiku, M. L. (1971). "Power Function of the F-Test Under Non-Normal Situations". Journal of the American Statistical Association. 66 (336): 913–916. doi:10.1080/01621459.1971.10482371.

[8] "Archived copy". Archived from the original on 2018-12-04. Retrieved 2016-09-22.{{cite web}}: CS1 maint: 타이틀로 보관된 사본(링크)

[9] Sawilowsky, S. (1990). "Nonparametric tests of interaction in experimental design". Review of Educational Research. 60 (1): 91–126. doi:10.3102/00346543060001091.

[10] Montgomery, Douglas C. (2001). Design and Analysis of Experiments (5th ed.). New York: Wiley. p. Section 3–2. ISBN 9780471316497.

[11] Moore, David S.; McCabe, George P. (2003). Introduction to the Practice of Statistics (4th ed.). W H Freeman & Co. p. 764. ISBN 0716796570.

[12] Winkler, Robert L.; Hays, William L. (1975). Statistics: Probability, Inference, and Decision (2nd ed.). New York: Holt, Rinehart and Winston. p. 761.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

Search