제곱합 분할

제곱합 분할은 많은 추리 통계량과 기술 통계량에 스며드는 개념이다.보다 적절하게는 편차 또는 오차의 제곱합을 분할하는 것입니다.수학적으로 편차의 제곱합은 비확장 또는 수정되지 않은 분산 측정값(변동성이라고도 함)입니다.자유도에 따라 크기를 조정하면 평균 값에 대한 관측치의 분산 또는 산포를 추정합니다.편차의 제곱합을 다양한 구성요소로 분할하면 데이터 집합의 전체 변동성을 다양한 유형 또는 변동의 원천에 기인하며, 각 요소의 상대적 중요성은 전체 제곱합에 대한 각 구성요소의 크기에 의해 정량화된다.

배경

데이터 집합의 모든 점에서 데이터 평균까지의 거리는 편차입니다. $y_{i}-{\overline {y}}$ $y_{i}-{\overline {y}}$ 은 y - ${\$ { $displaystyle$ ${\overline {y}}$ $y$ $_$ $y_{i}$ { $i$ } - { \ $overline$ ${ y$ ${\overline {y}}$ } $y_{i}-{\overline {y}}$ （ y $y_{i}$ } ） $。$ $y_{i}$ 서 $y$ 는 $y_{i}$ ith 데이터 ${\overline {y}}$ 이고 y는 $평균$ 의 ${\overline {y}}$ 추정치입니다.§ i $\sum _{i=1}^{n}\left(y_{i}-{\overline {y}}\,\right)^{2}$ $\sum _{i=1}^{n}\left(y_{i}-{\overline {y}}\,\right)^{2}$ ( $\sum _{i=1}^{n}\left(y_{i}-{\overline {y}}\,\right)^{2}$ - $\sum _{i=1}^{n}\left(y_{i}-{\overline {y}}\,\right)^{2}$ $\sum _{i=1}^{n}\left(y_{i}-{\overline {y}}\,\right)^{2}$ ) $\sum _{i=1}^{n}\left(y_{i}-{\overline {y}}\,\right)^{2}$ ${\displaystyle$ \ $sum$ _ ${i=1}^{n}\left(y_{i}-{\overline {y},\right$ 2 $}$ 에서와 같이 이러한 편차를 제곱하여 합하면, 이러한 데이터에 대한 "제곱합"을 얻을 수 있다.

수집에 데이터가 더 많이 추가되면 새 데이터가 평균과 같은 드문 경우를 제외하고 제곱합이 증가합니다.따라서 일반적으로 제곱합은 데이터 수집의 크기에 따라 커집니다.그것은 봉인되지 않은 사실의 증거이다.

대부분의 경우 자유도는 단순히 수집에 포함된 데이터 수에서 1을 뺀 값입니다.이것을 n - 1로 씁니다.여기서 n은 데이터 수입니다.

척도 조정(정규화라고도 함)은 데이터 수집의 크기가 커짐에 따라 제곱합이 커지지 않도록 조정하는 것을 의미합니다.이것은 100명의 표본과 20명의 표본과 같이 크기가 다른 표본을 비교하려는 경우 중요합니다.제곱합이 정규화되지 않으면 100명의 표본이 20명의 표본보다 항상 값이 더 커집니다.제곱합을 스케일링하기 위해 자유도, 즉 자유도당 제곱합 또는 분산으로 나눕니다.표준 편차는 분산의 제곱근입니다.

위는 기술 통계학에서 제곱합이 어떻게 사용되는지를 설명하고 있다.추리 통계학에 대한 이 넓은 원칙의 적용에 대해서는 총 제곱합에 관한 기사를 참조한다.

선형 회귀 분석에서 제곱합 분할

정리. $y_{i}=\beta _{0}+\beta _{1}x_{i1}+\cdots +\beta _{p}x_{ip}+\varepsilon _{i}$ 회귀 $y_{i}=\beta _{0}+\beta _{1}x_{i1}+\cdots +\beta _{p}x_{ip}+\varepsilon _{i}$ $y_{i}=\beta _{0}+\beta _{1}x_{i1}+\cdots +\beta _{p}x_{ip}+\varepsilon _{i}$ $y_{i}=\beta _{0}+\beta _{1}x_{i1}+\cdots +\beta _{p}x_{ip}+\varepsilon _{i}$ $=$ $y_{i}=\beta _{0}+\beta _{1}x_{i1}+\cdots +\beta _{p}x_{ip}+\varepsilon _{i}$ 0 $y_{i}=\beta _{0}+\beta _{1}x_{i1}+\cdots +\beta _{p}x_{ip}+\varepsilon _{i}$ + $y_{i}=\beta _{0}+\beta _{1}x_{i1}+\cdots +\beta _{p}x_{ip}+\varepsilon _{i}$ $y_{i}=\beta _{0}+\beta _{1}x_{i1}+\cdots +\beta _{p}x_{ip}+\varepsilon _{i}$ x $y_{i}=\beta _{0}+\beta _{1}x_{i1}+\cdots +\beta _{p}x_{ip}+\varepsilon _{i}$ + $y_{i}=\beta _{0}+\beta _{1}x_{i1}+\cdots +\beta _{p}x_{ip}+\varepsilon _{i}$ p $y_{i}=\beta _{0}+\beta _{1}x_{i1}+\cdots +\beta _{p}x_{ip}+\varepsilon _{i}$ i $y_{i}=\beta _{0}+\beta _{1}x_{i1}+\cdots +\beta _{p}x_{ip}+\varepsilon _{i}$ + $y_{i}=\beta _{0}+\beta _{1}x_{i1}+\cdots +\beta _{p}x_{ip}+\varepsilon _{i}$ p $y_{i}=\beta _{0}+\beta _{1}x_{i1}+\cdots +\beta _{p}x_{ip}+\varepsilon _{i}$ $y_{i}=\beta _{0}+\beta _{1}x_{i1}+\cdots +\beta _{p}x_{ip}+\varepsilon _{i}$ p + β i p + $display$ { $0$ $\beta _{0}$ $}$ + \ $cdots +$ \ $cdots$ _ { $p$ $y_{i}=\beta _{0}+\beta _{1}x_{i1}+\cdots +\beta _{p}x_{ip}+\varepsilon _{i}$ } $x _$ { $ip$ } + \ $varepsilon$ _ i } $\beta _{0}$ 0 $style$ _ _ 0 } 。 $n개$ 의 관측치를 포함하는 $(y_{i},x_{i1},\ldots ,x_{ip}),\,i=1,\ldots ,n$ \displaystyle $(y_i},x_{i1},\ldots,x_{$ ip $}),,$ i=1,\ldots, $n},$ 총 $\mathrm {TSS} =\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}$ $\mathrm {TSS} =\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}$ $\mathrm {TSS} =\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}$ i $\mathrm {TSS} =\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}$ 1 $\mathrm {TSS} =\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}$ ( $\mathrm {TSS} =\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}$ - $\mathrm {TSS} =\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}$ $\mathrm {TSS} =\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}$ ) $\mathrm {TSS} =\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}$ { $displaystyle \mathrm$ { $TSS}$ = \ $sum(x_{$ ip $}^{n})$ s(RSS):

\displaystyle \mathrm {TSS} = \mathrm {ESS} + \mathrm {RSS} ,}

여기서 이 방정식은 다음 각 형태와 같다.

{\displaystyle{\begin{정렬}\left\ y-{\bar{y}};=\left\{\hat{y}}-{\bar{y}}}\right\ ^{2},\quad\mathbf{1}=(1,1,\ldots ,1)^{T},\\\sum _ᆸ^ᆹ(y_{나는}-{\bar{y}})^{2}&{1}\right\ ^{2}+\left\{\hat{\varepsilon}\mathbf,=\sum _ᆻ^ᆼ({\hat{y}}_{나는}-{\bar{y}})^{2}+\sum _ᆾ^ᆿ(y_{나는}-{\hat{y}}_{나는})^{2},\\\{1}\right\ ^{2}& \mathbf.합 즉{i=1}^{n}(y_{i}-{\bar {y})^2}&={i=1}^{n}({\hat {y}-{\bar {y})^2}+\sum _{i=1}^{n}{\hat {varepsilon }{{i}}{{{n}}}{{{{{\end}}}}}{n}}}}{n}}}{n}}}}{\sumn}}}}{\saligned}}}}}}{n}}}}}}}}}}}

여기

서 y

{\hat {y}}_{i}

^

{\hat {y}}_{i}

\

displaystyle

{\hat {b}}_{0}

{

y }

_

{\hat {y}}_{i}

{ i

{\hat {y}}_{i}

}

{\hat {b}}_{0}

、

{\hat {b}}_{0}

{\hat {b}}_{1}

^

{\hat {b}}_{0}

{\hat {b}}_{1}

{

{\hat {b}}_{1}

{

b

} _ {

{\hat {b}}_{1}

}

{\hat {b}}_{1}

, ... ,

{\hat {b}}_{p}

^

{\hat {b}}_{p}

{

displaystyle

{ b } _ { b } } ^[1]、 b ^ p { displaystyle

}

_ {

b

} _ { p }

{\hat {b}}_{0}

{\hat {b}}_{p}

b b having having having having having having having having having having having having having having having having having having having having having having having having having having having having having having having having having having having having having having having having having having having having having having having having having having

증명

{\displaystyle{\begin{정렬}\sum _ᆮ^ᆯ(y_{나는}-{\overline{y}})^{2}&,=\sum _ᆱ^ᆲ(y_{나는}-{\overline{y}}와{\hat{y}}_{나는}-{\hat{y}}_{나는})^{2}=\sum _ᆴ^ᆵ(({\hat{y}}_{나는}-{\bar{y}})+\underbrace(_{{\hat{\varepsilon}}_{나는}})^{2}\\&, =\sum _ᆺ^ᆻ(({\hat{y}}_{나는}-{\bar{y}})^{2}+2{\hat{\varepsilon}}_{나는}({.\hat{y}}_{나는}-{\bar{y}})+{\hat{\varepsilon}}_{나는}^{2})\\&,=\sum _ᆰ^ᆱ({\hat{y}}_{나는}-{\bar{y}})^{2}+\sum _{i=1}^{n}{\hat{\varepsilon}}_{나는}^{2}+2\sum _{i=1}^{n}{\hat{\varepsilon}}_ᆻ({\hat{y}}_{나는}-{\bar{y}})\\&,=\sum _ᆼ^ᆽ({\hat{y}}_{나는}-{\bar{y}})^{2}+\sum _{i=1}^{n}{\hat{\varepsilon}}_{나는}^{2}+2\sum _{i=1}^{n}{\hat{\varepsilon.}}_{나는}({\hat{\beta}}_{0}+{\hat{\beta}}_{1}x_{i1}+\cdots +{\hat{\beta}}_{p}x_{ 나타나}-{\overline{y}})\\&,=\sum _ᆳ^ᆴ({\hat{y}}_{나는}-{\bar{y}})^{2}+\sum _{i=1}^{n}{\hat{\varepsilon}}_ᆹ^ᆺ+2({\hat{\beta}}_{0}일 경우-{\overline{y}})\underbrace{\sum_{i=1}^{n}{\hat{\varepsilon}}_{나는}}_{0}+2{\hat{\beta}}_{1}\underbrace{\sum_{i=1}^{n}{\hat{년.varepsilon }_{i}x_{i1}}_{0}+\cdots +2cdots}_{sum {i=1}^{n}{\hat {varepsilon }}_{i}x_{ip}_{0}\&=_sum {i=1}^{n}{n}{n}{hat }

모델에 상수 또는 동등한 설계 매트릭스에 1개의 열이 포함되어 있어야 하기 때문에 $\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}=0$ i $\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}=0$ $\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}=0$ n $\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}=0$ ^ $\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}=0$ $\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}=0$ { $displaystyle \sum$ _ { i $\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}=0$ = $1$ }^{ $n}{\hat\varepsilon }}$ ${$ $i$ }= $0$ ${\hat {\varepsilon }}^{T}\mathbf {1} =0$ ^ ${\hat {\varepsilon }}^{T}\mathbf {1} =0$ ${\hat {\varepsilon }}^{T}\mathbf {1} =0$ 0 {\ $displaystyle\hat\$ hats $}이($ 으)가 보장됩니다.

증명은 다음과 같이 벡터 형식으로도 표현할 수 있습니다.

디스플레이 스타일SS_{\text{total}=\Vert \mathbf {y} - {\bar {y} &=\Vert \mathbf {y} - {\bar {y}} \mathbf {1} +\mathbf {y} -\haty} \Vert\{2}, \Vert \mathbf {y},\Vert ^{2},\&=Vert {mathbf {y}-{\bar {y}}\Vert ^{2}+Vert ^{2}+2hat {varepsilon }^{T}\(\mathbf {y})SS_{\text{error}+2{\hat {\varepsilon}}^{T}\left(X{\hat {\hat}}-{\bar {y}}\mathbf {1} \right}),\&=SS_{\text{registration}+SS_{\text{error}}+2\left({\hat\varepsilon}}^{T}X\오른쪽){{hat}}-24 bar {y}}\hat {{\hat {varepsilon}}^{T}\mathbf {1}_{0},\&=SS_{\text{회귀}}+SS_{\text{error}}.\end { aligned}}

마지막 줄에서 용어를 삭제한 경우

{\hat {varepsilon}} {{T} X=\left(\mathbf {y} -\mathbf {y}} \right)^{T}X=\mathbf {y}^{T}(I-X(X^{T}X)^{-1}X^{T)^{T}X=mathbf {y} }^{T}(X^{T}-X^{T})^{T}=mathbf {0} }.

추가 파티셔닝

잔차 제곱합은 적합치 결여 제곱합과 순수 오차로 인한 제곱합으로 더 세분화할 수 있습니다.

「」를 참조해 주세요.

내부 제품 공간
- 힐베르트 공간
  - 유클리드 공간
기대 평균 제곱
- 직교성
- 직교 정규 기준
  - 직교 보형, 집합과 직교하는 닫힌 부분 공간(특히 부분 공간)
  - 내부 제품 공간의 부분 공간의 직교 격자
  - 직교 투영
- 피타고라스의 정리는 직교 산술의 제곱 규범의 합이 합계의 제곱 규범과 같다는 것이다.
최소 제곱
평균 제곱 오차
편차의 제곱

레퍼런스

^ "Sum of Squares - Definition, Formulas, Regression Analysis". Corporate Finance Institute. Retrieved 2020-10-16.

Bailey, R. A. (2008). Design of Comparative Experiments. Cambridge University Press. ISBN 978-0-521-68357-9. 출판 전 장은 온라인으로 이용할 수 있습니다.
Christensen, Ronald (2002). Plane Answers to Complex Questions: The Theory of Linear Models (Third ed.). New York: Springer. ISBN 0-387-95361-2.
Whittle, Peter (1963). Prediction and Regulation. English Universities Press. ISBN 0-8166-1147-5.
재게시:
Whittle, P. (20 April 2000). Probability Via Expectation (4th ed.). Springer. ISBN 0-387-98955-2.

[1] "Sum of Squares - Definition, Formulas, Regression Analysis". Corporate Finance Institute. Retrieved 2020-10-16.

[1]

Search

제곱합 분할

네임스페이스

더

목차

배경

선형 회귀 분석에서 제곱합 분할

증명

추가 파티셔닝

「」를 참조해 주세요.

레퍼런스

Search

제곱합 분할

배경

선형 회귀 분석에서 제곱합 분할

증명

추가 파티셔닝

「 」를 참조해 주세요.

레퍼런스

「」를 참조해 주세요.