회귀 분석

y=1.5x+2 선 주위의 가우스 분포에서 50개의 랜덤 포인트에 대한 회귀선(표시되지 않음).

통계 모델링에서 회귀 분석은 종속 변수(흔히 '출처' 또는 '응답' 변수 또는 기계 학습 용어로 '라벨'이라고 함)와 하나 이상의 독립 변수(흔히 '예측 변수', '공변수', '설명 변수' 또는 '피처' 사이의 관계를 추정하기 위한 통계 프로세스 세트이다.es'). 회귀 분석의 가장 일반적인 형태는 선형 회귀 분석으로, 특정 수학적 기준에 따라 데이터에 가장 가까운 선(또는 더 복잡한 선형 조합)을 찾습니다.예를 들어, 일반 최소 제곱법은 실제 데이터와 해당 선(또는 초평면) 사이의 제곱 차이의 합을 최소화하는 고유한 선(또는 초평면)을 계산합니다.특정 수학적 이유(선형 회귀 참조)를 통해 독립 변수가 주어진 값 집합을 취할 때 종속 변수의 조건부 기대(또는 모집단 평균 값)를 추정할 수 있습니다.덜 일반적인 형태의 회귀는 대체 위치 매개변수를 추정하거나(예: 분위수 회귀 또는 필요 조건^[1] 분석) 비선형 모델의 광범위한 컬렉션에 걸친 조건부 기대치를 추정하기 위해 약간 다른 절차를 사용한다(예: 비모수 회귀).

회귀 분석은 주로 두 가지 개념적으로 서로 다른 목적으로 사용됩니다.

첫째, 회귀 분석은 예측 및 예측에 널리 사용되며, 그 사용은 기계 학습 분야와 상당히 중복된다.

둘째, 일부 상황에서는 회귀 분석을 사용하여 독립 변수와 종속 변수 간의 인과 관계를 추론할 수 있습니다.중요한 것은, 회귀 자체가 고정 데이터 집합에서 종속 변수와 독립 변수 집합 사이의 관계만 드러낸다는 것이다.예측 또는 인과 관계를 추론하기 위해 각각 회귀를 사용하려면, 연구자는 왜 기존의 관계가 새로운 맥락에 대한 예측 능력을 갖는지 또는 왜 두 변수 사이의 관계가 인과 관계를 해석하는지를 신중하게 정당화해야 합니다.후자는 연구자들이 관측 ^[2]^[3]데이터를 사용하여 인과 관계를 추정하고자 할 때 특히 중요합니다.

역사

회귀의 가장 초기 형태는 최소 제곱법이었는데, 이것은 1805년에 ^[4]Legendre에 의해 ^[5]발표되었고 1809년에 Gauss에 의해 발표되었습니다.Legendre와 Gauss는 둘 다 천문학적 관측을 통해 태양 주위의 물체들의 궤도를 결정하는 문제에 이 방법을 적용했다.가우스는 1821년에 [6]가우스-마코프 정리를 포함한 최소 제곱 이론을 더욱 발전시켰다.

"회귀"라는 용어는 19세기에 프랜시스 골튼에 의해 생물학적 현상을 설명하기 위해 만들어졌다.그 현상은 키가 큰 조상들의 후손들의 키가 정상 평균으로 퇴보하는 경향이 있다는 것이었다.^[7]^[8]골턴에게 회귀는 생물학적 ^[9]^[10]의미만을 가지고 있었지만, 그의 연구는 나중에 Udny Yule과 Karl Pearson에 의해 더 일반적인 통계적 ^[11]^[12]맥락으로 확장되었다.Yule과 Pearson의 연구에서 반응 변수와 설명 변수의 공동 분포는 가우스라고 가정한다.이 가정은 R.A.에 의해 약화되었다. 1922년과 ^[13]^[14]^[15]1925년의 작품에서 피셔는Fisher는 반응 변수의 조건부 분포가 가우스라고 가정했지만, 결합 분포가 가우스일 필요는 없다.이런 점에서 피셔의 가정은 가우스의 1821년 공식에 가깝다.

1950년대와 1960년대에 경제학자들은 전기 기계식 탁상 "계산기"를 사용하여 회귀를 계산했다.1970년 이전에는 한 번의 ^[16]회귀 분석에서 결과를 얻는 데 최대 24시간이 걸리기도 했습니다.

회귀법은 여전히 활발한 연구 분야이다.최근 수십 년 동안 강력한 회귀 분석, 시계열 및 성장 곡선과 같은 상관된 반응을 포함하는 회귀 분석, 예측 변수(독립 변수) 또는 반응 변수가 곡선, 이미지, 그래프 또는 기타 복잡한 데이터 개체인 회귀 분석, 다양한 유형의 미스인을 수용하는 회귀 분석 방법이 개발되었다.g 데이터, 비모수 회귀 분석, 회귀 분석을 위한 베이지안 방법, 예측 변수가 오차로 측정되는 회귀 분석, 관측치보다 예측 변수가 더 많은 회귀 분석 및 회귀 분석 인과 추론.

회귀 모형

실제로 연구자들은 먼저 추정할 모형을 선택한 다음 선택한 방법(예: 일반 최소 제곱)을 사용하여 해당 모형의 모수를 추정합니다.회귀 모형에는 다음과 같은 구성 요소가 포함됩니다.

불명확한 파라미터. 종종 스칼라 $\beta$ 벡터β $(\displaystyle \beta$ 로 표시됩니다.
독립 변수는 데이터에서 관찰되며 $X_{i}$ 벡터 $X$ i( $여기서$ i\ $displaystyle$ i $)$ 로 $i$ 표시됩니다.
종속 변수. 데이터에서 관찰되며 종종 $Y_{i}$ $(\$ 를 사용하여 표시됩니다.
오차항은 데이터에서 직접 관찰되지 않으며 종종 $e_{i}$ e $\$ 를 사용하여 표시됩니다.

응용 프로그램의 다양한 분야에서 종속 변수와 독립 변수 대신 다른 용어가 사용됩니다.

대부분의 회귀 모형은 $(\$ })가 $Y_{i}$ $(\$ ${$ $i$ }) $\beta$ β(\ $displaystyle \beta$ 의 $Y_{i}$ 이며, $(\$ })는 $e_{i}$ $(\$ 또는 $Y_{i}$ 랜덤 통계의 $Y_{i}$ 않은 행렬식을 나타낼 수 있는 가산 오차항을 나타낸다.이음:

\displaystyle Y_{i}=f(X_{i},\beta)+e_{i}}

연구진의 목표는 데이터에 가장 가까운 $함수$ f $(X$ i $β)$ 를 $f(X_{i},\beta )$ 추정하는 것이다.회귀 분석을 수행하려면 $함수$ f $\displaystyle$ f의 $f$ 형태를 지정해야 합니다.이 함수의 형태는 $Y_{i}$ 에 $Y_{i}$ 의존하지 않는 $Yi(디스플레이$ 스타일 $Y_{i}$ Y_ $Y_{i}$ { $})$ 스타일 X_ ${$ i}) 사이의 $Y_{i}$ 에 대한 지식을 기반으로 하는 경우가 있습니다.이러한 지식이 없는 경우 f $\displaystyle$ f에 $f$ $대해$ 유연하거나 편리한 양식을 선택합니다.예를 들어, 단순 일변량 회귀 $f(X_{i},\beta )=\beta _{0}+\beta _{1}X_{i}$ 에서는 $Y_{i}=\beta _{0}+\beta _{1}X_{i}+e_{i}$ $f(X_{i},\beta )=\beta _{0}+\beta _{1}X_{i}$ ( X $f(X_{i},\beta )=\beta _{0}+\beta _{1}X_{i}$ , $f(X_{i},\beta )=\beta _{0}+\beta _{1}X_{i}$ ) $f(X_{i},\beta )=\beta _{0}+\beta _{1}X_{i}$ $f(X_{i},\beta )=\beta _{0}+\beta _{1}X_{i}$ 0 + $Y_{i}=\beta _{0}+\beta _{1}X_{i}+e_{i}$ $f(X_{i},\beta )=\beta _{0}+\beta _{1}X_{i}$ X $f(X_{i},\beta )=\beta _{0}+\beta _{1}X_{i}$ i ( \ $displaystyle$ f ( X $_$ { $i$ , \ $beta$ ) = \ $display$ _ { $0$ $Y_{i}=\beta _{0}+\beta _{1}X_{i}+e_{i}$ } + \ $display$ _ ${ 1$ X $_$ { $i$ } ) $Y_{i}=\beta _{0}+\beta _{1}X_{i}+e_{i}$ \ $display$ _ { 0 + $Y_{i}=\beta _{0}+\beta _{1}X_{i}+e_{i}$ $Y_{i}=\beta _{0}+\beta _{1}X_{i}+e_{i}$ _ { $i$ } = \ $displaystyledisplay$ _ { i $Y_{i}=\beta _{0}+\beta _{1}X_{i}+e_{i}$ } } 를 제안할 수 $Y_{i}=\beta _{0}+\beta _{1}X_{i}+e_{i}$ .데이터를 생성하는 통계 프로세스에 대해 on으로 설정합니다.

연구자가 선호하는 통계 모델을 결정하면, 다양한 형태의 회귀 분석이 $β$ 를 추정하는 도구를 제공한다. 예를 들어, 최소 제곱(가장 일반적인 변형, 일반 최소 제곱 포함)은 $\beta$ 제곱의 합을 최소화하는 $\beta$ β의 값(\ $displaystyle \beta }$ 오류 $\sum _{i}(Y_{i}-f(X_{i},\beta ))^{2}$ i ( $\sum _{i}(Y_{i}-f(X_{i},\beta ))^{2}$ - $\sum _{i}(Y_{i}-f(X_{i},\beta ))^{2}$ f ( $\sum _{i}(Y_{i}-f(X_{i},\beta ))^{2}$ , $\sum _{i}(Y_{i}-f(X_{i},\beta ))^{2}$ ) $\sum _{i}(Y_{i}-f(X_{i},\beta ))^{2}$ ( \ $displaystyle$ \ $sum _$ { $i$ } - f ( $Y$ _ { i $}$ - f ( X _ { $i$ , \ $beta$ ) $2$ } ). 주어진 회귀법은 최종적으로 ${\hat {\beta }}$ β ${\hat {\beta }}$ ^\ $display style \$ $beta$ $}$ 의 $\hat{\beta}$ $\beta$ 를 ${\hat {\beta }}$ 합니다.데이터를 생성했습니다.이 추정치를 사용하여 연구자는 ${\hat {Y_{i}}}=f(X_{i},{\hat {\beta }})$ ${\hat {Y_{i}}}=f(X_{i},{\hat {\beta }})$ i ${\hat {Y_{i}}}=f(X_{i},{\hat {\beta }})$ ^ ${\hat {Y_{i}}}=f(X_{i},{\hat {\beta }})$ ( ${\hat {Y_{i}}}=f(X_{i},{\hat {\beta }})$ i , ${\hat {Y_{i}}}=f(X_{i},{\hat {\beta }})$ ${\hat {Y_{i}}}=f(X_{i},{\hat {\beta }})$ ) { $display$ { $Y _$ { i } $= f$ ( $X$ _ { $i$ } , { \ $hat }$ } = f ( X _ { i , { \ $hat$ } } )를 ${\hat {Y_{i}}}=f(X_{i},{\hat {\beta }})$ 예측에 사용하거나 데이터를 설명할 때 모델의 정확성을 평가할 수 있습니다.연구자가 ${\hat {\beta }}$ 으로 β $(\$ displaystyle\hat $\$ displaystyle $\$ hat $i})$ ${\hat {Y_{i}}}$ 예측값 Y(\displaystyle $\hat{$ Y_{i ${\hat {Y_{i}}}$ }}})에 ${\hat {\beta }}$ 관심이 있는지 여부는 문맥과 목표에 따라 달라집니다.으로서 평범한 최소 이승에서 설명하기 때문에(X나는,β ^){\displaystyle f(X_{나는},{\hat{\beta}})}의 추정된 기능 .[5] 하지만, 대체 변형(예를 들어 조건 기대 E(Y나는 X나는){E(Y_{나는}X_{나는})\displaystyle}에 가깝, 최소 이승 널리 사용합니다. 하나입니다. 절대 편차나.quantile regression)은 연구자가 다른 $f(X_{i},\beta )$ f ( $f(X_{i},\beta )$ , $f(X_{i},\beta )$ β $f(X_{i},\beta )$ ){ $displaystyle$ f $(X_{i$ , \ $beta$ )를 모델링할 때 유용합니다 $f(X_{i},\beta )$

회귀 모형을 추정하기에 충분한 데이터가 있어야 합니다.예를 들어, 연구자가 $(Y_{i},X_{1i},X_{2i})$ 의 종속 변수와 두 개의 독립 변수를 사용하여 N개 $(\$ $displaystyle$ N $)$ $(Y_{i},X_{1i},X_{2i})$ 행에 $N$ $액세스할$ 수 있다고 가정합니다 $(Y_{i},X_{1i},X_{2i})$ ( $i$ , $(Y_{i},X_{1i},X_{2i})$ , X $(Y_{i},X_{1i},X_{2i})$ { $1$ i , X _ { 1 i } , X _ { 2 $(Y_{i},X_{1i},X_{2i})$ } ) $(Y_{i},X_{1i},X_{2i})$ 。연구자가 최소 제곱을 통해 이변량 선형 모델을 추정한다고 가정합니다. $Y_{i}=\beta _{0}+\beta _{1}X_{1i}+\beta _{2}X_{2i}+e_{i}$ i $Y_{i}=\beta _{0}+\beta _{1}X_{1i}+\beta _{2}X_{2i}+e_{i}$ $Y_{i}=\beta _{0}+\beta _{1}X_{1i}+\beta _{2}X_{2i}+e_{i}$ 0 $Y_{i}=\beta _{0}+\beta _{1}X_{1i}+\beta _{2}X_{2i}+e_{i}$ + $Y_{i}=\beta _{0}+\beta _{1}X_{1i}+\beta _{2}X_{2i}+e_{i}$ 1 $Y_{i}=\beta _{0}+\beta _{1}X_{1i}+\beta _{2}X_{2i}+e_{i}$ $Y_{i}=\beta _{0}+\beta _{1}X_{1i}+\beta _{2}X_{2i}+e_{i}$ + $Y_{i}=\beta _{0}+\beta _{1}X_{1i}+\beta _{2}X_{2i}+e_{i}$ $Y_{i}=\beta _{0}+\beta _{1}X_{1i}+\beta _{2}X_{2i}+e_{i}$ X $Y_{i}=\beta _{0}+\beta _{1}X_{1i}+\beta _{2}X_{2i}+e_{i}$ + $Y_{i}=\beta _{0}+\beta _{1}X_{1i}+\beta _{2}X_{2i}+e_{i}$ { $display Y _$ { i } = \ $beta$ _ { $0$ } + \ $beta$ _ { $1 i$ } + \ $beta$ _ ${ 2$ X _ { i } + $e$ _ { $i$ } 。 $N=2$ 가 $N-styledisplay$ $=$ { $N=2$ 2 . 2 . $2$ $isplaystyle({\hat }_{0},{\hat$ {\ $hat }_{1},{\hat$ {\ $hat }$ $_$ $2}):$ Y ${\hat {Y}}_{i}={\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}$ ${\hat {Y}}_{i}={\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}$ ^ 0 + ${\hat {Y}}_{i}={\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}$ ${\hat {Y}}_{i}={\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}$ ${\hat {Y}}_{i}={\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}$ ${\hat {Y}}_{i}={\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}$ + ${\hat {Y}}_{i}={\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}$ ${\hat {Y}}_{i}={\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}$ ${\hat {Y}}_{i}={\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}$ ${\hat {Y}}_{i}={\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}$ {\ $hat}$ {\hat} {\hat} {\hat} {\hat} {\hat} {\hat} } ${\hat {Y}}_{i}={\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}$ = {\hat } } } } } } } } } = ^ $i$ } ^ ${\hat {Y}}_{i}={\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}$ } ^i} ^i} ^ $_{2i$ 이 모든 것이 $\sum _{i}{\hat {e}}_{i}^{2}=\sum _{i}({\hat {Y}}_{i}-({\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}))^{2}=0$ i $\sum _{i}{\hat {e}}_{i}^{2}=\sum _{i}({\hat {Y}}_{i}-({\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}))^{2}=0$ ^ $\sum _{i}{\hat {e}}_{i}^{2}=\sum _{i}({\hat {Y}}_{i}-({\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}))^{2}=0$ $\sum _{i}{\hat {e}}_{i}^{2}=\sum _{i}({\hat {Y}}_{i}-({\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}))^{2}=0$ i ( $\sum _{i}{\hat {e}}_{i}^{2}=\sum _{i}({\hat {Y}}_{i}-({\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}))^{2}=0$ ^ $\sum _{i}{\hat {e}}_{i}^{2}=\sum _{i}({\hat {Y}}_{i}-({\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}))^{2}=0$ - $\sum _{i}{\hat {e}}_{i}^{2}=\sum _{i}({\hat {Y}}_{i}-({\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}))^{2}=0$ ( $\sum _{i}{\hat {e}}_{i}^{2}=\sum _{i}({\hat {Y}}_{i}-({\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}))^{2}=0$ ^ $\sum _{i}{\hat {e}}_{i}^{2}=\sum _{i}({\hat {Y}}_{i}-({\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}))^{2}=0$ + $\sum _{i}{\hat {e}}_{i}^{2}=\sum _{i}({\hat {Y}}_{i}-({\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}))^{2}=0$ $\sum _{i}{\hat {e}}_{i}^{2}=\sum _{i}({\hat {Y}}_{i}-({\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}))^{2}=0$ $\sum _{i}{\hat {e}}_{i}^{2}=\sum _{i}({\hat {Y}}_{i}-({\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}))^{2}=0$ $\sum _{i}{\hat {e}}_{i}^{2}=\sum _{i}({\hat {Y}}_{i}-({\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}))^{2}=0$ + $\sum _{i}{\hat {e}}_{i}^{2}=\sum _{i}({\hat {Y}}_{i}-({\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}))^{2}=0$ ^ $\sum _{i}{\hat {e}}_{i}^{2}=\sum _{i}({\hat {Y}}_{i}-({\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}))^{2}=0$ $\sum _{i}{\hat {e}}_{i}^{2}=\sum _{i}({\hat {Y}}_{i}-({\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}))^{2}=0$ $\sum _{i}{\hat {e}}_{i}^{2}=\sum _{i}({\hat {Y}}_{i}-({\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}))^{2}=0$ ) 2 $\sum _{i}{\hat {e}}_{i}^{2}=\sum _{i}({\hat {Y}}_{i}-({\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}))^{2}=0$ $\sum _{i}{\hat {e}}_{i}^{2}=\sum _{i}({\hat {Y}}_{i}-({\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}))^{2}=0$ = { $displaystyle$ \ $sum$ _ { $i$ } { $e$ } { $i =$ \ $sum$ _ i } { \ $sum$ { \ hat { \ hat { { \ hat } { i } } } { { i } } { i } } （ { { { { { { i } } } } } } $^{2}=0}$ 이므로 $\sum _{i}{\hat {e}}_{i}^{2}=\sum _{i}({\hat {Y}}_{i}-({\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}))^{2}=0$ 잔차 제곱의 합을 최소화하는 유효한 솔루션입니다.옵션이 무한히 많은 이유를 이해하려면 N $N=2$ $({디스플레이$ 스타일 $N=$ 2 $N=2$ }) 방정식의 $N=2$ 을 3개의 미지수에 대해 풀어야 하므로 시스템이 결정되지 않습니다.또는 N $N=2$ $N=2$ {\ $displaystyle$ N $=2}$ 고정점을 $N=2$ $N=2$ 하는 무한히 많은 3차원 평면을 시각화할 수 있습니다.

보다 일반적으로 k\ $displaystyle$ k \ $k$ k \ $N\geq k$ k $N\geq k$ \ $displaystyle$ N \ $geq$ k \ data $N\geq k$ data data data points points points points데이터 포인트가 있어야 $N\geq k$ .N $N>k$ > $N>k$ \ $displaystyle$ N $N>k$ k일 $N>k$ $일반적$ 으로 데이터에 딱 맞는 파라미터 세트가 존재하지 않습니다.k $k-N$ - $(\displaystyle k-N)$ 의 $k-N$ 양은 회귀 분석에서 자주 나타나며, 모형에서는 자유도라고 합니다.또한 최소 제곱 모델을 추정하려면 독립 변수 $(X_{1i},X_{2i},...,X_{ki})$ $(X_{1i},X_{2i},...,X_{ki})$ i $(X_{1i},X_{2i},...,X_{ki})$ $(X_{1i},X_{2i},...,X_{ki})$ $(X_{1i},X_{2i},...,X_{ki})$ i $(X_{1i},X_{2i},...,X_{ki})$ $(X_{1i},X_{2i},...,X_{ki})$ $(X_{1i},X_{2i},...,X_{ki})$ $(X_{1i},X_{2i},...,X_{ki})$ i $)$ { $displaystyle (X_{1i},X_{2i},...,X_{$ ki})는 $(X_{1i},X_{2i},...,X_{ki})$ 선형 독립적이어야 합니다. 즉, 나머지 독립 변수를 추가 및 곱하여 재구성할 수 없어야 합니다.일반 최소 제곱에서 설명한 바와 같이, 이 조건은 $X^{T}X$ $X^{T}X$ X $(표시 스타일$ X $^{T}X)$ 가 $X^{T}X$ 가역 행렬이므로 고유한 ${\hat {\beta }}$ β $^($ 스타일 ${\beta }})$ 이 $\hat{\beta}$ 존재함을 보증합니다.

기본 전제 조건

회귀는 그 자체로 데이터를 사용한 계산일 뿐입니다.회귀의 결과를 실제 관계를 측정하는 의미 있는 통계량으로 해석하기 위해 연구자들은 종종 여러 고전적인 가정에 의존합니다.이러한 전제 조건에는 다음과 같은 것이 포함됩니다.

표본은 전체 모집단을 대표한다.
독립 변수는 오차 없이 측정됩니다.
모델로부터의 편차는 공변량에 따라 0의 기대치를 가진다 $E(e_{i}|X_{i})=0$ ( e $E(e_{i}|X_{i})=0$ X $E(e_{i}|X_{i})=0$ ) $E(e_{i}|X_{i})=0$ { $displaystyle$ E ( $e$ _ { $i$ } $X$ _ { i } = $0$ }
$e_{i}$ $(\$ })의 $e_{i}$ 분산은 관측치에 걸쳐 일정합니다(동질성).
$잔차$ $($ 표시 스타일 $e_{i$ })는 $e_{i}$ 서로 상관 관계가 없습니다.수학적으로 오차의 분산-공분산 행렬은 대각 행렬입니다.

최소 제곱 추정치가 바람직한 특성을 가지기에 몇 가지 조건이 충분하다. 특히 가우스-마코프 가정은 모수 추정치가 선형 비편향 추정치의 클래스에서 치우침이 없고 일관되며 효율적일 것임을 의미한다.실무자들은 이러한 고전적인 가정이 정확하게 유지될 것 같지 않기 때문에 실제 환경에서 이러한 바람직한 특성 중 일부 또는 모두를 유지하기 위한 다양한 방법을 개발했다.예를 들어, 변수 내 오차 모형화를 통해 독립 변수가 오차로 측정된다는 합리적인 추정치를 얻을 수 있습니다.헤테로세카스틱성 일관 표준오차는 $(\$ $i$ })의 $e_{i}$ 차이를 $(\$ i $X_{i}$ 의 값에 따라 변화시킵니다.데이터 서브셋 내에 존재하거나 특정 패턴을 따르는 상관오차는 클러스터화된 표준오차, 지리적 가중 회귀 또는 Newey를 사용하여 처리할 수 있습니다.서부 표준 오류, 다른 기술들 중에서.데이터 행이 공간 내 위치에 해당하는 경우 지리적 단위 내에서 $\$ 를 $e_{i}$ $e_{i}$ 방법에 따라 중요한 결과가 ^[17]^[18]발생할 수 있습니다.계량경제학의 하위 분야는 주로 연구자들이 고전적 가정이 정확하게 성립되지 않는 실제 환경에서 합리적인 현실 세계의 결론을 내릴 수 있도록 하는 기술 개발에 초점을 맞추고 있다.

선형 회귀

선형 회귀 분석에서 모델 사양은 종속 변수 $y_{i}$ {\ $displaystyle y_{$ i $y_{i}$ }}가 매개변수의 선형 조합이라는 것입니다(단, 독립 변수에서는 선형일 필요는 없음).예를 들어n개의 $데이터$ 포인트를 $모델링하기$ 위한 단순한 선형 회귀 분석에서는 $(\$ $x_{i$ 와 $\beta _{0}$ $\beta _{0}$ 0 $(\$ _ ${0})$ $\beta _{0}$ $\beta _{1}$ 1(\ $displaystyle \beta$ _{ $1$

직선

:

y_{i}=\beta _{0}+\beta _{1}x_{i}+\varepsilon _{i},\quad i=1,\dots ,n.\!

y_{i}=\beta _{0}+\beta _{1}x_{i}+\varepsilon _{i},\quad i=1,\dots ,n.\!

y_{i}=\beta _{0}+\beta _{1}x_{i}+\varepsilon _{i},\quad i=1,\dots ,n.\!

y_{i}=\beta _{0}+\beta _{1}x_{i}+\varepsilon _{i},\quad i=1,\dots ,n.\!

y_{i}=\beta _{0}+\beta _{1}x_{i}+\varepsilon _{i},\quad i=1,\dots ,n.\!

+

y_{i}=\beta _{0}+\beta _{1}x_{i}+\varepsilon _{i},\quad i=1,\dots ,n.\!

1

y_{i}=\beta _{0}+\beta _{1}x_{i}+\varepsilon _{i},\quad i=1,\dots ,n.\!

+

y_{i}=\beta _{0}+\beta _{1}x_{i}+\varepsilon _{i},\quad i=1,\dots ,n.\!

i ,

y_{i}=\beta _{0}+\beta _{1}x_{i}+\varepsilon _{i},\quad i=1,\dots ,n.\!

y_{i}=\beta _{0}+\beta _{1}x_{i}+\varepsilon _{i},\quad i=1,\dots ,n.\!

,

y_{i}=\beta _{0}+\beta _{1}x_{i}+\varepsilon _{i},\quad i=1,\dots ,n.\!

…

y_{i}=\beta _{0}+\beta _{1}x_{i}+\varepsilon _{i},\quad i=1,\dots ,n.\!

,

y_{i}=\beta _{0}+\beta _{1}x_{i}+\varepsilon _{i},\quad i=1,\dots ,n.\!

. {

display y

_ { i } = \

display

_ { 0

y_{i}=\beta _{0}+\beta _{1}x_{i}+\varepsilon _{i},\quad i=1,\dots ,n.\!

} + \

varepsilon

_ {

i

} , \

varepsilon

_ { i } , \

display

i =

y_{i}=\beta _{0}+\beta _{1}x_{i}+\varepsilon _{i},\quad i=1,\dots ,n.\!

1

, \

display 1 ,

n

. \ silon ! }

다중 선형 회귀 분석에서는 여러 독립 변수 또는 독립 변수의 함수가 있습니다.

$x_{i}^{2}$ $x_{i}^{2}$ 의 $x_{i}^{2}$ 항({ $style x_{i}^2})$ 을 $x_{i}^{2}$ 앞의 회귀 분석에 추가하면 다음과 같이 됩니다.

포물선:

y_{i}=\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+\varepsilon _{i},\ i=1,\dots ,n.\!

y_{i}=\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+\varepsilon _{i},\ i=1,\dots ,n.\!

y_{i}=\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+\varepsilon _{i},\ i=1,\dots ,n.\!

β

y_{i}=\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+\varepsilon _{i},\ i=1,\dots ,n.\!

+

y_{i}=\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+\varepsilon _{i},\ i=1,\dots ,n.\!

y_{i}=\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+\varepsilon _{i},\ i=1,\dots ,n.\!

y_{i}=\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+\varepsilon _{i},\ i=1,\dots ,n.\!

i +

y_{i}=\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+\varepsilon _{i},\ i=1,\dots ,n.\!

y_{i}=\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+\varepsilon _{i},\ i=1,\dots ,n.\!

x

y_{i}=\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+\varepsilon _{i},\ i=1,\dots ,n.\!

2 +

y_{i}=\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+\varepsilon _{i},\ i=1,\dots ,n.\!

i ,

y_{i}=\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+\varepsilon _{i},\ i=1,\dots ,n.\!

= 1

,

y_{i}=\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+\varepsilon _{i},\ i=1,\dots ,n.\!

,

y_{i}=\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+\varepsilon _{i},\ i=1,\dots ,n.\!

. {

style y

_ { i } = \

ex _

{ { 1 } + \ ex

_

{ i } + \

ex

_ { { i } + \

ex

{ { i } + { { } \

varepsilon

_ {

i

} ,

i

、 \

n

。

이것은 여전히 선형 회귀입니다.오른쪽 식은 독립 $x_{i}$ x $(\$ 에서는 2차이지만 $\beta _{0}$ $\beta _{0}$ 0 $(\$ _ ${0$ $\beta _{1}$ 1 $(\$ $\beta _{2}.$ $\beta _{2}.$ 2 $(\displaystyle \beta$ _{ $2})$ 에서는 선형입니다. $}$

$\varepsilon _{i}$ 경우 모두 § $\$ _ ${i}$ 는 $\varepsilon _{i}$ 오류 용어이며 $첨자$ i $\displaystyle$ i는 $i$ 특정 관찰을 색인화합니다.

직선 케이스에 다시 주목합니다.모집단에서 랜덤 표본을 지정하면 모집단 모수를 추정하여 표본 선형 회귀 모형을 얻습니다.

{\widehat {y}_{i}=와이드햇 {\widehat}_{0}+{\widehat}_{1}x_{i}입니다.}

$e_{i}=y_{i}-{\widehat {y}}_{i}$ $e_{i}=y_{i}-{\widehat {y}}_{i}$ $e_{i}=y_{i}-{\widehat {y}}_{i}$ $e_{i}=y_{i}-{\widehat {y}}_{i}$ - y $e_{i}=y_{i}-{\widehat {y}}_{i}$ ^ $e_{i}=y_{i}-{\widehat {y}}_{i}$ { \ $displaystyle e$ _ { i } = $y$ _ { $i$ } - { \ $widehat$ { $e_{i}=y_{i}-{\widehat {y}}_{i}$ $y$ } ${\widehat {y}}_{i}$ } _ { $i$ $y_{i}$ } } , ${\widehat {y}}_{i}$ model ${\widehat {y}}_{i}$ by by by by by by $y_{i}$ y $y_{i}$ ^ ${\widehat {y}}_{i}$ ^ i ${\widehat {y}}_{i}$ = $displaystyle$ { $y$ $y_{i}$ } } $y_{i}$ } $of$ by by by by by by by by by by by by by by by by by by by by by 。추정은 일반 최소 제곱입니다.이 방법은 잔차 제곱합(SSR)을 최소화하는 모수 추정치를 얻습니다.

{{displaystyle SSR=\sum _{i=1}^{n}e_{i}^2},}

이 함수를 최소화하면 일련의 정규 방정식, 즉 파라미터의 연립 선형 방정식이 생성되며, 이 방정식은 ${\widehat {\beta }}_{0},{\widehat {\beta }}_{1}$ ^ ${\widehat {\beta }}_{0},{\widehat {\beta }}_{1}$ ^ 1 $({$ {\ $beta }}_{0},$ {\ $widehat$ {\ $beta }}}_{$ 1 ${\widehat {\beta }}_{0},{\widehat {\beta }}_{1}$ 파라미터 추정기를 생성하기 위해 해결됩니다.

데이터 집합의 선형 회귀 분석 그림입니다.

단순 회귀 분석의 경우 최소 제곱 추정치에 대한 공식은 다음과 같습니다.

{\widehat }_{1}=par frac {x}(x_{i}-{\bar {x}) {\sum (x_{i}-{\bar {x}}}) {\sum (x_i}-{\bar {x}}}}}

{\widehat}_{0}={y}-{\widehat}_{1}{\bar {x}}

${\bar {x}}$ 서 x $(\$ 는 ${\bar {x}}$ x $(\displaystyle$ x $)$ $x$ 의 $x$ 평균(평균)이고 y $(\$ 는 ${\bar {y}}$ y $(\displaystyle$ y $}$ $y$ 의 $y$ 평균입니다.

모집단 오차항의 분산이 일정하다고 가정하면 분산의 추정치는 다음과 같습니다.

{\displaystyle {\hat }_{\varepsilon }^{2}=black {SSR}{n-2}},

이를 회귀 분석의 평균 제곱 오차(MSE)라고 합니다.분모는 동일한 데이터에서 추정된 모델 파라미터의 수에 의해 축소된 표본 크기입니다 $(n-p)$ p{ $displaystyle$ $(n-p)$ p $}$ 회귀기의 $(n-p)$ $p$ 경우 $(n-p)$ ( $(n-p)$ $(n-p)$ ) \ $displaystyle$ ( $n-p)$ $(n-p-1)$ 절편이 ^[19]사용되는 경우 ( $(n-p-1)$ $(n-p-1)$ - $(n-p-1)$ 1) $(n-p-1)$ \ $displaystyle (n-p-1)$ 이 경우 p $p=1$ $({displaystyle$ p $=1$ )이므로 $p=1$ 분모는 $n-2$ n - $({displaystyle n-2$ 입니다.

모수 추정치의 표준 오차는 다음과 같습니다.

{\hat }_{\hat _{1}={\varepsilon }{\sum(x_{i}-{\bar {x}}}

{{displaystyle {\hat}_{\hat}_{\varepsilon}{\hatrt {\frac {1}{n}}+{\frac {\bar {x}{2}}{\sum(x_i}-{\bar {x}}{2}}={\hat {\hat}}_{{{\hat}}}}}{{{{{\hat}}}}}}}}}}}}}}{{{\hat}}}}}}}}}}{{{{\hat}}}

모집단 오차 항이 정규 분포를 따른다는 추가 가정 하에서, 연구자는 이러한 추정된 표준 오차를 사용하여 신뢰 구간을 생성하고 모집단 모수에 대한 가설 검정을 수행할 수 있습니다.

일반 선형 모형

보다 일반적인 다중 회귀 모델에서는 p $\displaystyle$ p 독립 $p$ 변수가 $있습니다$ .

\displaystyle y_{i}=\display _{1}x_{i1}+\cdots +\display _{p}x_{ip}+\varepsilon _{i},

$x_{ij}$ 서 $x_{ij}$ $x_{ij}$ j $x_{ij}$ { $displaystyle x_{ij}$ 는 $x_{ij}$ j{ $displaystyle$ j $}$ 의 $j$ 독립 $i$ 변수에 대한 $i번째$ 관측치입니다.첫 번째 독립 변수가 $모든$ i $(\displaystyle$ i $i$ $x_{i1}=1$ $x_{i1}=1$ $=$ (\ $displaystyle x_{i1$ }= $1$ 에 대해 값 1을 취할 $\beta _{1}$ $\beta _{1}$ 1(\ $displaystyle \display$ _ ${1})$ 을 $\beta _{1}$ 회귀 절편이라고 합니다.

최소 제곱 모수 추정치는 p $\displaystyle$ p 정규 $p$ $p$ 에서 구합니다.잔차는 다음과 같이 쓸 수 있습니다.

\varepsilon _{i}=y_{i}-{\hat}_{1}x_{cdots -{\hat}_{p}x_{ip}.

정규식은

\displaystyle \sum _{i=1}^{n}\sum _{k}x_{ij}x_{k}=\sum _{i=1}^{n}x_{i}y_{i},\j=1,\sum,{ij}x_p,}.

행렬 표기법에서 정규 방정식은 다음과 같이 쓰여진다.

\mathbf {(X^{\top}X){\hat {boldsymbol {\top}={}X^{\top}Y},,

여기서 $\mathbf {X}$ 의 $\mathbf {X}$ $요소$ (\ $displaystyle \mathbf$ { $X$ $})$ 는 $ij$ $xij$ 열 $벡터$ Y의 $i$ (\ $displaystyle Y$ 는 $Y$ y, $y_{i}$ $β의$ j ${\hat {\boldsymbol {\beta }}}$ $(\displaystyle$ j $)$ 는 $j$ $j$ 입니다. ${\boldsymbol$ {\ $displaystyle}$ 은 ${\hat {\boldsymbol {\beta }}}$ (는) ${\hat {\beta }}_{j}$ ^ ${\hat {\beta }}_{j}$ j {displaystyle { $hat}_{j$ 입니다. $(\$ $displaystyle$ $\mathbf {X$ $n\times p$ 는 $\mathbf {X}$ n $n\times p$ × $n\times 1$ $,$ Y(\ $displaystyle$ Y $)$ 는 $Y$ $n\times 1$ n × 1 $(\displaystyle$ n $\$ $times$ 1) $n\times 1$ 및 $n\times 1$ β $(\$ $displaystyle$ $\boldsymbol \beta$ $})$ 는 ${\hat {\boldsymbol {\beta }}}$ p $p\times 1$ × $1$ 입니다.솔루션은 다음과 같습니다.

\mathbf {{\hat {\boldsymbol {\top}}=(X^{\top}X)^{\top}Y.,

진단

회귀 모형을 구성한 후에는 모형의 적합도와 추정된 모수의 통계적 유의성을 확인하는 것이 중요할 수 있습니다.일반적으로 사용되는 적합도 검사에는 R 제곱, 잔차 패턴 분석 및 가설 검정 등이 포함됩니다.통계적 유의성은 전체 적합치에 대한 F-검정과 개별 모수에 대한 t-검정을 통해 확인할 수 있습니다.

이러한 진단 검정의 해석은 모형의 가정에 크게 좌우됩니다.잔차를 검사하여 모형을 무효화할 수 있지만, 모형의 가정이 위반되면 t-검정 또는 F-검정의 결과를 해석하기가 더 어려울 수 있습니다.예를 들어, 오차 항에 정규 분포가 없으면 작은 표본에서는 추정된 모수가 정규 분포를 따르지 않고 추론을 복잡하게 만듭니다.그러나 비교적 큰 표본의 경우 중심 한계 정리가 호출되어 가설 테스트가 점근적 근사치를 사용하여 진행될 수 있다.

제한된 종속 변수

제한된 종속 변수는 범주형 변수이거나 특정 범위에만 속하도록 제약된 반응 변수이며, 종종 계량 경제학에서 발생합니다.

반응 변수는 연속적이지 않을 수 있습니다("실제 선의 일부 부분 집합에 놓이기 위해 제한됨").이항(0 또는 하나) 변수의 경우 분석이 최소 제곱 선형 회귀 분석으로 진행되는 경우 모형을 선형 확률 모형이라고 합니다.이항 종속 변수에 대한 비선형 모형에는 프로빗 및 로짓 모형이 포함됩니다.다변량 프로빗 모형은 여러 이항 종속 변수와 일부 독립 변수 간의 결합 관계를 추정하는 표준 방법입니다.값이 세 개 이상인 범주형 변수의 경우 다항 로짓이 있습니다.값이 세 개 이상인 순서형 변수의 경우 순서형 로짓 모형과 순서형 프로빗 모형이 있습니다.관측 중단 회귀 모형은 종속 변수가 가끔 관측되는 경우에만 사용할 수 있으며, Heckman 보정 유형 모형은 표본이 관심 모집단에서 랜덤하게 선택되지 않은 경우에 사용할 수 있습니다.이러한 절차의 대안은 범주형 변수 간의 다원적 상관 관계(또는 다원적 상관 관계)에 기초한 선형 회귀 분석입니다.이러한 절차는 모집단 내 변수의 분포에 대한 가정에서는 다르다.변수가 낮은 값으로 양수이고 사건 발생의 반복을 나타내는 경우 포아송 회귀 분석 또는 음이항 모형과 같은 카운트 모형을 사용할 수 있습니다.

비선형 회귀 분석

모수에서 모형 함수가 선형적이지 않은 경우 반복 절차를 통해 제곱합을 최소화해야 합니다.이로 인해 선형과 비선형 최소 제곱의 차이에 요약된 여러 가지 문제가 발생합니다.

보간 및 외삽

중간에서 보간된 직선은 이 선의 위와 아래 점 사이의 최적의 균형을 나타냅니다.점선은 두 개의 극단선을 나타냅니다.첫 번째 곡선은 추정된 값을 나타냅니다.외부 곡선은 새 ^[20]측정에 대한 예측을 나타냅니다.

회귀 모형은 알려진 X 변수 값이 주어진 경우 Y 변수 값을 예측합니다.모델 적합에 사용되는 데이터 집합의 값 범위 내의 예측은 비공식적으로 보간으로 알려져 있습니다.이 데이터 범위를 벗어나는 예측을 외삽이라고 합니다.외삽 수행은 회귀 가정에 크게 의존합니다.추정이 데이터 바깥쪽으로 갈수록 가정과 표본 데이터 또는 실제 값 사이의 차이로 인해 모형이 실패할 여지가 커집니다.

일반적으로^{[citation needed]} 외삽을 수행할 때는 불확실성을 나타내는 예측 구간과 함께 종속 변수의 추정 값을 동반해야 한다.이러한 구간은 독립 변수의 값이 관측 데이터의 범위를 벗어나면서 빠르게 확장되는 경향이 있습니다.

이러한 이유 등으로 인해 일부에서는 ^[21]추론을 수행하는 것이 현명하지 못할 수 있다고 말하는 경향이 있다.

그러나 이는 발생할 수 있는 모델링 오류의 전체 집합, 특히 Y와 X의 관계에 대한 특정 형식의 가정에는 적용되지 않습니다.적절하게 수행된 회귀 분석에는 가정된 형태가 관측된 데이터와 얼마나 잘 일치하는지에 대한 평가가 포함되지만 실제로 사용할 수 있는 독립 변수의 값 범위 내에서만 가능합니다.즉, 모든 외삽은 회귀관계의 구조적 형태에 대해 이루어지는 가정에 특히 의존한다는 것을 의미한다.여기서의 베스트 프랙티스 어드바이스는^{[citation needed]} 단순히 계산상의 편의를 위해 변수와 파라미터의 선형 관계를 선택하는 것이 아니라 모든 사용 가능한 지식을 회귀 모델 구축에 배치해야 한다는 것입니다.이러한 지식에 종속 변수가 특정 범위의 값을 벗어날 수 없다는 사실이 포함된 경우, 관찰된 데이터 집합이 해당 경계에 특별히 가까운 값을 가지지 않더라도 모델을 선택할 때 이를 활용할 수 있습니다.외삽을 고려할 때 회귀에 적합한 기능 형태를 선택하는 이 단계의 의미는 클 수 있다.최소한 적합 모형에서 발생하는 외삽이 "현실적"인지(또는 알려진 것과 일치하는지) 확인할 수 있다.

검정력 및 표본 크기 계산

관측치 수와 모형의 독립 변수 수를 관련짓기 위해 일반적으로 합의된 방법은 없습니다.Good와 Hardin에 의해 추측된 한 가지 방법은 N $N=m^{n}$ $N=m^{n}$ n $N=m^{n}$ {\ $displaystyle$ N $= m^{n$ 이다. $N$ 서N {\ $displaystyle$ n}은 $N$ 표본 크기, $n$ {\ $displaystyle$ n $}$ 은 $n$ 독립 변수 수, $m$ {\ $displaystyle$ m $}$ 은 $m$ 독립 모델이 하나만 있는 경우 원하는 정밀도에 도달하는 데 필요한 관측치 수이다.변수입니다.^[22]예를 들어, 한 연구자가 1000명의 환자를 포함하는 데이터 세트( $\displaystyle$ N $)$ 를 사용하여 선형 회귀 모델을 구축하고 있습니다.직선(m\ $displaystyle$ m $)$ 을 정확하게 정의하기 위해 5개의 관측치가 필요하다고 연구자가 결정할 경우 모델이 지원할 수 있는 독립 변수의 최대 수는 4개입니다.

(\displaystyle\frac 1000\log 5}=4.29).}

기타 방법

회귀 모형의 모수는 일반적으로 최소 제곱 방법을 사용하여 추정되지만 사용된 다른 방법에는 다음이 포함됩니다.

베이지안 방법, 예를 들어 베이지안 선형 회귀
백분율 회귀: 백분율 오류를 줄이는 것이 ^[23]더 적절하다고 간주되는 경우.
특이치가 있을 때 더 강력하여 분위수 회귀 분석으로 이어지는 최소 절대 편차
비모수 회귀 분석, 많은 수의 관측치가 필요하며 계산 집약적임
시나리오 최적화, 구간 예측 모델 발생
거리 메트릭 학습. 이것은 특정 입력 ^[24]공간에서 의미 있는 거리 메트릭을 검색함으로써 학습됩니다.

소프트웨어

모든 주요 통계 소프트웨어 패키지는 최소 제곱 회귀 분석 및 추론을 수행합니다.일부 스프레드시트 응용 프로그램 및 일부 계산기에서 최소 제곱을 사용한 단순 선형 회귀 분석 및 다중 회귀 분석을 수행할 수 있습니다.많은 통계 소프트웨어 패키지가 다양한 유형의 비모수적이고 강력한 회귀 분석을 수행할 수 있지만, 이러한 방법은 표준화되지 않았다.소프트웨어 패키지에 따라 다른 메서드가 구현되며 지정된 이름의 메서드는 패키지에 따라 다르게 구현될 수 있습니다.설문 분석 및 신경 영상 촬영과 같은 분야에서 사용하기 위해 특수 회귀 소프트웨어가 개발되었습니다.

「」를 참조해 주세요.

레퍼런스

^ 필요한 조건 분석
^ David A. Freedman (27 April 2009). Statistical Models: Theory and Practice. Cambridge University Press. ISBN 978-1-139-47731-4.
^ R. Dennis Cook; Sanford Weisberg 비판과 사회학적 방법론, Vol. 13(1982) 페이지 313-361
^ 오전 레전드르1805년 파리 Firmin Didot, détermination des orbites des cométes."Sur la Methode des moindres"는 부록으로 나타납니다.
^ ^a ^b 제1장: Angrist, J.D., & Pischke, J.S. (2008)대부분 무해한 계량경제학: 경험주의자의 동반자.프린스턴 대학 출판부
^ C.F. 가우스Theoryia combinationis observationum errorbus minimum obnocia. (1821/1823)
^ Mogull, Robert G. (2004). Second-Semester Applied Statistics. Kendall/Hunt Publishing Company. p. 59. ISBN 978-0-7575-1181-3.
^ Galton, Francis (1989). "Kinship and Correlation (reprinted 1989)". Statistical Science. 4 (2): 80–86. doi:10.1214/ss/1177012581. JSTOR 2245330.
^ 프란시스 골튼."일반 유전의 법칙", Nature 15(1877), 492-495, 512-514, 532-533. (Galton은 완두콩의 크기를 논하는 이 문서에서 "역전"이라는 용어를 사용합니다.)
^ 프란시스 골튼.대통령 연설, H과 인류학.(1885) (갈튼은 이 논문에서 인간의 키를 논하는 "퇴행"이라는 용어를 사용한다.)
^ Yule, G. Udny (1897). "On the Theory of Correlation". Journal of the Royal Statistical Society. 60 (4): 812–54. doi:10.2307/2979746. JSTOR 2979746.
^ Pearson, Karl; Yule, G.U.; Blanchard, Norman; Lee,Alice (1903). "The Law of Ancestral Heredity". Biometrika. 2 (2): 211–236. doi:10.1093/biomet/2.2.211. JSTOR 2331683.
^ Fisher, R.A. (1922). "The goodness of fit of regression formulae, and the distribution of regression coefficients". Journal of the Royal Statistical Society. 85 (4): 597–612. doi:10.2307/2341124. JSTOR 2341124. PMC 1084801.
^ Ronald A. Fisher (1954). Statistical Methods for Research Workers (Twelfth ed.). Edinburgh: Oliver and Boyd. ISBN 978-0-05-002170-5.
^ Aldrich, John (2005). "Fisher and Regression". Statistical Science. 20 (4): 401–417. doi:10.1214/088342305000000331. JSTOR 20061201.
^ 로드니 램차란입니다회귀: 왜 경제학자들은 그들에게 집착할까?2006년 3월2011-12-03에 접속.
^ Fotheringham, A. Stewart; Brunsdon, Chris; Charlton, Martin (2002). Geographically weighted regression: the analysis of spatially varying relationships (Reprint ed.). Chichester, England: John Wiley. ISBN 978-0-471-49616-8.
^ Fotheringham, AS; Wong, DWS (1 January 1991). "The modifiable areal unit problem in multivariate statistical analysis". Environment and Planning A. 23 (7): 1025–1044. doi:10.1068/a231025. S2CID 153979055.
^ 강철, R.G.D. 및 토리, J.H., 생물과학에 대한 특별 참조 통계의 원칙과 절차. McGrow Hill, 1960, 288페이지.
^ Rouaud, Mathieu (2013). Probability, Statistics and Estimation (PDF). p. 60.
^ Chiang, C.L, (2003) 통계 분석 방법, World Scientific.ISBN 981-238-310-7 - 274페이지 섹션 9.7.4 "간극 대 외삽"
^ Good, P. I.; Hardin, J. W. (2009). Common Errors in Statistics (And How to Avoid Them) (3rd ed.). Hoboken, New Jersey: Wiley. p. 211. ISBN 978-0-470-45798-6.
^ Tofallis, C. (2009). "Least Squares Percentage Regression". Journal of Modern Applied Statistical Methods. 7: 526–534. doi:10.2139/ssrn.1406472. SSRN 1406472.
^ YangJing Long (2009). "Human age estimation by metric learning for regression problems" (PDF). Proc. International Conference on Computer Analysis of Images and Patterns: 74–82. Archived from the original (PDF) on 2010-01-08.

추가 정보

William H. Kruskal과 Judith M. Tanur, ed.(1978), "선형 가설", 국제통계백과사전.프리 프레스, v.1

Evan J. Williams, "I. Regression", 523-41페이지.

줄리안 C. 스탠리, "II. 분산 분석", 541-554페이지.

린들리, D.V.(1987년)"회귀 및 상관 분석", New Palgrave: 경제 사전, v. 4, 페이지 120-23.
Birkes, David and Dodge, Y., Alternative Methods of Regression(회귀의 대안 방법)ISBN 0-471-56881-3
채팅필드, C. (1993) "간격 예측 계산", 기업 및 경제 통계 저널, 11. 페이지 121–135.
Draper, N.R.; Smith, H. (1998). Applied Regression Analysis (3rd ed.). John Wiley. ISBN 978-0-471-17082-2.
폭스, J. (1997년)적용 회귀 분석, 선형 모형 및 관련 방법.세이지
Hardle, W., 적용 비모수 회귀(1990), ISBN 0-521-42950-1
Meade, Nigel; Islam, Towhidul (1995). "Prediction intervals for growth curve forecasts". Journal of Forecasting. 14 (5): 413–430. doi:10.1002/for.3980140502.
A. Sen, M. Srivastava, Regression Analysis - 이론, 방법 및 응용 프로그램, Springer-Verlag, Berlin, 2011 (제4쇄)
T. Strutz:데이터 적합성과 불확실성(가중치 최소 제곱 이상에 대한 실용적인 소개)Vieweg+튜브너, ISBN 978-3-8348-1022-9.
스툴프, 프렉, 올리비에 시고.많은 회귀 알고리즘, 단일 통합 모델: 검토.뉴럴 네트워크, 제69권, 2015년 9월, 페이지 60-79.https://doi.org/10.1016/j.neunet.2015.05.005 를 참조해 주세요.
말라쿠티, B. (2013년)다양한 목표를 가진 운영 및 운영 시스템John Wiley & Sons.

외부 링크

"Regression analysis", Encyclopedia of Mathematics, EMS Press, 2001 [1994]
초기 사용: 회귀 – 기본 이력 및 참고 자료
다중 회귀 분석의 용도는 무엇입니까?– 다중 회귀
약하게 상관된 데이터의 회귀 – Y 범위가 X 범위보다 훨씬 작을 때 선형 회귀 오류가 나타날 수 있는 방법

[1] 필요한 조건 분석

[Freedman2009-2] David A. Freedman (27 April 2009). Statistical Models: Theory and Practice. Cambridge University Press. ISBN 978-1-139-47731-4.

[3] R. Dennis Cook; Sanford Weisberg 비판과 사회학적 방법론, Vol. 13(1982) 페이지 313-361

[Legendre-4] 오전 레전드르1805년 파리 Firmin Didot, détermination des orbites des cométes."Sur la Methode des moindres"는 부록으로 나타납니다.

[Gauss-5] 제1장: Angrist, J.D., & Pischke, J.S. (2008)대부분 무해한 계량경제학: 경험주의자의 동반자.프린스턴 대학 출판부

[Gauss2-6] C.F. 가우스Theoryia combinationis observationum errorbus minimum obnocia. (1821/1823)

[7] Mogull, Robert G. (2004). Second-Semester Applied Statistics. Kendall/Hunt Publishing Company. p. 59. ISBN 978-0-7575-1181-3.

[8] Galton, Francis (1989). "Kinship and Correlation (reprinted 1989)". Statistical Science. 4 (2): 80–86. doi:10.1214/ss/1177012581. JSTOR 2245330.

[9] 프란시스 골튼."일반 유전의 법칙", Nature 15(1877), 492-495, 512-514, 532-533. (Galton은 완두콩의 크기를 논하는 이 문서에서 "역전"이라는 용어를 사용합니다.)

[10] 프란시스 골튼.대통령 연설, H과 인류학.(1885) (갈튼은 이 논문에서 인간의 키를 논하는 "퇴행"이라는 용어를 사용한다.)

[11] Yule, G. Udny (1897). "On the Theory of Correlation". Journal of the Royal Statistical Society. 60 (4): 812–54. doi:10.2307/2979746. JSTOR 2979746.

[12] Pearson, Karl; Yule, G.U.; Blanchard, Norman; Lee,Alice (1903). "The Law of Ancestral Heredity". Biometrika. 2 (2): 211–236. doi:10.1093/biomet/2.2.211. JSTOR 2331683.

[13] Fisher, R.A. (1922). "The goodness of fit of regression formulae, and the distribution of regression coefficients". Journal of the Royal Statistical Society. 85 (4): 597–612. doi:10.2307/2341124. JSTOR 2341124. PMC 1084801.

[FisherR1954Statistical-14] Ronald A. Fisher (1954). Statistical Methods for Research Workers (Twelfth ed.). Edinburgh: Oliver and Boyd. ISBN 978-0-05-002170-5.

[15] Aldrich, John (2005). "Fisher and Regression". Statistical Science. 20 (4): 401–417. doi:10.1214/088342305000000331. JSTOR 20061201.

[16] 로드니 램차란입니다회귀: 왜 경제학자들은 그들에게 집착할까?2006년 3월2011-12-03에 접속.

[17] Fotheringham, A. Stewart; Brunsdon, Chris; Charlton, Martin (2002). Geographically weighted regression: the analysis of spatially varying relationships (Reprint ed.). Chichester, England: John Wiley. ISBN 978-0-471-49616-8.

[18] Fotheringham, AS; Wong, DWS (1 January 1991). "The modifiable areal unit problem in multivariate statistical analysis". Environment and Planning A. 23 (7): 1025–1044. doi:10.1068/a231025. S2CID 153979055.

[19] 강철, R.G.D. 및 토리, J.H., 생물과학에 대한 특별 참조 통계의 원칙과 절차. McGrow Hill, 1960, 288페이지.

[20] Rouaud, Mathieu (2013). Probability, Statistics and Estimation (PDF). p. 60.

[21] Chiang, C.L, (2003) 통계 분석 방법, World Scientific.ISBN 981-238-310-7 - 274페이지 섹션 9.7.4 "간극 대 외삽"

[22] Good, P. I.; Hardin, J. W. (2009). Common Errors in Statistics (And How to Avoid Them) (3rd ed.). Hoboken, New Jersey: Wiley. p. 211. ISBN 978-0-470-45798-6.

[23] Tofallis, C. (2009). "Least Squares Percentage Regression". Journal of Modern Applied Statistical Methods. 7: 526–534. doi:10.2139/ssrn.1406472. SSRN 1406472.

[24] YangJing Long (2009). "Human age estimation by metric learning for regression problems" (PDF). Proc. International Conference on Computer Analysis of Images and Patterns: 74–82. Archived from the original (PDF) on 2010-01-08.

[1]

[2]

[3]

[4]

[5]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

Search

회귀 분석

네임스페이스

더

목차

역사

회귀 모형

기본 전제 조건

선형 회귀

일반 선형 모형

진단

제한된 종속 변수

비선형 회귀 분석

보간 및 외삽

검정력 및 표본 크기 계산

기타 방법

소프트웨어

「」를 참조해 주세요.

레퍼런스

추가 정보

외부 링크

v t 정량예측방법
이력 데이터 예측 이동평균 지수 평활 트렌드 분석 시계열 분해 순진한 접근법
연관성(원인) 예측 이동평균 단순 선형 회귀 분석 회귀 분석 계량 경제 모형

Search

회귀 분석

역사

회귀 모형

기본 전제 조건

선형 회귀

일반 선형 모형

진단

제한된 종속 변수

비선형 회귀 분석

보간 및 외삽

검정력 및 표본 크기 계산

기타 방법

소프트웨어

「 」를 참조해 주세요.

레퍼런스

추가 정보

외부 링크

「」를 참조해 주세요.