조건부 기대치 교체

교대 조건부 기대치(ACE)는 회귀 ^[1]분석에서 반응 변수와 예측 변수 사이의 최적 변환을 찾기 위한 알고리즘입니다.

서론

통계학에서 변수의 비선형 변환은 회귀 문제에서 일반적으로 사용됩니다.교대 조건부 기대치(ACE)는 가장 적합한 가법 모형을 생성하는 변환을 찾는 방법 중 하나입니다.이러한 변환에 대한 지식은 반응 변수와 예측 변수 간의 관계를 해석하고 이해하는 데 도움이 된다.

ACE는 설명되지 않은 분산 비율을 최소화하기 위해 반응 $변수$ Y(\ $displaystyle$ Y $)$ 와 $Y$ 예측 변수 $(\$ })를 $X_{i}$ 변환합니다.변환은 비선형이며 반복적인 방법으로 데이터에서 얻습니다.

수학적 설명

Y $Y,X_{1},\dots ,X_{p}$ $Y,X_{1},\dots ,X_{p}$ 1, $Y,X_{1},\dots ,X_{p}$ $Y,X_{1},\dots ,X_{p}$ p \ $displaystyle$ Y $,X_{1},\ dots,X_{p}$ 를 $Y,X_{1},\dots ,X_{p}$ 랜덤 변수로 합니다. $X_{1},\dots ,X_{p}$ 1, $X_{1},\dots ,X_{p}$ X $X_{1},\dots ,X_{p}$ {\ $displaystyle X_{1},\dots,$ $\theta (Y),\varphi _{1}(X_{1}),\dots ,\varphi _{p}(X_{p})$ ${p}$ 를 $X_{1},\dots ,X_{p}$ $X_{1},\dots ,X_{p}$ 하여 Y $displaystyle$ Y)를 예측합니다 $\theta (Y),\varphi _{1}(X_{1}),\dots ,\varphi _{p}(X_{p})$ $\theta (Y),\varphi _{1}(X_{1}),\dots ,\varphi _{p}(X_{p})$ 」、「 $\theta (Y),\varphi _{1}(X_{1}),\dots ,\varphi _{p}(X_{p})$ 、「 $」$ $\theta (Y),\varphi _{1}(X_{1}),\dots ,\varphi _{p}(X_{p})$ 「 $displaystyle$ \ $theta$ （ Y ）、 \ $vari _$ 1 （ $X$ ） } 、 { 1 $。$ $\theta (Y)$ $\theta (Y)$ $）$ { $displaystyle \theta$ ( Y $)설명$ 없음

e^{2}(\theta,\varphi _{1},\varphi _{p})=frac {\left[\theta (Y)-\sum _{p}\varphi _{i}(X_{i}\right)^{2\ta ^2

일반적으로 설명되지 않는 부분을 최소화하는 최적의 변환은 직접 계산하기 어렵습니다.대안으로 ACE는 최적의 변환을 계산하기 위한 반복적인 방법입니다.ACE 의 순서는, 다음과 같습니다.

$\phi _{1}(X_{1}),\dots ,\phi _{p}(X_{p})$ 1 ( $\phi _{1}(X_{1}),\dots ,\phi _{p}(X_{p})$ ) , $\phi _{1}(X_{1}),\dots ,\phi _{p}(X_{p})$ , $\phi _{1}(X_{1}),\dots ,\phi _{p}(X_{p})$ p ( $\phi _{1}(X_{1}),\dots ,\phi _{p}(X_{p})$ ) $\phi _{1}(X_{1}),\dots ,\phi _{p}(X_{p})$ \ $displaystyle \phi$ _ ${1}$ ( $X$ _ { $p}$ ) , \ $dots$ , \ $phi$ _ { $p}$ ( X _ { $p$ $e^{2}$ } )를 $\phi _{1}(X_{1}),\dots ,\phi _{p}(X_{p})$ 고정하고 $e^{2}$ 2 ( \ $displaystyle$ e $^{2}})$ $\theta _{1}(Y)=\mathbb {E} \left[\sum _{i=1}^{p}\varphi _{i}(X_{i}){\Bigg |}Y\right]$ E [ $\theta _{1}(Y)=\mathbb {E} \left[\sum _{i=1}^{p}\varphi _{i}(X_{i}){\Bigg |}Y\right]$ ] $\theta _{1}(Y)=\mathbb {E} \left[\sum _{i=1}^{p}\varphi _{i}(X_{i}){\Bigg |}Y\right]$ $\theta _{1}(Y)=\mathbb {E} \left[\sum _{i=1}^{p}\varphi _{i}(X_{i}){\Bigg |}Y\right]$ $\theta _{1}(Y)=\mathbb {E} \left[\sum _{i=1}^{p}\varphi _{i}(X_{i}){\Bigg |}Y\right]$ i $\theta _{1}(Y)=\mathbb {E} \left[\sum _{i=1}^{p}\varphi _{i}(X_{i}){\Bigg |}Y\right]$ （ 1 ） $\theta _{1}(Y)=\mathbb {E} \left[\sum _{i=1}^{p}\varphi _{i}(X_{i}){\Bigg |}Y\right]$ i ）。 $ght]}$
단위 분산을 $\theta _{1}(Y)$ 1 ( $\theta _{1}(Y)$ $){style \theta$ _ ${1}(Y)}$ 로 $\theta _{1}(Y)$ 정규화합니다.
각 $k$ (\ $displaystyle$ k $k$ 에 대해 $\varphi _{i}(X_{i})$ $i($ ${i$ $}(X_{i$ 및 $displaystyle$ ${\tilde {\varphi }}_{k}=\mathbb {E} \left[\theta (Y)-\sum _{i\neq k}\varphi _{i}(X_{i}){\Bigg |}X_{k}\right]$ $theta$ ${\tilde {\varphi }}_{k}=\mathbb {E} \left[\theta (Y)-\sum _{i\neq k}\varphi _{i}(X_{i}){\Bigg |}X_{k}\right]$ 를 수정하고 $(\$ ${\tilde {\varphi }}_{k}=\mathbb {E} \left[\theta (Y)-\sum _{i\neq k}\varphi _{i}(X_{i}){\Bigg |}X_{k}\right]$ e ${\tilde {\varphi }}_{k}=\mathbb {E} \left[\theta (Y)-\sum _{i\neq k}\varphi _{i}(X_{i}){\Bigg |}X_{k}\right]$ 2}})를 $e^{2}$ $e^{2}$ 합니다.해결 방법은 ${\tilde {\varphi }}_{k}=\mathbb {E} \left[\theta (Y)-\sum _{i\neq k}\varphi _{i}(X_{i}){\Bigg |}X_{k}\right]$ 과 ${\tilde {\varphi }}_{k}=\mathbb {E} \left[\theta (Y)-\sum _{i\neq k}\varphi _{i}(X_{i}){\Bigg |}X_{k}\right]$ $rphi }}_{k}=\mathbb {E} \left[\theta (Y)-\sum _{i\neq k}\varphi _{i}(X_{i}){\Bigg }X_{k}\right}$
$(\$ 가 $e^{2}$ 오류 허용 범위 내에 있을 $e^{2}$ 까지 위의 세 단계를 반복합니다.

이변량 케이스

p $p=1$ { $displaystyle$ $\theta ^{*}(Y),\varphi ^{*}(X)$ p $=1$ }에 $p=1$ $p=1$ $최적$ 의 변환 $\theta ^{*}(Y),\varphi ^{*}(X)$ $\theta ^{*}(Y),\varphi ^{*}(X)$ $\theta ^{*}(Y),\varphi ^{*}(X)$ Y $\theta ^{*}(Y),\varphi ^{*}(X)$ ）、 $\theta ^{*}(Y),\varphi ^{*}(X)$ （ X $\theta ^{*}(Y),\varphi ^{*}(X)$ ） \ $displaystyle$ \ $theta ^{*}(X)$ }는 $\theta ^{*}(Y),\varphi ^{*}(X)$ 다음을 만족합니다.

\displaystyle \rho ^{*}(X,Y)=\rho^{*}(\theta ^{*},\varphi ^{*})=\max_{\theta,\varphi }\rho(\theta(Y),\varphi(X)))}

$\rho$ 서 ${\$ { $displaystyle \rho }$ 는 $\rho$ Pearson 상관 계수입니다. $\rho ^{*}(X,Y)$ ( ( $X$ , $\rho ^{*}(X,Y)$ Y ){ $\rho ^{*}(X,Y)$ $displaystyle$ \rho ^ { * （ X $\rho ^{*}(X,Y)$ , $Y$ $X$ $\rho ^{*}(X,Y)$ ） }는 $X$ { $style$ X}와Y { $displaystyle$ Y $Y$ }의 최대 상관관계로 알려져 있으며, 일반적인 의존성 측정으로 사용할 수 있습니다.

이변량의 경우 ACE 알고리즘은 두 변수 간의 최대 상관관계를 추정하는 방법으로도 간주할 수 있다.

소프트웨어 구현

ACE 알고리즘은 기존의 분포의 맥락에서 개발되었습니다.실제로 데이터 분포는 거의 알려져 있지 않으며 조건부 기대치는 데이터로부터 추정해야 합니다.R 언어에는 ACE 알고리즘을 실장하는 패키지가 있습니다.다음으로 그 사용 예를 나타냅니다.

도서관(에이스 팩) 투피 <-> 8 * atan(1) x <-> 실행하다(200, 0, 투피) y <-> exp(죄(x) + 불규칙하다(200)/2) a <-> 에이스(x, y) 파(mfrow.=c(3,1)) 줄거리.(a$y, a$ty)  # 응답 변환 표시 줄거리.(a$x, a$tx)  # 캐리어 트랜스포메이션 표시 줄거리.(a$tx, a$ty) # 적합 모형의 선형성 검사

논의

ACE 알고리즘은 다중 회귀에서 최적의 변환을 추정하기 위한 완전히 자동화된 방법을 제공합니다.또한 랜덤 변수 간의 최대 상관 관계를 추정하는 방법도 제공합니다.반복 프로세스는 보통 제한된 횟수로 종료되므로 알고리즘의 시간 복잡도는 O $O(np)$ p $)\displaystyle$ O $(np)$ 입니다 $O(np)$ . $n$ 서 n $\displaystyle$ n은 $n$ 샘플 수입니다.이 알고리즘은 상당히 컴퓨터 효율적입니다.

ACE 절차의 강력한 장점은 추정할 수 있는 값의 집합 측면에서 상당히 다른 유형의 변수를 통합할 수 있다는 것입니다. $\theta (y),\varphi _{i}(x_{i})$ $\theta (y),\varphi _{i}(x_{i})$ ( $\theta (y),\varphi _{i}(x_{i})$ y ) 、 $\theta (y),\varphi _{i}(x_{i})$ $\theta (y),\varphi _{i}(x_{i})$ ( x $\theta (y),\varphi _{i}(x_{i})$ i ) { $displaystyle \theta$ ( y ) 、 \ $varphi _$ { i } ( $x$ _ { $i$ } )는 $\theta (y),\varphi _{i}(x_{i})$ 실제 행의 값을 가정합니다.그러나 이러한 인수는 임의의 집합에서 값을 가정할 수 있습니다.예를 들어, 순서가 매겨진 실수 및 순서가 매겨지지 않은 범주형 변수를 동일한 회귀 방정식에 통합할 수 있습니다.혼합형 변수를 사용할 수 있습니다.

데이터 분석 툴로서 ACE 프로시저는 변환의 필요성을 나타내는 그래픽 출력을 제공하고 변환의 선택을 안내합니다.특정 플롯이 변환에 익숙한 함수 형식을 제안할 경우 이 함수 형식을 사용하여 데이터를 사전 변환하고 ACE 알고리즘을 재실행할 수 있습니다.

모든 회귀 분석 절차와 마찬가지로 예측 변수 간의 높은 연관성으로 인해 전체 모형이 상당히 안정적이더라도 개별 변환 추정치가 매우 변동될 수 있습니다.이것이 의심될 경우 랜덤으로 선택된 데이터 서브셋 또는 부트스트랩샘플에서 알고리즘을 실행하면 변동성을 평가하는 데 도움이 됩니다.

레퍼런스

^ Breiman, L. 및 Friedman, J. H. 다중 회귀 및 상관 관계에 대한 최적 변환 추정.J. Am. Stat.Assoc., 80(391) : 580-598, 1985년 9월. 이 문서에는 퍼블릭 도메인에 있는 이 소스로부터의 텍스트가 포함되어 있습니다..

이 초안에는 Leo Breiman과 Jerome Freidman의 다중 회귀 및 상관 관계에 대한 최적 변환 추정의 인용문이 포함되어 있습니다. 기술 보고서 No. 1982년 7월 9일, 공공 영역에 있다.

[1] Breiman, L. 및 Friedman, J. H. 다중 회귀 및 상관 관계에 대한 최적 변환 추정.J. Am. Stat.Assoc., 80(391) : 580-598, 1985년 9월. 이 문서에는 퍼블릭 도메인에 있는 이 소스로부터의 텍스트가 포함되어 있습니다..

[1]

Search

조건부 기대치 교체

네임스페이스

더

목차

서론

수학적 설명

이변량 케이스

소프트웨어 구현

논의

레퍼런스