커널 평활기

커널 평활기는 $f:\mathbb {R} ^{p}\to \mathbb {R}$ 값진 함수 f : $f:\mathbb {R} ^{p}\to \mathbb {R}$ p → R {\ $displaystyle$ f $:\mathb {R} ^{p}\to \mathb {R}}$ 을(를) 인접 관측 데이터의 가중 평균으로 $f:\mathbb {R} ^{p}\to \mathbb {R}$ 추정하기 위한 통계 기법이다 $f:\mathbb {R} ^{p}\to \mathbb {R}$ 가중치는 커널에 의해 정의되며, 더 가까운 점이 더 높은 가중치를 부여한다.추정함수는 평활하며, 평활도는 단일 모수에 의해 설정된다.

정의들

$K_{h_{\lambda }}(X_{0},X)$ $K_{h_{\lambda }}(X_{0},X)$ $K_{h_{\lambda }}(X_{0},X)$ ( $K_{h_{\lambda }}(X_{0},X)$ 0 $K_{h_{\lambda }}(X_{0},X)$ , $K_{h_{\lambda }}(X_{0},X)$ ) ${\displaystyle K_{h_{\lambda }}}}(X_{0},X)$ 은(는)에 의해 정의된 커널이 되도록 $K_{h_{\lambda }}(X_{0},X)$ 한다.

K_{h_{0}}}}}}}}(X_{0},X)=D\left({\frac {\왼쪽\X_{0}\right\}}{h_{\lambda }}(X_{0}}}}}}}}\오른쪽)}}}}

여기서:

$X,X_{0}\in \mathb {R} ^{p}}$
$\left\|\cdot \right\|$ $\left\|\cdot \right\|$ ${\$ 은 $\left\|\cdot \right\|$ (는) 유클리드 표준이다.
$h_{\lambda }(X_{0})$ $h_{\lambda }(X_{0})$ ( X $h_{\lambda }(X_{0})$ ) ${\displaystyle h_{\lambda }(X_{0})$ 은 $h_{\lambda }(X_{0})$ 매개 변수(커널 반지름)임
D(t)는 일반적으로 양의 실제 가치 함수로, X와 X₀ 사이의 거리 증가에 대해 값이 감소(또는 증가하지 않음)하고 있다.

스무딩에 사용되는 인기 있는 커널에는 포물선(Epanechnikov), 트리큐브, 가우스 커널 등이 있다.

$Y(X):\mathbb {R} ^{p}\to \mathbb {R}$ Y $Y(X):\mathbb {R} ^{p}\to \mathbb {R}$ ( $Y(X):\mathbb {R} ^{p}\to \mathbb {R}$ ) $Y(X):\mathbb {R} ^{p}\to \mathbb {R}$ : $Y(X):\mathbb {R} ^{p}\to \mathbb {R}$ $Y(X):\mathbb {R} ^{p}\to \mathbb {R}$ → $Y(X):\mathbb {R} ^{p}\to \mathbb {R}$ ${\$ 은(는) X의 연속 함수가 된다 $Y(X):\mathbb {R} ^{p}\to \mathbb {R}$ .각 $X_{0}\in \mathbb {R} ^{p}$ $X_{0}\in \mathbb {R} ^{p}$ bb $X_{0}\in \mathbb {R} ^{p}$ ${\$ 에 대해 Nadaraya-Watson 커널 가중 평균(smooth Y(X) 추정치는 다음과 같이 정의된다 $X_{0}\in \mathbb {R} ^{p}$

{\hat {Y}(X_{0})={\frac {\sum \imits_{i=1}^{N}{K_{h_{\lambda }}}}}}}(X_{0},X_{i})Y(X_{i})}}{{\sum \limits _{i=1}^{N}{K_{h_{\lambda }}}}}(X_{0},X_{i})}}}

여기서:

N은 관측된 점의 수입니다.
Y_i(X_i)는 X 점에서의 관측치다.

다음 절에서는 커널 매끄러운 특정 사례를 설명한다.

가우스 커널이 부드러워짐

가우스 커널은 가장 널리 사용되는 커널 중 하나이며, 아래 방정식으로 표현된다.

K(x^{*}},x_{i}=\exp \left(-{\frac {(x^{*}-x_{i}))^{2}}:{2b^{2}}\\오른쪽)

여기서 b는 입력 공간의 길이 척도다.

가장 가까운 이웃의 평활기

가장 가까운 이웃에 대한 생각은 다음과 같다.각 점 X에₀ 대해 가장 가까운 이웃을 취하여 이러한 이웃의 평균값을 계산하여 Y(X₀)의 값을 추정한다.

형식적으로 $h_{m}(X_{0})=\left\|X_{0}-X_{[m]}\right\|$ $h_{m}(X_{0})=\left\|X_{0}-X_{[m]}\right\|$ $h_{m}(X_{0})=\left\|X_{0}-X_{[m]}\right\|$ $h_{m}(X_{0})=\left\|X_{0}-X_{[m]}\right\|$ ) $h_{m}(X_{0})=\left\|X_{0}-X_{[m]}\right\|$ = $h_{m}(X_{0})=\left\|X_{0}-X_{[m]}\right\|$ $h_{m}(X_{0})=\left\|X_{0}-X_{[m]}\right\|$ $h_{m}(X_{0})=\left\|X_{0}-X_{[m]}\right\|$ - $h_{m}(X_{0})=\left\|X_{0}-X_{[m]}\right\|$ [ $h_{m}(X_{0})=\left\|X_{0}-X_{[m]}\right\|$ $h_{m}(X_{0})=\left\|X_{0}-X_{[m]}\right\|$ ${\$ $X_{[m]}$ 서 X $X_{[m]}$ [ $X_{[m]}$ $X_{[m]}$ ${\$ 은 $X_{{[m]}}$ ₀ X 인접, 그리고 X에 가장 가까운 m이다.

D(t)={\begin{case}1/m&{\text{if{}}} t \leq 1\\0&{\text}{otherwise}\text}\case}}}

예:

이 예에서 X는 1차원이다.각 X에₀ 대해 ${\hat {Y}}(X_{0})$ ${\hat {Y}}(X_{0})$ ( ${\hat {Y}}(X_{0})$ ${\hat {Y}}(X_{0})$ ) ${\displaystyle {\y}(X_{0})$ 은 X₀ 포인트에 가장 가까운 16의 평균 값(빨간색으로 표시됨)이다 ${\hat {Y}}(X_{0})$ .결과가 순탄치 않다.

커널 평균 평활기

커널 평균 평활기의 아이디어는 다음과 같다.각 데이터 지점 X에₀ 대해 일정한 거리 크기 λ(커널 반지름 또는 p = 1 차원에 대한 창 너비)을 선택하고 $\lambda$ $\lambda$ 보다 $\lambda$ ₀ 가까운 모든 데이터 지점의 가중 평균을 계산하십시오(X₀ 지점에 가까울수록 가중치가 높아짐).

형식적으로 $h_{\lambda }(X_{0})=\lambda ={\text{constant}},$ $h_{\lambda }(X_{0})=\lambda ={\text{constant}},$ $h_{\lambda }(X_{0})=\lambda ={\text{constant}},$ ) $h_{\lambda }(X_{0})=\lambda ={\text{constant}},$ = $h_{\lambda }(X_{0})=\lambda ={\text{constant}},$ = $h_{\lambda }(X_{0})=\lambda ={\text{constant}},$ ${\displaystyle h_{\lambda }(X_{0})=\lambda ={\text{constant},},$ D $h_{\lambda }(X_{0})=\lambda ={\text{constant}},$ (t)는 인기 있는 커널 중 하나이다.

예:

각 X에₀ 대해 창 너비는 일정하며, 창문의 각 점의 무게는 그래프에 있는 노란색으로 도식적으로 표시된다.추정이 순탄하지만 경계점이 편향되어 있음을 알 수 있다.그₀ 이유는 X가 경계에 충분히 근접했을 때 창문에 있는 점의 수(오른쪽에서 왼쪽에서 X까지₀)가 같지 않기 때문이다.

국소 선형 회귀 분석

앞의 두 절에서는 기본 Y(X) 함수가 국소적으로 일정하다고 가정했으며, 따라서 추정에 가중 평균을 사용할 수 있었다.국소 선형 회귀 분석의 개념은 국소적으로 직선(또는 더 높은 차원에 대한 하이퍼플레인)을 적합시키는 것이며 상수(수평선)를 적합시키는 것이 아니다.선을 적합시킨 후 X₀ 포인트에서 이 선의 값으로 추정 Y ${\hat {Y}}(X_{0})$ ( ${\hat {Y}}(X_{0})$ ${\hat {Y}}(X_{0})$ ) ${\displaystyle {\y}(X_{0})$ 을 제공한다 ${\hat {Y}}(X_{0})$ .By repeating this procedure for each X₀, one can get the estimation function ${\hat {Y}}(X)$ . Like in previous section, the window width is constant $h_{\lambda }(X_{0})=\lambda ={\text{constant}}.$ Formally, the local linear regression is computed by가중 최소 제곱 문제 해결

1차원(p = 1)에 대해:

${\displaystyle{\begin{정렬}&, \min _{\alpha(X_{0}),\beta(X_{0})}\sum \limits _{i=1}^{N}{K_{h_{\lambda}}(X_{0}일 경우 ,X_{나는})\left(Y(X_{나는})-\alpha(X_{0})-\beta(X_{0})X_{나는}\right)^{2}}\\&, \,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\Downarrow \\&, \,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,.\,\,\,\,{\hat {Y}(X_{0})=\알파(X_{0}}+\beta(X_{0}X_{0}\\end{aigned}}}}}}}$

폐쇄형 폼 솔루션은 다음을 통해 제공된다.

{\hat {Y}(X_{0})=\좌측(1,X_{0}\우측)\좌측(B^{T}W(X_{0})B\right)^{-1}B^{T}W(X_{0}y}}

여기서:

$y=\좌측(Y(X_{1}),\dots ,Y(X_{N}\오른쪽)^{T$
$W(X_{0}}=\operatorname {diag} \left(K_{h_{\\lambda }}}}}}}}}}(X_{0},X_{i}\right)____{N\time N$
$B^{\displaystyle B^{T}=\왼쪽({\begin{matrix}1&#1&\dots &1\\\X_{1}X_{1}&\dots &X_{N}\end{matrix}\오른쪽)}$

예:

결과 함수는 평탄하고, 편향된 경계점 문제는 줄어든다.

지역적 선형 회귀는 어떤 차원 공간에도 적용될 수 있지만, 지역적 근린이란 무엇인가 하는 문제는 더욱 복잡해진다.국부 선형 회귀 분석에 적합하기 위해 시험 지점에서 가장 가까운 k개의 훈련 지점을 사용하는 것이 일반적이다.이는 적합 함수의 높은 분산을 초래할 수 있다.분산을 막으려면 훈련 지점 세트에는 볼록한 선체에 시험 지점이 포함되어야 한다(Gupta 등 참조).

국소 다항식 회귀 분석

국소 선형 함수를 적합시키는 대신 다항 함수를 적합시킬 수 있다.

p=1의 경우 다음을 최소화해야 한다.

${\underset {\alpha (X_{0}),\beta _{j}(X_{0}),j=1,...,d}{\mathop {\min } }}\,\sum \limits _{i=1}^{N}{K_{h_{\lambda }}(X_{0},X_{i})\left(Y(X_{i})-\alpha (X_{0})-\sum \limits _{j=1}^{d}{\beta _{j}(X_{0})X_{i}^{j}}\right)^{2}}$

with ${\hat {Y}}(X_{0})=\alpha (X_{0})+\sum \limits _{j=1}^{d}{\beta _{j}(X_{0})X_{0}^{j}}$

일반적으로 (p>1)은 다음을 최소화해야 한다.

${\begin{aligned}&{\hat {\beta }}(X_{0})={\underset {\beta (X_{0})}{\mathop {\arg \min } }}\,\sum \limits _{i=1}^{N}{K_{h_{\lambda }}(X_{0},X_{i})\left(Y(X_{i})-b(X_{i})^{T}\beta(X_{0}\오른쪽)}^{2}\&b(X)=\좌측({\begin{matrix}1,&X_{1},&X_{2},...&X_{1}^{2},&X_{2}^{2}^{2}, ...&X_{1}X_{2}\,\,\,\,...\\\end{{nd}\오른쪽)\\&{\hat{Y}(X_{0})=b(X_{0})^{{0}^{{}}T}{\hat{\beta }}(X_{0})\\end{aigned}}$

참고 항목

참조

Li, Q., J.S. Racine.비모수 계량학: 이론과 실천.프린스턴 대학교 출판부, 2007, ISBN 0-691-12161-3.
T. 헤스티, R.Tibshirani와 J. Friedman, The Elements of Statistical Learning, 6장, Springer, 2001.ISBN 0-387-95284-5(기업 서적 사이트).
M. 굽타, E. 가르시아, E.Jin, "Adaptive Local Linear Regression with Application to Printer Color Management," IEEE Trans.이미지 처리 2008.

Search

커널 평활기

네임스페이스

더

목차

정의들

가우스 커널이 부드러워짐

가장 가까운 이웃의 평활기

커널 평균 평활기

국소 선형 회귀 분석

국소 다항식 회귀 분석

참고 항목

참조