함수 회귀

이 글은 고아로, 다른 어떤 기사도 그것에 연결되지 않는다.관련 문서에서 이 페이지에 대한 링크를 소개하고, 제안사항을 보려면 링크 찾기 도구를 사용하십시오.(2017년 6월)

함수 회귀는 반응 또는 공변량이 함수 데이터를 포함할 때 회귀 분석의 한 버전이다.기능적 회귀 모델은 반응 또는 공변량이 기능적인지 또는 스칼라인지 여부에 따라 (i) 기능적 공변량이 있는 스칼라 반응, (ii) 기능적 공변량이 있는 기능적 반응, (iii) 기능적 공변량이 있는 기능적 반응, (iv) 기능적 a가 있는 기능적 반응 등 4가지 유형으로 분류할 수 있다.스칼라 공변량.또한 기능적 회귀 모형은 선형, 부분적 선형 또는 비선형일 수 있다.특히 기능적 다항식 모델, 기능적 단일 및 다중 인덱스 모델, 기능적 가법적 모델은 기능적 비선형 모델의 3가지 특수한 경우다.

기능 선형 모델(FLM)

기능적 선형 모형(FLM)은 선형 모형(LM)의 확장이다.스칼라 반응 ${\displaystyle Y\mathbb{}}$ ${\displaystyle \in }$ R ${\$ 및 스칼라 $공변량{\displaystyle }$X ${\displaystyle {}^{}}$ R$$p {\$displaystyle X\in$ \$mathb$ {$R}$^{p$}}}}$을(를) 갖는 선형 모델은 다음과 같이 쓸 수 있다$$.

$${\displaystyle Y=\beta _{0}+\langle X,\beta \angle +\bar렙실론 ,}$$

(1)

where ${\displaystyle \langle \cdot ,\cdot \rangle }$ denotes the inner product in Euclidean space, ${\displaystyle \beta _{0}\in \mathbb {R} }$ and ${\displaystyle \beta \in \mathbb {R} ^{p}}$ denote the regression coefficients, and ${\displaystyle \varepsilon }$ is a random error with 평균 0과 유한 분산.FLM은 반응에 따라 두 가지 유형으로 나눌 수 있다.

스칼라 반응이 있는 기능 선형 모형

Functional linear models with scalar responses can be obtained by replacing the scalar covariates ${\displaystyle X}$ and the coefficient vector ${\displaystyle \beta }$ in model (1) by a centered functional covariate ${\displaystyle X^{c}(\cdot )=X(\cdot )-\mathbb {E} (X(\cdot ))}$ and 계수함수 $\beta {\displaystyle }$= ${\displaystyle \beta }$ (${\displaystyle }$β )$${\$displaystyle \beta$=\$beta$(\$cdot$ $)\}$ 각각 $도메인{\displaystyle \mathcal{}}$ T${\$이(가) 있고, Hilbert space ${\displaystyle {L\mathrm{}}^{}}$ 2 ${\$유클리드 공간의 내부 제품을 대체한다.

$${\displaystyle Y=\beta _{0}+\langle X^{c},\beta \barerpsilon =\beta _{0}+\barerpsilon =\beta _{0}\mathcal{T}X^{c}(t)\d+\t+\varepsilon ,}$$

(2)

where ${\displaystyle \langle \cdot ,\cdot \rangle }$ here denotes the inner product in ${\displaystyle L^{2}}$. One approach to estimating ${\displaystyle \beta _{0}}$ and ${\displaystyle \beta (\cdot )}$ is to expand the centered covariate ${\displaystyle X^{c}(\cdot )}$$$ 계수함수 $\beta {\displaystyle }$ ${\displaystyle (\cdot }$) ${\displaystyle \beta (\cdot )}$을(를) 동일한$$ 기능 기준으로 한다(예: B-spline basis 또는 Karhunen-Loeve 확장에 사용되는 고유바시스).Suppose ${\displaystyle \{\phi _{k}\}_{k=1}^{\infty }}$ is an orthonormal basis of ${\displaystyle L^{2}}$. Expanding ${\displaystyle X^{c}}$ and ${\displaystyle \beta }$ in this basis, ${\displaystyle X^{c}(\cdot )=\sum _$${k=1}^{\infty }x_{k}\phi _{k}(\cdot )}$, ${\displaystyle \beta (\cdot )=\sum _{k=1}^{\infty }\beta _{k}\phi _{k}(\cdot )}$, model (2) becomes

구현을 위해서는 정규화가 필요하며 잘림, $L{\displaystyle {}^{}}$ ${\displaystyle {2\mathrm{}}^{}}$ ${\$ 스타일 $L^{2$}}$$벌칙$$ 또는 $L{\displaystyle {}^{}}$ ${\displaystyle {1\mathrm{}}^{}}$ ${\$ 스타일 $L^{1}$벌칙을$$ 통해 할 수 있다.^[1]또한 모델 (2)의 $\beta {\displaystyle {}_{}}$ ${\displaystyle {0\mathrm{}}_{}}$ ${\$ 및 $\beta {\displaystyle }$( $(){\displaystyle \beta (\cdot )}$을(를) 추정하는 데 재생산 커널 힐버트 공간(RKHS) 접근법을 사용할 수도 있다.^[2]

여러 기능 및 스칼라 공변량 추가, 모델(2) 확장 가능

$${\displaystyle Y=\sum _{k=1}^{q_{k}\alpha _{k}+\sum _{j=1}^{p}\int_{\mathcal{{j}}}}}^{j}}}}}}\beta _{j}(t+\varepsilon}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}.$$

(3)

where ${\displaystyle Z_{1},\ldots ,Z_{q}}$ are scalar covariates with ${\displaystyle Z_{1}=1}$, ${\displaystyle \alpha _{1},\ldots ,\alpha _{q}}$ are regression coefficients for ${\displaystyle Z_{1},\ldots ,Z_{q}}$, respectively, ${\displaystyle X_j^c}$${\displaystyle X_{j}^{c}}$ is a centered functional covariate given by ${\displaystyle X_{j}^{c}(\cdot )=X_{j}(\cdot )-\mathbb {E} (X_{j}(\cdot ))}$, ${\displaystyle \beta _{j}}$ is regression coefficient function for ${\displaystyle X_{j}^{c}(\$$cdot )}$, and ${\displaystyle {\mathcal {T}}_{j}}$ is the domain of ${\displaystyle X_{j}}$ and ${\displaystyle \beta _{j}}$, for ${\displaystyle j=1,\ldots ,p}$. However, due to the parametric component ${\displaystyle \alpha }$, the estimation methods for model (2) cannot이 경우에^[3] 사용되며, 모델 (3)에 대한 대체 추정 방법을 사용할 수 있다.^[4][5]

기능 반응이 있는 기능 선형 모형

For a functional response ${\displaystyle Y(\cdot )}$ with domain ${\displaystyle {\mathcal {T}}}$ and a functional covariate ${\displaystyle X(\cdot )}$ with domain ${\displaystyle {\mathcal {S}}}$, two FLMs regressing ${\displaystyle Y(\cdot )}$ on ${\displaystyle X(\c$$도트 )}$이(가) 고려되었다$$.^[3][6]이 두 모델 중 하나는 형식이다.

$${\displaystyle Y(t)=\beta _{0}(t)+\int _{\mathcal{s}}\\\mathcal{c}\,ds+\\\varepsilon(t)\\\{\text{}\mathcal {T},},}$$

(4)

where ${\displaystyle X^{c}(\cdot )=X(\cdot )-\mathbb {E} (X(\cdot ))}$ is still the centered functional covariate, ${\displaystyle \beta _{0}(\cdot )}$ and ${\displaystyle \beta (\cdot ,\cdot )}$ are coefficient functions, and ${\displaystyle \vareps$$일론(\cdot )}$은(는) 평균 0과 유한 분산을 갖는 랜덤 공정으로 가정한다$$.In this case, at any given time ${\displaystyle t\in {\mathcal {T}}}$, the value of ${\displaystyle Y}$, i.e., ${\displaystyle Y(t)}$, depends on the entire trajectory of ${\displaystyle X}$. Model (4), for any given time ${\displaystyle t}$, is an extension of multivariate linear regression wiL ${\displaystyle {2\mathrm{}}^{}}$ ${\$ 다변량 선형 회귀에 의한 추정 방정식은

where ${\displaystyle r_{XY}(s,t)={\text{cov}}(X(s),Y(t))}$, ${\displaystyle R_{XX}:$$L^{2}({\mathcal {S}}\times {\mathcal {S}})\rightarrow L^{2}({\mathcal {S}}\times {\mathcal {T}})}$ is defined as ${\displaystyle (R_{XX}\beta )(s,t)=\int _{\mathcal {S}}r_{XX}(s,w)\beta (w,t)dw}$ with ${\displaysty$$le r_{XX}(s,w)={\text{cov}}(X(s),X(w))}$ for ${\displaystyle s,w\in {\mathcal {S}}}$.^[3] Regularization is needed and can be done through truncation, ${\displaystyle L^{2}}$ penalization or ${\displaystyle L^{1}}$ penalization.^[1]모델(4)에 대한 다양한 추정 방법을 사용할 수 있다.^[7][8]
언제 X{X\displaystyle}, Y{Y\displaystyle}동시에 관측된다, 즉, S)T{\displaystyle{{S\mathcal}}={{T\mathcal}}},[9]그것은 합리적인 심의할 역사적 기능적 선형 모델, 현재 값의 Y{Y\displaystyle}만에 따라 역사의 X{X\displaystyle}. ,예: 모델 (4${\displaystyle )}$의 > ${\$displaystyle $s>t}$에 ${\displaystyle \mathrm{대한}}\beta {\displaystyle }$ (s , t ) = 0 $displaystyle$ ^[3][10]$\beta (s,t)=0}$과거 기능 선형 모델의 단순한 버전은 기능 동시 모델(아래 참조)이다.
다중 기능 공변량 추가, 모델(4) 확장 가능

$${\displaystyle Y(t)=\beta _{0}(t)+\sum _{j=1}^{p}\int _{{\mathcal {S}}_{j}}\beta _{j}(s,t)X_{j}^{c}(s)\,ds+\varepsilon (t),\ {\text{for}}\ t\in {\mathcal {T}},}$$

(5)

where for ${\displaystyle j=1,\ldots ,p}$, ${\displaystyle X_{j}^{c}(\cdot )=X_{j}(\cdot )-\mathbb {E} (X_{j}(\cdot ))}$ is a centered functional covariate with domain ${\displaystyle {\mathcal {S}}_{j}}$, and ${\displaystyle$$\cdo_{j}(\cdot ,\cdot )}$은 각각 같은 도메인을 가진 해당 계수 함수다.^[3]${\displaystyle {특히}_{}}$ $X{\displaystyle {}_{}}$ j (${\displaystyle {}_{}\cdot }$) ${\displaystyle X_{j}(\cdot )}$을(를) 상수함수로$$ 취하면 모델(5)의 특수한 사례가 발생한다.

기능 반응과 스칼라 공변량이 있는 FLM이다.

기능 동시 모델

$S{\displaystyle \mathcal{}}$= ${\displaystyle T\mathcal{}}$ ${\$을$($를) 가정하면 기능 동시 모델이라고도 하며, 때로는 변화-코효율 모델이라고도 하는 다른 모델이 형식이다.

$${\displaystyle Y(t)=\alpha _{0}(t)+\alpha(t)X(t)+\varepsilon(t),\{\text{for}\\in {\mathcal},}$$

(6)

여기서 $\alpha {\displaystyle {}_{}}$ ${\displaystyle {0\mathrm{}}_{}}$ ${\$${$$0{\displaystyle }$}$$및 α {\displaystyle $\properties}$은 계수 함수다$$.Note that model (6) assumes the value of ${\displaystyle Y}$ at time ${\displaystyle t}$, i.e., ${\displaystyle Y(t)}$, only depends on that of ${\displaystyle X}$ at the same time, i.e., ${\displaystyle X(t)}$. Various estimation methods can be applied to model (6).^[11][12][13]
다중 기능 공변량 추가, 모델(6)도 확장 가능

where ${\displaystyle X_{1},\ldots ,X_{p}}$ are multiple functional covariates with domain ${\displaystyle {\mathcal {T}}}$ and ${\displaystyle \alpha _{0},\alpha _{1},\ldots ,\alpha _{p}}$ are the coefficient functions with the same domain.^[3]

기능 비선형 모델

기능 다항식 모델

기능적 다항식 모형은 다항식 회귀 분석으로 선형 회귀 분석을 확장하는 것과 유사하게 스칼라 반응을 갖는 FLM의 확장이다.$스칼라{\displaystyle \mathcal{}}$반응$$Y {\$displaystyle$ Y$}$ 및 도메인 T {\$displaystyle{\displaystyle }$ {\$mathcal$${$T$}$이(가$)$ 있는$$ 기능 $공변량$ X(\$cdot$ )의 경우 기능$$다항식$$ 모델의 가장 간단한 예는 기능 2차 회귀^[14] 분석이다$.$

where ${\displaystyle X^{c}(\cdot )=X(\cdot )-\mathbb {E} (X(\cdot ))}$ is the centered functional covariate, ${\displaystyle \alpha }$ is a scalar coefficient, ${\displaystyle \beta (\cdot )}$ and ${\displaystyle \gamma (\cdot ,\cdot )}$ are coefficient functi각각 도메인 $T{\displaystyle \mathcal{}}$ ${\$과(와) ${\displaystyle T\mathcal{}}$ ${\displaystyle \times }$ T ${\mathcal${\$mathcal$ {$T}\time {\mathcal {T}$이$($가) 있고$$respectively {\$displaystyle \varepsilon}$은 평균 0과 유한 분산을 갖는 임의 오차다$$.스칼라 반응을 가진 FLM과 유사하게 기능 다항식 모델의 추정은 중심 공변량 ${\$와 계수 함수 $\beta {\displaystyle }$ ${\displaystyle \beta },$ $\gamma$ ${\displaystyle \gamma }$을 모두 정형 기준으로$$ 확장하여 얻을 수 있다.^[14]

기능적인 단일 및 다중 인덱스 모델

기능적 다중 인덱스 모델은 다음과 같다.

$p{\displaystyle }$= ${\displaystyle 1}${\$displaystyle p=1$}을$($를) 선택하면 기능적인 단일 인덱스 모델이 생성된다$$.그러나 > ${\displaystyle p>1}$의 경우 이 모델은 차원성의 저주로 인해 문제가 있다> ${\displaystyle p>1$}과$($와) 상대적으로 표본 크기가 작은 경우, 이 모델에 의해 주어진 추정기는 분산이 큰 경우가 많다.^[15]대체 $p{\displaystyle }$ ${\displaystyle p}$ -구성요소$$ 기능 다중지수 모델은 다음과 같이 표현할 수 있다.기능적인 단일 및 다중 인덱스 모델의 추정 방법을 이용할 수 있다.^[15][16]

기능적 첨가 모델(FAM)

Given an expansion of a functional covariate ${\displaystyle X}$ with domain ${\displaystyle {\mathcal {T}}}$ in an orthonormal basis ${\displaystyle \{\phi _{k}\}_{k=1}^{\infty }}$: ${\displaystyle X(t)=\sum _{k=1}^{\infty }x_{k}\phi _{k}(t)}$, 모델 (2)에 표시된 스칼라 반응을 가진 기능적 선형 모델은 다음과 같이 쓸 수 있다.

하나의 형태의 FAM은 x ${\displaystyle k_{}}$ ${\$즉 $\beta {\displaystyle {}_{}}$ k ${\displaystyle x_{}}$ k ${\$의 선형 함수를 일반 ${\displaystyle {스무딩}_{}}$ 함수 f $k{\displaystyle {}_{}}$ ${\$${\displaystyle 여기}$서 ${\displaystyle f_{}}$ ${\$는 k${\displaystyle {}_{}}$ ${\$에 $대해{\displaystyle \mathbb{}}$ E$($f k (${\displaystyle }$x${\displaystyle {}_{}{k}_{}}$)${\displaystyle }$= ${\displaystyle 0}$ ${\displaystyle \E$}($x_{k})=0}$을 만족한다$.$^[3][17] 또 다른 형태의 FAM은 다음과 같은 시간 가산형 모델로 구성된다.where ${\displaystyle \{t_{1},\ldots ,t_{p}\}}$ is a dense grid on ${\displaystyle {\mathcal {T}}}$ with increasing size ${\displaystyle p\in \mathbb {N} }$, and ${\displaystyle f_{j}(x)=g(t_{j},x)}$ with ${\displaystyle g}$ a smooth function,$j{\displaystyle }$= ${\displaystyle 1}$,${\displaystyle }$…${\displaystyle }$, ${\displaystyle p}$ ${\displaystyle j=1,\ldots ,p}$의 경우

확장

모델 (2)에 표시된 스칼라 반응을 갖는 FLM을 직접 확장하는 것은 링크 함수를 추가하여 일반화된 기능 선형 모형(GFLM)을 만들어 선형 회귀 분석을 일반화된 선형 회귀 분석(GLM)으로 확장하는 것인데, 이 세 가지 구성 요소는 다음과 같다.

1. 선형 예측 변수 $\eta {\displaystyle }$ =${\displaystyle \beta }$ 0${\displaystyle {}_{}}$+ ${\displaystyle {}_{}}$ T ${\displaystyle X^{}}$ ${\displaystyle c_{}{}^{}}$(${\displaystyle t}$ ) ${\displaystyle \beta }$( t${\displaystyle }$) d ${\displaystyle t}$ ${\displaystyle \eta =\beta _{0}+\int_{\mathcal{T}X^{c}(t)\dt$
2. 분산 함수 ${\displaystyle \text{Var}(Y}$ X${\displaystyle }$)${\displaystyle }$= ${\displaystyle V}$(${\displaystyle \mu }$) ${\displaystyle {\text{Var}(Y$ X$)=V(\mu$ $)\},$ 여기서 $\mu {\displaystyle }$= ${\displaystyle E\mathbb{}(Y}$ ${\displaystyle X}$) ${\displaystyle \mu =\mathb {E}(Y$ X$)}$은 조건부 평균이다.
3. 조건부 평균과 선형 예측 변수를 $\mu {\displaystyle }$= ${\displaystyle g(}$ ${\displaystyle \eta }$)를 통해 연결하는$$ 연결 함수 $g{\displaystyle }$ ${\displaystyle g}$ ${\displaystyle \mu =g(\eta$ $)\}.$

참고 항목

• 기능 데이터 분석
• 기능주성분 분석
• 카루넨-로이브 정리
• 일반화 함수 선형 모형
• 확률적 과정

참조