일반화 가법 모형

통계학에서 GAM(Generalized Addition Model)은 선형 반응 변수가 일부 예측 변수의 알려지지 않은 평활 함수에 선형적으로 의존하는 일반화 선형 모델이며, 관심은 이러한 평활 함수에 대한 추론에 초점을 맞춥니다.

GAM은 원래 Trevor Hastie와 Robert Tibshirani에^[1] 의해 일반화된 선형 모델의 특성과 가법 모델을 혼합하기 위해 개발되었습니다.그것들은 순진한 베이즈 생성 ^[2]모델의 차별적 일반화로 해석될 수 있다.

이 모형은 일변량 반응 변수 Y를 일부 예측 변수 x와_i 관련짓습니다. 지수족 분포는 Y에 대해 다음과 같은 구조를 통해 Y의 기대 값을 예측 변수에 연결하는 연결 함수 g(예: 항등식 또는 로그 함수)와 함께 지정됩니다.~하듯이

\displaystyle g(\operatorname {E}(Y))=\beta _{0}+f_{1}(x_{1})+f_{2}(x_{m})+\cdots +f_{m}(x_{m}).\!}

함수_i f는 지정된 파라메트릭 형식의 함수(예: 다항식 또는 변수의 비페널화 회귀 스플라인)이거나 비모수적 평균에 의해 단순히 '평활함수'로 지정되거나 반모수적으로 지정될 수 있다.따라서 일반적인 GAM에서는 f(x₁)에₁ 대해 로컬 가중 평균과 같은 산점도 평활 함수를 사용한 다음 f(x)에₂₂ 대해 요인 모형을 사용할 수 있습니다.반응 변수와 예측 변수 간의 실제 관계에 대한 완화적 가정에 비모수 적합을 허용하는 이러한 유연성은 순수 모수 모형보다 데이터에 더 잘 적합될 수 있는 가능성을 제공하지만 해석 가능성은 다소 상실됩니다.

이론적 배경

1950년대부터 (콜모고로프-아놀드 표현 정리를 통해) 다변량 함수는 일변량 함수의 합계와 구성으로 표현될 수 있다는 것이 알려져 왔다.

fbc\vec {x}}=\sum _{q=0}^{2n}\Phi _{q}\left(\sum _{p=1}^{n}\phi _{q,p}(x_{p}\right)

불행하게도, 콜모고로프-아놀드 표현 정리가 이러한 형태의 함수의 존재를 주장하지만, 그것은 어떤 함수가 구성될 수 있는 메커니즘을 제공하지 않는다.특정한 건설적인 증거가 존재하지만, 그것들은 매우 복잡한 (즉, 프랙탈) 함수를 요구하는 경향이 있기 때문에, 모델링 접근법에는 적합하지 않다.따라서 일반화 가법^[1] 모형은 외부 합계를 떨어뜨리고 대신 함수가 더 단순한 클래스에 속하도록 요구합니다.

fvec {x}}}=\Phi \left(\sum _{p=1}^{n}\phi _{p}(x_{p}\right))

여기서 $\Phi$ 는 $\Phi$ 부드러운 단조 함수입니다. $(\displaystyle\Phi$ 의 역수를 g $(\displaystyle$ g $)$ 로 $g$ 표기하면 $g$ 으로 다음과 같이 표기됩니다.

g(f({\vec {x}}))=\sum _{i}f_{i}(x_{i})

g(f({\vec {x}}))=\sum _{i}f_{i}(x_{i})

g(f({\vec {x}}))=\sum _{i}f_{i}(x_{i})

(

g(f({\vec {x}}))=\sum _{i}f_{i}(x_{i})

g(f({\vec {x}}))=\sum _{i}f_{i}(x_{i})

)

=

g(f({\vec {x}}))=\sum _{i}f_{i}(x_{i})

g(f({\vec {x}}))=\sum _{i}f_{i}(x_{i})

(

g(f({\vec {x}}))=\sum _{i}f_{i}(x_{i})

i

){

displaystyle

g ( fdisplaystyle \

vec

{

g(f({\vec {x}}))=\sum _{i}f_{i}(x_{i})

x } )=\

sum

_ {

i}f_{i}(x_{i

이 함수가 관측된 수량의 기대치에 근사할 때, 다음과 같이 쓸 수 있다.

\displaystyle g(\operatorname {E}(Y))=\beta _{0}+f_{1}(x_{1})+f_{2}(x_{m})+\cdots +f_{m}(x_{m}).\!}

일반화된 가법 모형의 표준 공식입니다.그 [1]^[how?] 후, 백핏 알고리즘은 이러한 기능에 대해 항상 수렴하는 것으로 나타났습니다.

일반성

부드러운 기능이 다소 광범위한 범주인 점을 고려하면 GAM 모델 클래스는 상당히 광범위합니다.예를 들어 $x_{j}$ x $x_{j}$ ${\$ 는 $x_{j}$ 다변량이고 대응하는 $f_{j}$ {\ $displaystyle f_{j}$ 는 $f_{j}$ 여러 변수의 부드러운 함수이거나 $f_{j}$ j ${\$ 는 $f_{j}$ 요인의 수준을 랜덤 효과의 값에 매핑하는 함수일 수 있습니다.또 다른 예로는 z $z_{j}f_{j}(x_{j})$ f $z_{j}f_{j}(x_{j})$ ( $z_{j}f_{j}(x_{j})$ j $z_{j}f_{j}(x_{j})$ ) { $displaystyle z_{j}(x_{j$ })와 $z_{j}f_{j}(x_{j})$ $z_{j}f_{j}(x_{j})$ 가변 계수(지리적 회귀) 항이 있습니다. 여기서 $z_{j}$ j { $displaystyle z_{j}$ 및 $z_{j}$ $x_{j}$ { $displaystyle x_{$ j $}$ 는 모두 공변량입니다. $x_{j}(t)$ x $x_{j}(t)$ j ( $x_{j}(t)$ $){style x_{j}(t)}$ 이 $x_{j}(t)$ 자체가 함수의 관찰인 $x_{j}(t)$ , $\int f_{j}(t)x_{j}(t)dt$ " $\int f_{j}(t)x_{j}(t)dt$ j ( $\int f_{j}(t)x_{j}(t)dt$ ) $\int f_{j}(t)x_{j}(t)dt$ j ( $\int f_{j}(t)x_{j}(t)dt$ t ) $\int f_{j}(t)x_{j}(t)dt$ { $displaystyle \int$ f_ ${j}$ ( $t)x_{j}$ ( $t)dt}$ (신호 회귀항이라고도 함) 등의 용어를 포함할 수 있습니다. $f_{j}$ j {\ $displaystyle f_{j}}$ 는 $f_{j}$ 일반 선형 모델에서 사용할 수 있는 단순한 파라메트릭 함수일 수도 있다.모델 클래스는 평균 및 일변량 ^[3]^[4]^[5]데이터의 모델링을 넘어 여러 방향으로 일반화되었으며, 특히 지수적 가족 반응 분포를 넘어섰다.

GAM 장착 방법

원래 GAM 피팅 방법에서는 비모수 평활기(예: 평활 스플라인 또는 국소 선형 회귀 평활기)를 사용하여 백피팅 알고리즘을 ^[1]통해 모델의 평활 성분을 추정했습니다.등 맞춤은 부분 잔차의 반복 평활에 의해 작동하며 f $f_{j}(x_{j})$ ( $f_{j}(x_{j})$ ) $f_{j}(x_{j})$ { $displaystyle f_{j}(x_{$ j $f_{j}(x_{j})$ }) $f_{j}(x_{j})$ 을 추정하기 위해 다양한 평활 방법을 사용할 수 있는 매우 일반적인 모듈식 추정 방법을 제공한다.백피팅의 단점은 모델 항의 평활도 추정과 통합하기 어렵기 때문에 실제로 사용자가 이를 설정하거나 미리 정의된 평활 수준 중 적절한 세트를 선택해야 한다는 것입니다.

만약 fj()j){\displaystyle f_{j}(x_{j})}그때 평활 splines[6]을 사용하여 부드러움의 정도 모델 결합하는 일반화된 교차 검증을 사용하여의 일부, 또는 스플 라인 smoothers고 가우스 r. 사이의 이중성을 착취하고 있고 제한된 최대 공산(REML, 때때로 'GML'이라고도 알려져 있는)으로 추정할 수 있어 집니다그리고.om ^[7]효과이 전체 스플라인 접근법은 O $O(n^{3})$ ( $O(n^{3})$ $O(n^{3})$ ) {\ $displaystyle O$ (n $^{3}}}$ 의 $O(n^{3})$ $O(n^{3})$ 비용을 수반한다. $n$ 서n {\ $displaystyle$ n $}$ 은 $n$ 반응 변수에 대한 관측치의 수이므로, 중간 크기의 데이터 집합에는 다소 비현실적이다.보다 최근의 방법은 평활화에 사용되는 기준의 크기를 전면적으로 축소(랭크 감소)^[8]^[9]^[10]^[11]^[12]하거나 계산을 ^[13]위해 희박한 행렬 방법을 사용할 수 있는 마르코프 랜덤 필드를 사용하여 평활의 희박한 표현을 찾아 이러한 계산 비용을 해결했다.이러한 계산 효율이 높은 방법은 GCV(또는 AIC 또는 유사한 것) 또는 REML을 사용하거나 모델 구성요소의 부드러움의 정도에 대한 추론을 위해 완전한 베이지안 접근법을 취한다.REML을 통한 평활도 추정은 경험적 베이즈 방법으로 볼 수 있다.

일반적으로 불확실성 ^[14]^[15]정량화를 위해 부트스트랩이 필요하지만 고차원 환경에서 특별한 이점을 가진 대안 접근법은 부스팅을 사용하는 것이다.배깅과 부스팅을 사용하여 적합한 GAM은 일반적으로 ^[16]스플라인 방식을 사용하여 적합한 GAM을 능가하는 것으로 나타났습니다.

순위 축소 프레임워크

GAM과 그 확장의 많은 현대적 구현은 비교적 적은 계산 비용으로 컴포넌트 스무딩의 부드러움을 충분히 추정할 수 있고, 또한 다른 것들보다 더 어려운 방법으로 다수의 모델 확장을 쉽게 구현할 수 있기 때문에 축소된 순위 스무딩 접근방식을 중심으로 구축됩니다.방법들.가장 간단한 아이디어는 모델의 알려지지 않은 매끄러운 함수를 기저 확장으로 대체하는 것입니다.

f_{j}(x_{j})=\sum _{k=1}^{K_{j}}\beta _{jk}b_{jk}(x_{j})

$b_{jk}(x_{j})$ 서 $b_{jk}(x_{j})$ $b_{jk}(x_{j})$ k $b_{jk}(x_{j})$ ( $b_{jk}(x_{j})$ j $b_{jk}(x_{j})$ ) { $style b_{jk}(x_{j})$ 는 $b_{jk}(x_{j})$ 알려진 기본 함수이며, 일반적으로 B 스플라인 또는 축소된 순위 박판 스플라인의 근사적 특성을 위해 선택되며, $\beta _{jk}$ j $\beta _{jk}$ k { $displaystyle \beta$ _ ${jk}}$ 는 $\beta _{jk}$ 모델 피팅의 일부로 추정해야 하는 계수이다.기본 $K_{j}$ $(\$ 는 $K_{j}$ (모델의 과잉 심플화에 의한 편향을 방지함으로써) 수중에 있는 데이터에 충분히 적합할 정도로 크지만 계산 효율을 유지할 수 있을 정도로 작도록 선택되었습니다.p $=$ $p=\sum _{j}K_{j}$ $p=\sum _{j}K_{j}$ $p=\sum _{j}K_{j}$ { $displaystyle$ p=\ $sum$ _ ${j}K_{j$ }}인 $p=\sum _{j}K_{j}$ $p=\sum _{j}K_{j}$ , 이러한 방식으로 모델을 추정하는 계산 비용은 O $O(np^{2})$ p $O(np^{2})$ ) $O(np^{2})$ { $displaystyle$ O $(np^{2$ 가 $O(np^{2})$ .

$($ 예측을 변경하지 않고 $({$ 에서 $f_{2}$ 빼면서 $({$ 에 $f_{j}$ $f_{1}$ 상수를 추가할 수 있음)은 절편항 내에서만 식별할 수 있으므로 식별성 제약이 매끄러운 te에 부과되어야 합니다.rms: 이 모호성을 제거합니다. $(\$ 에 $f_{j}$ 대한 가장 명확한 추론은 일반적으로 0-합 제약 조건을 사용하여 얻을 수 있다.

\displaystyle \sum _{i}f_{j}(x_{ji})=0}

즉, 관측된 공변량 값에서 평가된 각 $(\$ 의 $f_{j}$ 합계가 0이어야 한다고 주장한다.이러한 선형 제약은 기본 설정 ^[11]단계에서 재매개함으로써 가장 쉽게 부과될 수 있으므로, 아래에서는 이것이 이루어진 것으로 가정한다.

모델의 모든 $(\$ 를 $f_{j}$ 이러한 기저 확장으로 대체한 후 $x_{j}$ 된 x $x_{j}$ j(\ $display x_{$ j $x_{j}$ }) 값으로 평가된 기저 함수를 포함하는 모델 매트릭스로 GAM을 GLM(Generalized Linear Model)로 전환했습니다.그러나 기본 $K_{j}$ 인 $(\$ 는 데이터에 필요하다고 생각되는 것보다 다소 큰 것으로 선택되었기 때문에 모델은 과잉 매개 변수화되어 일반 GLM으로 추정될 경우 데이터를 초과 적합시킵니다.이 문제에 대한 해결책은 모형 적합 공정에서 평활성 이탈을 벌칙화하고 평활화 매개변수를 사용하여 평활화 벌칙에 주어진 가중치를 제어하는 것입니다.예를 들어, 모든 평활기가 일변량 함수인 상황을 고려합니다.모든 파라미터를 1개의 벡터 $\beta$ β(\ $displaystyle \beta$ 에 기술하면 D $)$ { $displaystyle$ D $(\beta)}$ 가 $D(\beta )$ 모델의 편차(포화 로그 우도와 모델 로그 우도의 2배)라고 가정합니다.일반적인 반복적인 재가중 최소 제곱으로 편차를 최소화하면 과적합이 발생할 수 있으므로 최소화를 위해 $\beta$ β ${\style$ \beta $}$ 을 $\beta$ (를)

\displaystyle D(\beta)+\sum _{j}\lambda _{j}\int f_{j}^{\prime \prime }(x)^{2}dx}

여기서 통합 제곱초 도함수 패널티는 피팅 중 $(\$ 의 $f_{j}$ 휘청거림(평활도의 저하)을 처벌하는 역할을 하며, 스무딩 매개 $\lambda _{j}$ ${\$ j(\ $displaystyle\da_{$ j $\lambda _{j}$ })는 모델 적합도와 모델 부드러움 사이의 트레이드오프를 제어한다. $이$ $\lambda _{j}\to \infty$ 에서는 fj $($ $x$ j $)$ 의 $f_{j}(x_{j})$ $f_{j}(x_{j})$ 가 x $($ $j)$ 의 직선 $\lambda _{j}\to \infty$ (x_{ $f_{j}(x_{j})$ $\lambda _{j}\to \infty$ { $displaystyle$ \ $displaystyle$ $x$ $x_{j}$ _ { $x_{j}$ j $f_{j}(x_{j})$ } $x_{j}$ $。$

각 $(\$ 에 $f_{j}$ 대한 기저 확장을 고려할 때, 위그니시 패널티는 모델 ^[11]계수의 2차 형식으로 표현될 수 있다.그게 우리가 쓸 수 있는 거야

\int f_{j}^{\prime \prime }(x)^{2}dx=\beta _{j}^{T}{\bar {S}}_{j}\beta _{j}=\beta ^{T}S_{j}\beta

T}{\bar {S}}_{j}\beta

_

{j}=\beta

^{

T}S_{

j}\

beta

${\bar {S}}_{j}$ 서 S ${\bar {S}}_{j}$ j { $displaystyle$ { $S } _$ { $j$ ${\bar {S}}_{j}$ } 、 $\beta _{j}$ j \ $displaystyle$ \ $beta$ _ { $j$ } $S_{j}$ $f_{j}$ j _ { $j$ } 、 S $S_{j}$ \ $displaystyle S_$ { $j$ } ${\bar {S}}_{j}$ S ${\bar {S}}_{j}$ ${\bar {S}}_{j}$ ${\$ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ ${\$ {\ {\ {\ {\ where where where $where$ where where where where where where where where where where where where where where where where where0으로 채워진 ${\bar {S}}_{j}$ { $j}:$ 두 번째 동일성이 유지되도록 패널티를 전체 계수 $\beta$ β(\ $style \beta$ 로 쓸 수 있다. 많은 다른 스무딩 패널티는 동일한 방법으로 쓰여질 수 있으며, 현재 모델 적합 문제가 되는 스무딩 매개 변수를 고려할 때

{\hat {\beta }}={\text{argmin}}_{\beta }\{D(\beta )+\sum _{j}\lambda _{j}\beta ^{T}S_{j}\beta \}

^

{\hat {\beta }}={\text{argmin}}_{\beta }\{D(\beta )+\sum _{j}\lambda _{j}\beta ^{T}S_{j}\beta \}

{\hat {\beta }}={\text{argmin}}_{\beta }\{D(\beta )+\sum _{j}\lambda _{j}\beta ^{T}S_{j}\beta \}

β {

{\hat {\beta }}={\text{argmin}}_{\beta }\{D(\beta )+\sum _{j}\lambda _{j}\beta ^{T}S_{j}\beta \}

(

{\hat {\beta }}={\text{argmin}}_{\beta }\{D(\beta )+\sum _{j}\lambda _{j}\beta ^{T}S_{j}\beta \}

) +

{\hat {\beta }}={\text{argmin}}_{\beta }\{D(\beta )+\sum _{j}\lambda _{j}\beta ^{T}S_{j}\beta \}

j

{\hat {\beta }}={\text{argmin}}_{\beta }\{D(\beta )+\sum _{j}\lambda _{j}\beta ^{T}S_{j}\beta \}

{\hat {\beta }}={\text{argmin}}_{\beta }\{D(\beta )+\sum _{j}\lambda _{j}\beta ^{T}S_{j}\beta \}

{\hat {\beta }}={\text{argmin}}_{\beta }\{D(\beta )+\sum _{j}\lambda _{j}\beta ^{T}S_{j}\beta \}

{\hat {\beta }}={\text{argmin}}_{\beta }\{D(\beta )+\sum _{j}\lambda _{j}\beta ^{T}S_{j}\beta \}

β

{\hat {\beta }}={\text{argmin}}_{\beta }\{D(\beta )+\sum _{j}\lambda _{j}\beta ^{T}S_{j}\beta \}

β

{\hat {\beta }}={\text{argmin}}_{\beta }\{D(\beta )+\sum _{j}\lambda _{j}\beta ^{T}S_{j}\beta \}

{

style

{

hat

} =

{\hat {\beta }}={\text{argmin}}_{\beta }\{D(\beta )+\sum _{j}\lambda _{j}\beta ^{T}S_{j}\beta \}

{

text

{ }}

min }_{\ sum }

+

{j}

\

sum

_ {

j

} \ sam ^{

T}

S _ {

j

} \

beta

} ,

GLM에 대한 일반적인 반복적 재가중 최소 제곱(IRLS) 알고리즘의 패널티 버전을 사용하여 찾을 수 있다. 알고리즘은 알고리즘의 각 반복에서 2차 패널티 합계가 작업 최소 제곱 목표에 추가된다는 점을 제외하고 변경되지 않는다.

벌칙은 일반 GLM에 비해 추론에 몇 가지 영향을 미친다. 한 가지 이유로 추정치는 벌칙에 의한 추정치 분산을 제한하기 위해 지불해야 하는 대가인 평활 편향을 받는다.그러나 평활화 매개변수를 적절하게 선택한 경우, 벌칙에 의해 도입된 (제곱) 평활화 편향이 벌칙이 아닌 평균 제곱 추정 오차의 감소보다 작아야 한다.벌칙의 관련 효과는 모델의 자유도 개념을 계수의 변동 자유도를 감소시키는 벌칙의 조치를 설명하기 위해 수정해야 한다는 것이다.예를 들어 W $(\displaystyle$ W $)$ 가 $W$ 컨버전스 시 IRLS 가중치의 대각 $행렬$ 이고 $X$ $(\$ $displaystyle$ X $X$ )가 GAM 모델 행렬인 경우 모델 $유효$ ${\text{trace}}(F)$ 자유도는 $(F)$ 에 의해 $지정$ 됩니다 ${\text{trace}}(F)$ .

F=(X^{T}WX+\sum _{j}\lambda _{j}S_{j})^{-1}X^{T}WX

F=(X^{T}WX+\sum _{j}\lambda _{j}S_{j})^{-1}X^{T}WX

(

F=(X^{T}WX+\sum _{j}\lambda _{j}S_{j})^{-1}X^{T}WX

F=(X^{T}WX+\sum _{j}\lambda _{j}S_{j})^{-1}X^{T}WX

F=(X^{T}WX+\sum _{j}\lambda _{j}S_{j})^{-1}X^{T}WX

X +

F=(X^{T}WX+\sum _{j}\lambda _{j}S_{j})^{-1}X^{T}WX

j

F=(X^{T}WX+\sum _{j}\lambda _{j}S_{j})^{-1}X^{T}WX

j

F=(X^{T}WX+\sum _{j}\lambda _{j}S_{j})^{-1}X^{T}WX

) -

F=(X^{T}WX+\sum _{j}\lambda _{j}S_{j})^{-1}X^{T}WX

F=(X^{T}WX+\sum _{j}\lambda _{j}S_{j})^{-1}X^{T}WX

F=(X^{T}WX+\sum _{j}\lambda _{j}S_{j})^{-1}X^{T}WX

X ( \

displaystyle

F = (

X

^ {

T

)

WX

+ \

sum

_ { j

F=(X^{T}WX+\sum _{j}\lambda _{j}S_{j})^{-1}X^{T}WX

} \

sum

_ {

j

}

S

_ { j } ^ {

T

^ {

T } WX

,

유효 자유도 ^[11]매트릭스입니다.실제로 f $(\$ $f_{j}$ 에 대응하는 $F$ F $(\displaystyle$ F $)$ 의 대각선 요소만 합하면 f $f_{j}$ (\ $displaystyle f_{$ j $f_{j}$ $f_{j}$ 의 추정치에 대한 유효 자유도를 얻을 수 있습니다.

베이지안 평활 우선 순위

평활 편향은 이러한 모델에 대한 구간 추정을 복잡하게 하며, 가장 단순한 접근방식은 베이지안 ^[17]^[18]^[19]^[20]접근방식을 포함하는 것으로 밝혀졌다.평활에 대한 이 베이지안 뷰를 이해하면 모수 추정에 대한 REML 및 전체 Bayes 접근 방식을 이해하는 데에도 도움이 됩니다.어떤 수준에서는 부드러운 기능이 흔들리는 기능보다 가능성이 높다고 생각하기 때문에 매끄러운 벌칙이 부과됩니다.만약 그것이 사실이라면 우리는 모델의 흔들림을 우선시함으로써 이 개념을 공식화하는 것이 좋습니다.아주 간단한 사전 준비는

\displaystyle \pi (\beta )\propto \exp\{-\beta ^{T}\sum _{j}\lambda _{j}S_{j}\beta /(2\phi)\}

( $여기서 {\$ \displaystyle \ $phi }$ 는 $\phi$ 나중에 편의를 위해 도입된 GLM 스케일 파라미터이지만, 이를 즉시 $평균$ 0(\ $displaystyle$ 0 $)$ 및 정밀 $S_{\lambda }=\sum _{j}\lambda _{j}S_{j}/\phi$ $S_{\lambda }=\sum _{j}\lambda _{j}S_{j}/\phi$ $S_{\lambda }=\sum _{j}\lambda _{j}S_{j}/\phi$ = $S_{\lambda }=\sum _{j}\lambda _{j}S_{j}/\phi$ / $/$ $S_{\lambda }=\sum _{j}\lambda _{j}S_{j}/\phi$ / $= _ {\lambda$ }의 $다변량$ 정규값으로 인식할 수 있습니다 $.$ 패널티에서는 일부 기능이 정규화되지 않은(벌칙의 예에 따라 직선), $S_{\lambda }$ ${\$ {\ $displaystyle S_{\lambda}$ } $S_{\lambda }$ $S_{\lambda }$ 의 $S_{\lambda }$ $S_{\lambda }$ 유사 역행렬에 의해 주어진 공분산 매트릭스가 실제로 부적절합니다(부적합한 것은 다음과 같다).평활화되지 않은 ^[19]구성요소에 무한 분산 자르기).

이 선행 모드를 GLM 가능성과 결합하면 $β의 후방$ 모드는 위 IRLS에 ^[19]^[11]의해 발견된 $β$ 와 ${\hat {\beta }}$ 정확히 ${\hat {\beta }}$ 한다는 $것$ 을 알 수 있습니다 $.$ 게다가, 우리는 다음과 같은 큰 샘플 결과를 가지고 있다.

\displaystyle \beta y\sim N({\hat\beta },(X^{T}WX+S_{\lambda})^{-1}\phi)}

매끄러운 구성 요소 $f_{j}$ ${\$ 에 대한 신뢰/신뢰 간격을 생성하는 데 사용할 수 있습니다.가우스 평활도 우선도는 GAM을 본질적으로 경험적 베이즈 방법인 혼합^[12]^[21] 모델로 추정하는 방법뿐만 아니라 GAM을 ^[9]사용한 완전 베이지안 추론의 기초이기도 하다.

평활 모수 추정

지금까지는 평활 $\lambda$ 인 $§$ {\ $displaystyle$ \ $lambda$ 에 따라 추정과 추론을 다루었지만, 이것들도 추정할 필요가 있다.한 가지 접근방식은 완전한 베이지안 접근방식을 취하여 (로그) 평활화 매개변수에 대한 우선순위를 정의하고 확률적 시뮬레이션 또는 고차 근사 방법을 사용하여 모델 ^[9]^[13]계수의 후방에 대한 정보를 얻는 것이다.다른 방법으로는 평활화 매개변수를 선택하여 GCV(Generalized Cross Validation) 또는 Akaike 정보 기준(AIC)^[22]과 같은 예측 오차 기준을 최적화하는 방법이 있습니다.마지막으로 모델 $\beta$ 를 $,$ $y$ 의 접합 밀도 중 $β,$ y $,$ y의 {\displaystyle \ $beta$ 를 $\beta$ 통합하여 얻은 한계우도(REML)를 최대화할 수 있습니다.

{\hat {\lambda }}={\text{argmax}}_{\lambda }\int f(y|\beta ,\lambda )\pi (\beta |\lambda )d\beta

=

{\hat {\lambda }}={\text{argmax}}_{\lambda }\int f(y|\beta ,\lambda )\pi (\beta |\lambda )d\beta

( y

{\hat {\lambda }}={\text{argmax}}_{\lambda }\int f(y|\beta ,\lambda )\pi (\beta |\lambda )d\beta

,

{\hat {\lambda }}={\text{argmax}}_{\lambda }\int f(y|\beta ,\lambda )\pi (\beta |\lambda )d\beta

)

{\hat {\lambda }}={\text{argmax}}_{\lambda }\int f(y|\beta ,\lambda )\pi (\beta |\lambda )d\beta

（

）

d β {

display

{

hat

{

} = int f

( y \

language

, \ language

da

} \

pi

(

\ language da

) d \

{\hat {\lambda }}={\text{argmax}}_{\lambda }\int f(y|\beta ,\lambda )\pi (\beta |\lambda )d\beta

langu ( \ language

{\hat {\lambda }}={\text{argmax}}_{\lambda }\int f(y|\beta ,\lambda )\pi (\beta |\lambda )d\beta

d )

f $f(y|\beta ,\lambda )$ ( $f(y|\beta ,\lambda )$ , $f(y|\beta ,\lambda )$ ) $f(y|\beta ,\lambda )$ { $displaystyle$ f ( $y$ \ $beta$ , \ $lambda$ ) }는 $f(y|\beta ,\lambda )$ $\beta$ β의 $\beta$ (\ $displaystyle$ \ $beta$ 이기 $f(y|\beta ,\lambda )$ 에, 이것을 앞의 랜덤 추첨의 평균 가능성을 최대화하기 위해 $\lambda$ { $displaystyle$ \ $lambda$ }를 $\lambda$ 선택한 것으로 볼 수 있습니다.앞의 적분은 일반적으로 해석적으로 다루기 어렵지만, Laplace의 [21]방법을 사용하면 꽤 높은 정확도로 근사할 수 있습니다.

평활 모수 추론은 모형 추정/추론에서 가장 계산적으로 많은 부담을 주는 부분입니다.예를 들어, GCV 또는 한계 우도를 최적화하려면 일반적으로 뉴턴 또는 준뉴턴 방법을 통한 수치 최적화가 필요하며, (log) 스무딩 매개변수 벡터에 대한 각 시행 값은 t의 다른 성분과 함께 ${\hat {\beta }}$ 하는 ${\hat {\beta }}$ β $^\$ 를 ${\hat {\beta }}$ 평가하기 위해 불이익 IRLS 반복이 필요하다.GCV 점수 또는 Laplace 근사 한계우도(LAML)입니다.또한 최적화에 필요한 GCV 또는 LAML의 파생물을 얻으려면 로그 평활 매개변수를 포함한 β $^$ {\ $displaystyle {\beta$ }}의 ${\hat {\beta }}$ 파생물을 얻기 위한 암묵적 분화가 필요하며, 이는 효율성과 수치 안정성을 ^[21]유지해야 한다.

소프트웨어

백핏 GAM은 원래 에 의해 제공되었습니다.gamS에서 ^[23]기능하며, 현재는 R 언어로 포팅되어 있습니다.gam패키지.SAS 프로세서GAM는 백핏 GAM도 갖추고 있습니다.R의 GAM용 권장 패키지는 다음과 같습니다.mgcv이는 혼합 GAM 계산 ^[11]차량을 의미하며, 자동 스무딩 매개 변수 선택과 함께 순위 감소 접근 방식을 기반으로 합니다.SAS 프로세서GAMPL는 대체 구현입니다.Python에는,InterpretML패키지: 배깅 및 부스트 ^[24]접근 방식을 구현합니다.여러 가지 대체 패키지가 있습니다.예를 들어 R 패키지가 있습니다.mboost부스트 어프로치를 실장한다.^[14]gss완전한 스플라인 평활 ^[25]방법을 제공합니다. VGAM벡터 GAM을 ^[4]제공합니다.gamlss위치, 척도 및 모양에 대한 일반화된 가법 모델을 제공합니다."BayesX"와 그 R 인터페이스는 MCMC를 통해 GAM과 확장을 제공하며 벌칙우도 ^[26]메서드를 제공합니다.'INLA' 소프트웨어는 희박한 행렬 방법을 ^[13]이용하는 마르코프 랜덤 필드 표현에 기초한 완전한 베이지안 접근법을 구현한다.

소프트웨어를 사용한 실제 모델 평가 방법의 예로서 R 패키지를 검토해 주십시오.mgcvR 워크스페이스에 벡터 y, x, z가 포함되어 있어 모델을 추정한다고 가정합니다.

y_{i}=\sigma _{0}+f_{1}(x_{i})+\silon _{i}{\text{여기서}\sim N(0,\sigma ^{2})

R 내에서 명령어를 발행할 수 있습니다.

라이브러리(mgcv) # 패키지 b = gam(y ~s(x) + s(z)) 로드

대부분의 R 모델링 기능과 공통gam적합할 모형 구조를 지정하는 모형 공식이 제공될 것으로 예상합니다.응답 변수는 의 왼쪽에 표시됩니다.~선형 예측 변수의 규격은 오른쪽에 나와 있습니다. gam는 스무스한 조건에 대한 기준과 패널티를 설정하고, 모델의 스무딩 파라미터를 포함한 모델을 추정하며, 표준 R 패션에서는 다음과 같은 다양한 도우미 함수를 사용하여 조회할 수 있는 적합 모델 객체를 반환합니다.summary,plot,predict,그리고.AIC.

이 간단한 예에서는 몇 가지 기본 설정을 사용했습니다.이 설정에 주의해 주십시오.예를 들어, 가우스 분포와 동일성 링크가 가정되었으며, 평활화 매개변수 선택 기준은 GCV였다.또한 매끄러운 항은 '페날라이즈 박판 회귀 스플라인'을 사용하여 표현되었으며, 각각의 기본 치수는 10으로 설정되었다(식별성 제약이 가해진 후 최대 9 자유도 포함).두 번째 예는 이러한 것들을 어떻게 제어할 수 있는지를 보여줍니다.모형을 추정하려고 합니다.

y_{i}\sim {text{Poi}(\mu _{i}){\text{여기}}\log \mu _{i}=\display_{0}+f_{1}(t_{i}+f_{2}(v_i},w_i})

REML 스무딩 매개 변수 선택을 사용하여 $f_{1}$ {\ $displaystyle f_{1}}$ 이 $f_{1}$ (가) 상대적으로 복잡한 함수가 될 $f_{1}$ 으로 예상되며, 이를 패널티 입방체 회귀 스플라인으로 모델링하고자 합니다. $f_{2}$ 2 $f_{2}$ {\ $displaystyle f_{2}}$ 의 $f_{2}$ $f_{2}$ $,$ v {\displaystylev $v$ }와 $w$ {\ $displaystyle$ w $}$ 가 $w$ 자연적으로 동일한 척도에 있는지 $여부$ ('s(v,w'를 통해 지정됨) 또는 실제로 다른 척도에 있으므로 별도의 평활 패널이 필요하다.텐서 제품에서 제공하는v {\ $displaystyle$ v $}$ 및 $v$ $w$ {\ $displaystyle$ w $}$ 의 $w$ $타이$ 및 스무딩 매개 변수.이 경우 후자를 선택했다고 가정하면 다음 R 코드는 모형을 추정합니다.

b1 = gam(y ~x + s(t,bs="cr",k=100) + te(v,w), family=param,param="REML")

t{\ $displaystyle$ t}의 $t$ 을 위해 기본 크기 100을 사용합니다.분산 및 링크 함수의 사양은 GLM을 R 또는 S에 장착할 때 표준인 '패밀리' 객체를 사용합니다.가우스 랜덤 효과도 선형 예측 변수에 추가할 수 있습니다.

이러한 예는, GAM 소프트웨어의 사용 방법의 기본적인 특징을 나타내기 위한 것입니다.자세한 것에 대하여는, 각종 패키지의 소프트웨어 메뉴얼과 다음의 ^[11]^[25]^[4]^[23]^[14]^[26]레퍼런스를 참조해 주세요.

모델 체크

모든 통계 모델과 마찬가지로 GAM의 모델 가정을 확인하는 것이 중요합니다.잔차 그림은 다른 GLM과 동일한 방법으로 조사해야 합니다.즉, 모형의 독립성 또는 평균-분산 가정을 상당히 위반할 수 있는 패턴이 있는지 편차 잔차(또는 기타 표준화 잔차)를 조사해야 합니다.여기에는 일반적으로 적합치 및 공변량에 대해 표준화 잔차를 표시하여 평균-분산 문제 또는 결측 패턴을 찾고 잔차의 상관 그래프(ACF) 및/또는 변동 그래프를 조사하여 독립성 위반 여부를 확인하는 작업이 포함될 수 있습니다.모형 평균-분산 관계가 올바르면 척도 잔차의 분산이 대략 일정해야 합니다.GLM과 GAM은 준우도를 사용하여 추정할 수 있으므로 평균-분산 관계를 벗어난 잔차 분포의 세부 사항은 상대적으로 중요하지 않습니다.

GAM에서 다른 GLM보다 일반적인 문제 중 하나는 데이터가 0으로 부풀려졌다고 잘못 결론 내릴 위험이 있다는 것입니다.데이터에 매우 낮은 기대값을 가진 포아송 또는 이항 분포로 모델링할 수 있는 0이 많을 때 어려움이 발생합니다. GAM 구조의 유연성으로 인해 공변량 공간의 일부 영역에 걸쳐 매우 낮은 평균을 나타낼 수 있지만 표준화 잔차의 분포는 근사값과 전혀 유사하지 않습니다.GLM 수업의 입문에서는 모델이 완전히 ^[27]올바르더라도 예상할 수 있는 정규성을 제공합니다.

GAM이 도입하는 한 가지 추가 체크는 선택한 자유도가 적절한지 확인하는 것입니다.이는 모형 구성요소의 평활도를 자동으로 추정하지 않는 방법을 사용할 때 특히 심각합니다.자동 평활 모수 선택과 함께 방법을 사용할 경우 용어 추정치의 유효 자유도가 기준 치수보다 훨씬 낮은 경우에는 기준 치수의 선택이 제한적으로 작지 않은지 확인할 필요가 있다. $f_{j}(x_{j})$ 경우든 f $f_{j}(x_{j})$ ( $f_{j}(x_{j})$ j $f_{j}(x_{j})$ ) { $displaystyle f_{j}(x_{j})$ $f_{j}(x_{j})$ 는 $x_{j}$ j { $displaystyle x_{j$ 에 $f_{j}(x_{j})$ 대한 잔차 패턴 검토에 기초합니다.이는 f ${\hat {f}}_{j}(x_{j})$ ^ ${\hat {f}}_{j}(x_{j})$ ( ${\hat {f}}_{j}(x_{j})$ ) { $displaystyle {f}_{j}(x_{$ j ${\hat {f}}_{j}(x_{j})$ 의 플롯에 중첩된 부분 잔차를 사용하거나 잔차 순열을 사용하여 잔차 패턴에 대한 테스트를 구성할 수 있다('gam'과 같다).R 패키지 'mgcv'의 체크 기능).

모델 선택

평활화 모수가 모형 적합의 일부로 추정될 경우 전통적으로 모형 선택으로 간주되는 모수의 대부분이 적합 공정에 흡수됩니다. 즉, 평활화 모수 추정은 다양한 기능 복잡도의 풍부한 모형 제품군 사이에서 이미 선택되었습니다.그러나 대부분의 패널티가 일부 함수를 벌칙화하지 않은 상태로 두기 때문에 모수의 평활화 추정이 일반적으로 모델에서 매끄러운 항을 완전히 제거하지는 않는다(예: 위에 주어진 스플라인 파생 패널티에 의해 직선이 벌칙화되지 않음).따라서 항이 모형에 포함되어야 하는지에 대한 의문이 남습니다.이 문제에 대한 간단한 접근법 중 하나는 GAM의 각 스무스한 조건에 추가 패널티를 추가하는 것입니다.이 경우 스무스한 컴포넌트(및 그 컴포넌트만 해당)가 처벌됩니다.각 추가 패널티에는 자체 평활 모수가 있으며 이전과 같이 추정이 진행되지만, 이제는 항이 ^[28]0으로 완전히 패널티될 가능성이 있습니다.고차원 설정에서는 래소 또는 탄성 네트 정규화를 사용하여 이 작업을 시도하는 것이 더 합리적일 수 있습니다.부스팅은 ^[14]피팅의 일부로 항 선택도 자동으로 수행합니다.

다른 방법은 모형을 선택하는 데 기존의 단계적 회귀 분석 방법을 사용하는 것입니다.평활화 모수가 적합치의 일부로 추정되지 않을 때 이 방법이 기본 방법이기도 합니다. 이 경우 각 평활 항은 일반적으로 모형 내에서 미리 정의된 평활도 수준의 작은 집합 중 하나를 취할 수 있으며 이러한 수준들 사이에서 단계적 방식으로 선택됩니다.단계적 방법은 특정 모형 항이 있거나 없는 모형을 반복적으로 비교하는 방식으로 작동하며(또는 항 복잡성이 다른 수준일 수 있음), 각 단계에서 선택할 모형을 결정하기 위해 모형 적합도 또는 항 유의성의 측정값이 필요합니다.예를 들어, 각 항의 동일성을 0으로 검정하는 데 p-값을 사용하여 모형에서 제거할 후보 항을 결정하고 대체 모형에 대한 AIC(Akaike Information Criteria) 값을 비교할 수 있습니다.

평활에 대한 P-값 계산은 벌칙의 효과 때문에 간단하지 않지만 근사치를 사용할 ^[1]^[11]수 있다.AIC는 GAM의 경우 두 가지 방법으로 계산할 수 있습니다.한계 AIC는 모형 계수가 통합된 마리진털 우도(위 참조)를 기반으로 합니다.이 경우 AIC 패널티는 모형의 평활 모수(및 모든 분산 모수)의 수를 기반으로 합니다.그러나 REML이 서로 다른 고정 효과 구조를 가진 모델 간에 비교할 수 없다는 잘 알려진 사실 때문에, 우리는 일반적으로 그러한 AIC를 사용하여 서로 다른 매끄러운 항을 가진 모델을 비교할 수 없다(벌칙화되지 않은 구성요소가 고정 효과와 같이 작용하기 때문이다).벌칙화된 효과만 통합되는 한계 우도에 기초하는 AIC는 가능하지만(벌칙되지 않은 계수의 수는 이제 AIC 패널티에 대한 매개변수 카운트에 추가됨), 이 한계 우도의 버전은 REML을 개발하기 위한 원래 동기를 제공한 지나치게 평활해지는 경향이 있다.이러한 문제를 고려할 때 GAM은 종종 조건부 AIC를 사용하여 비교되며, 여기서 모델 우도(한계 우도가 아닌)는 AIC에서 사용되고 매개변수 카운트는 ^[1]^[22]모델의 유효 자유도로 간주된다.

조건 AIC의 소박한 버전 너무 어떤 상황에서, 더 큰 모델들이 어려울 때 freedom,[29]의 효과적인도 합리적인 성능을 복원합니다 하지만 이 문제 자유를 위해 효과적인도 수정 컴퓨팅 smoothing 매개 변수 불확실성의 태만으로 원인을 선택할 가능성이 높은 것으로 나타났습니다.[3]

주의사항

과적합은 GAM에서 ^[22]문제가 될 수 있습니다.특히, 비모델화 잔존 자동 상관 또는 비모델화 과분포가 존재하는 경우에는 더욱 그렇습니다.교차 검증을 사용하여 GAM(또는 기타 통계 방법)^[30]의 과적합 문제를 검출 및/또는 줄일 수 있습니다.또한 소프트웨어를 통해 보다 원활한 적합을 강제하기 위해 패널티 수준을 높일 수 있습니다.매우 많은 수의 평활화 매개변수를 추정하는 것도 통계적으로 어려울 수 있으며, 예측 오류 기준(GCV, AIC 등)이 특히 중간 표본 크기에서 상당히 평활화되지 않는 경향이 있으며,^[31] 이와 관련하여 REML은 다소 문제가 적다.

필요에 따라 GLM과 같은 단순한 모델이 GAM보다 선호될 수 있습니다.단, GAM이 해당 어플리케이션의 예측 능력을 (검증 세트 내) 대폭 향상시키지 않는 한.

「」를 참조해 주세요.

레퍼런스

^ ^a ^b ^c ^d ^e ^f Hastie, T. J.; Tibshirani, R. J. (1990). Generalized Additive Models. Chapman & Hall/CRC. ISBN 978-0-412-34390-2.
^ Rubinstein, Y. Dan; Hastie, Trevor (1997-08-14). "Discriminative vs informative learning". Proceedings of the Third International Conference on Knowledge Discovery and Data Mining. KDD'97. Newport Beach, CA: AAAI Press: 49–53.
^ ^a ^b Wood, S. N.; Pya, N.; Saefken, B. (2016). "Smoothing parameter and model selection for general smooth models (with discussion)". Journal of the American Statistical Association. 111 (516): 1548–1575. arXiv:1511.03864. doi:10.1080/01621459.2016.1180986. S2CID 54802107.
^ ^a ^b ^c Yee, Thomas (2015). Vector generalized linear and additive models. Springer. ISBN 978-1-4939-2817-0.
^ Rigby, R.A.; Stasinopoulos, D.M. (2005). "Generalized additive models for location, scale and shape (with discussion)". Journal of the Royal Statistical Society, Series C. 54 (3): 507–554. doi:10.1111/j.1467-9876.2005.00510.x.
^ Wahba, Grace. Spline Models for Observational Data. SIAM.
^ Gu, C.; Wahba, G. (1991). "Minimizing GCV/GML scores with multiple smoothing parameters via the Newton method" (PDF). SIAM Journal on Scientific and Statistical Computing. 12 (2): 383–398. doi:10.1137/0912021.
^ Wood, S. N. (2000). "Modelling and smoothing parameter estimation with multiple quadratic penalties" (PDF). Journal of the Royal Statistical Society. Series B. 62 (2): 413–428. doi:10.1111/1467-9868.00240. S2CID 15500664.
^ ^a ^b ^c Fahrmeier, L.; Lang, S. (2001). "Bayesian Inference for Generalized Additive Mixed Models based on Markov Random Field Priors". Journal of the Royal Statistical Society, Series C. 50 (2): 201–220. CiteSeerX 10.1.1.304.8706. doi:10.1111/1467-9876.00229. S2CID 18074478.
^ Kim, Y.J.; Gu, C. (2004). "Smoothing spline Gaussian regression: more scalable computation via efficient approximation". Journal of the Royal Statistical Society, Series B. 66 (2): 337–356. doi:10.1046/j.1369-7412.2003.05316.x. S2CID 41334749.
^ ^a ^b ^c ^d ^e ^f ^g ^h Wood, S. N. (2017). Generalized Additive Models: An Introduction with R (2nd ed). Chapman & Hall/CRC. ISBN 978-1-58488-474-3.
^ ^a ^b Ruppert, D.; Wand, M.P.; Carroll, R.J. (2003). Semiparametric Regression. Cambridge University Press.
^ ^a ^b ^c Rue, H.; Martino, Sara; Chopin, Nicolas (2009). "Approximate Bayesian inference for latent Gaussian models by using integrated nested Laplace approximations (with discussion)". Journal of the Royal Statistical Society, Series B. 71 (2): 319–392. doi:10.1111/j.1467-9868.2008.00700.x.
^ ^a ^b ^c ^d Schmid, M.; Hothorn, T. (2008). "Boosting additive models using component-wise P-splines". Computational Statistics and Data Analysis. 53 (2): 298–311. doi:10.1016/j.csda.2008.09.009.
^ Mayr, A.; Fenske, N.; Hofner, B.; Kneib, T.; Schmid, M. (2012). "Generalized additive models for location, scale and shape for high dimensional data - a flexible approach based on boosting". Journal of the Royal Statistical Society, Series C. 61 (3): 403–427. doi:10.1111/j.1467-9876.2011.01033.x. S2CID 123646605.
^ Lou, Yin; Caruana, Rich; Gehrke, Johannes (2012). "Intelligible models for classification and regression". Proceedings of the 18th ACM SIGKDD international conference on Knowledge discovery and data mining - KDD '12. p. 150. doi:10.1145/2339530.2339556. ISBN 9781450314626. S2CID 7715182.
^ Wahba, G. (1983). "Bayesian Confidence Intervals for the Cross Validated Smoothing Spline" (PDF). Journal of the Royal Statistical Society, Series B. 45: 133–150.
^ Nychka, D. (1988). "Bayesian confidence intervals for smoothing splines". Journal of the American Statistical Association. 83 (404): 1134–1143. doi:10.1080/01621459.1988.10478711.
^ ^a ^b ^c Silverman, B.W. (1985). "Some Aspects of the Spline Smoothing Approach to Non-Parametric Regression Curve Fitting (with discussion)" (PDF). Journal of the Royal Statistical Society, Series B. 47: 1–53.
^ Marra, G.; Wood, S.N. (2012). "Coverage properties of confidence intervals for generalized additive model components" (PDF). Scandinavian Journal of Statistics. 39: 53–74. doi:10.1111/j.1467-9469.2011.00760.x. S2CID 49393564.
^ ^a ^b ^c Wood, S.N. (2011). "Fast stable restricted maximum likelihood and marginal likelihood estimation of semiparametric generalized linear models" (PDF). Journal of the Royal Statistical Society, Series B. 73: 3–36. doi:10.1111/j.1467-9868.2010.00749.x. S2CID 123001831.
^ ^a ^b ^c Wood, Simon N. (2008). "Fast stable direct fitting and smoothness selection for generalized additive models". Journal of the Royal Statistical Society, Series B. 70 (3): 495–518. arXiv:0709.3906. doi:10.1111/j.1467-9868.2007.00646.x. S2CID 17511583.
^ ^a ^b Chambers, J.M.; Hastie, T. (1993). Statistical Models in S. Chapman and Hall.
^ Nori, Harsha; Jenkins, Samuel; Koch, Paul; Caruana, Rich (2019). "InterpretML: A Unified Framework for Machine Learning Interpretability". arXiv:1909.09223 [cs.LG].
^ ^a ^b Gu, Chong (2013). Smoothing Spline ANOVA Models (2nd ed.). Springer.
^ ^a ^b Umlauf, Nikolaus; Adler, Daniel; Kneib, Thomas; Lang, Stefan; Zeileis, Achim. "Structured Additive Regression Models: An R Interface to BayesX" (PDF). Journal of Statistical Software. 63 (21): 1–46.
^ Augustin, N.H.; Sauleau, E-A; Wood, S.N. (2012). "On quantile quantile plots for generalized linear models" (PDF). Computational Statistics and Data Analysis. 56 (8): 2404–2409. doi:10.1016/j.csda.2012.01.026. S2CID 2960406.
^ Marra, G.; Wood, S.N. (2011). "Practical Variable Selection for Generalized Additive Models". Computational Statistics and Data Analysis. 55 (7): 2372–2387. doi:10.1016/j.csda.2011.02.004.
^ Greven, Sonja; Kneib, Thomas (2010). "On the behaviour of marginal and conditional AIC in linear mixed models". Biometrika. 97 (4): 773–789. doi:10.1093/biomet/asq042.
^ Brian Junker (March 22, 2010). "Additive models and cross-validation" (PDF).
^ Reiss, P.T.; Ogden, T.R. (2009). "Smoothing parameter selection for a class of semiparametric linear models". Journal of the Royal Statistical Society, Series B. 71 (2): 505–523. doi:10.1111/j.1467-9868.2008.00695.x. S2CID 51945597.

외부 링크

gam, 백피팅에 의한 GAM용 R 패키지.
gam, statsmodels.gam 모듈의 Python 모듈.
배깅과 부스트를 통해 GAM을 장착하기 위한 Python 패키지 InterpreterML.
mgcv는 패널티 회귀 스플라인을 사용하는 GAM용 R 패키지입니다.
mboost, 적층 모델을 포함한 부스트용 R 패키지.
gss, 스플라인 분산 분석을 평활하기 위한 R 패키지입니다.
GAM 등을 사용한 베이지안 추론용 INLA 소프트웨어.
MCMC용 BayesX 소프트웨어 및 GAM에 대한 불이익 가능성 접근법.
R의 GAM으로 마술과 계절별 시계열 분석
GAM: 예측 모델링 Silver Bullet
투영 강하별 GAM 구축

[Hastie1990-1] ^ ^a ^b ^c ^d ^e ^f Hastie, T. J.; Tibshirani, R. J. (1990). Generalized Additive Models. Chapman & Hall/CRC. ISBN 978-0-412-34390-2.

[2] Rubinstein, Y. Dan; Hastie, Trevor (1997-08-14). "Discriminative vs informative learning". Proceedings of the Third International Conference on Knowledge Discovery and Data Mining. KDD'97. Newport Beach, CA: AAAI Press: 49–53.

[Wood2016-3] Wood, S. N.; Pya, N.; Saefken, B. (2016). "Smoothing parameter and model selection for general smooth models (with discussion)". Journal of the American Statistical Association. 111 (516): 1548–1575. arXiv:1511.03864. doi:10.1080/01621459.2016.1180986. S2CID 54802107.

[Yee2015-4] Yee, Thomas (2015). Vector generalized linear and additive models. Springer. ISBN 978-1-4939-2817-0.

[Rigby2005-5] Rigby, R.A.; Stasinopoulos, D.M. (2005). "Generalized additive models for location, scale and shape (with discussion)". Journal of the Royal Statistical Society, Series C. 54 (3): 507–554. doi:10.1111/j.1467-9876.2005.00510.x.

[Wahba1990-6] Wahba, Grace. Spline Models for Observational Data. SIAM.

[Gu1991-7] Gu, C.; Wahba, G. (1991). "Minimizing GCV/GML scores with multiple smoothing parameters via the Newton method" (PDF). SIAM Journal on Scientific and Statistical Computing. 12 (2): 383–398. doi:10.1137/0912021.

[Wood2000-8] Wood, S. N. (2000). "Modelling and smoothing parameter estimation with multiple quadratic penalties" (PDF). Journal of the Royal Statistical Society. Series B. 62 (2): 413–428. doi:10.1111/1467-9868.00240. S2CID 15500664.

[Fahrmeier2001-9] Fahrmeier, L.; Lang, S. (2001). "Bayesian Inference for Generalized Additive Mixed Models based on Markov Random Field Priors". Journal of the Royal Statistical Society, Series C. 50 (2): 201–220. CiteSeerX 10.1.1.304.8706. doi:10.1111/1467-9876.00229. S2CID 18074478.

[kim2004-10] Kim, Y.J.; Gu, C. (2004). "Smoothing spline Gaussian regression: more scalable computation via efficient approximation". Journal of the Royal Statistical Society, Series B. 66 (2): 337–356. doi:10.1046/j.1369-7412.2003.05316.x. S2CID 41334749.

[Wood2017-11] ^ ^a ^b ^c ^d ^e ^f ^g ^h Wood, S. N. (2017). Generalized Additive Models: An Introduction with R (2nd ed). Chapman & Hall/CRC. ISBN 978-1-58488-474-3.

[Ruppert2003-12] Ruppert, D.; Wand, M.P.; Carroll, R.J. (2003). Semiparametric Regression. Cambridge University Press.

[Rue2009-13] Rue, H.; Martino, Sara; Chopin, Nicolas (2009). "Approximate Bayesian inference for latent Gaussian models by using integrated nested Laplace approximations (with discussion)". Journal of the Royal Statistical Society, Series B. 71 (2): 319–392. doi:10.1111/j.1467-9868.2008.00700.x.

[mboost-14] Schmid, M.; Hothorn, T. (2008). "Boosting additive models using component-wise P-splines". Computational Statistics and Data Analysis. 53 (2): 298–311. doi:10.1016/j.csda.2008.09.009.

[mayr2012-15] Mayr, A.; Fenske, N.; Hofner, B.; Kneib, T.; Schmid, M. (2012). "Generalized additive models for location, scale and shape for high dimensional data - a flexible approach based on boosting". Journal of the Royal Statistical Society, Series C. 61 (3): 403–427. doi:10.1111/j.1467-9876.2011.01033.x. S2CID 123646605.

[LouCaruana2012-16] Lou, Yin; Caruana, Rich; Gehrke, Johannes (2012). "Intelligible models for classification and regression". Proceedings of the 18th ACM SIGKDD international conference on Knowledge discovery and data mining - KDD '12. p. 150. doi:10.1145/2339530.2339556. ISBN 9781450314626. S2CID 7715182.

[Wahba83-17] Wahba, G. (1983). "Bayesian Confidence Intervals for the Cross Validated Smoothing Spline" (PDF). Journal of the Royal Statistical Society, Series B. 45: 133–150.

[Nychka88-18] Nychka, D. (1988). "Bayesian confidence intervals for smoothing splines". Journal of the American Statistical Association. 83 (404): 1134–1143. doi:10.1080/01621459.1988.10478711.

[silverman85-19] Silverman, B.W. (1985). "Some Aspects of the Spline Smoothing Approach to Non-Parametric Regression Curve Fitting (with discussion)" (PDF). Journal of the Royal Statistical Society, Series B. 47: 1–53.

[marra12-20] Marra, G.; Wood, S.N. (2012). "Coverage properties of confidence intervals for generalized additive model components" (PDF). Scandinavian Journal of Statistics. 39: 53–74. doi:10.1111/j.1467-9469.2011.00760.x. S2CID 49393564.

[Wood2011-21] Wood, S.N. (2011). "Fast stable restricted maximum likelihood and marginal likelihood estimation of semiparametric generalized linear models" (PDF). Journal of the Royal Statistical Society, Series B. 73: 3–36. doi:10.1111/j.1467-9868.2010.00749.x. S2CID 123001831.

[Wood2008-22] Wood, Simon N. (2008). "Fast stable direct fitting and smoothness selection for generalized additive models". Journal of the Royal Statistical Society, Series B. 70 (3): 495–518. arXiv:0709.3906. doi:10.1111/j.1467-9868.2007.00646.x. S2CID 17511583.

[whitebook-23] Chambers, J.M.; Hastie, T. (1993). Statistical Models in S. Chapman and Hall.

[Nori2019-24] Nori, Harsha; Jenkins, Samuel; Koch, Paul; Caruana, Rich (2019). "InterpretML: A Unified Framework for Machine Learning Interpretability". arXiv:1909.09223 [cs.LG].

[Gu2013-25] Gu, Chong (2013). Smoothing Spline ANOVA Models (2nd ed.). Springer.

[bayesx-26] Umlauf, Nikolaus; Adler, Daniel; Kneib, Thomas; Lang, Stefan; Zeileis, Achim. "Structured Additive Regression Models: An R Interface to BayesX" (PDF). Journal of Statistical Software. 63 (21): 1–46.

[Augustin2012-27] Augustin, N.H.; Sauleau, E-A; Wood, S.N. (2012). "On quantile quantile plots for generalized linear models" (PDF). Computational Statistics and Data Analysis. 56 (8): 2404–2409. doi:10.1016/j.csda.2012.01.026. S2CID 2960406.

[Marra2011-28] Marra, G.; Wood, S.N. (2011). "Practical Variable Selection for Generalized Additive Models". Computational Statistics and Data Analysis. 55 (7): 2372–2387. doi:10.1016/j.csda.2011.02.004.

[Greven2010-29] Greven, Sonja; Kneib, Thomas (2010). "On the behaviour of marginal and conditional AIC in linear mixed models". Biometrika. 97 (4): 773–789. doi:10.1093/biomet/asq042.

[30] Brian Junker (March 22, 2010). "Additive models and cross-validation" (PDF).

[Reiss2009-31] Reiss, P.T.; Ogden, T.R. (2009). "Smoothing parameter selection for a class of semiparametric linear models". Journal of the Royal Statistical Society, Series B. 71 (2): 505–523. doi:10.1111/j.1467-9868.2008.00695.x. S2CID 51945597.

[1]

[2]

[3]

[4]

[5]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

[25]

[26]

[27]

[28]

[30]

[31]

Search

일반화 가법 모형

네임스페이스

더

목차

이론적 배경

일반성

GAM 장착 방법

순위 축소 프레임워크

베이지안 평활 우선 순위

평활 모수 추정

소프트웨어

모델 체크

모델 선택

주의사항

「」를 참조해 주세요.

레퍼런스

외부 링크

Search

일반화 가법 모형

이론적 배경

일반성

GAM 장착 방법

순위 축소 프레임워크

베이지안 평활 우선 순위

평활 모수 추정

소프트웨어

모델 체크

모델 선택

주의사항

「 」를 참조해 주세요.

레퍼런스

외부 링크

「」를 참조해 주세요.