벡터 일반화 선형 모형

이 기사는 대체로 또는 전적으로 단일 출처에 의존한다. 관련 토론은 토크 페이지에서 찾을 수 있다. 추가 출처에 인용구를 도입하여 이 기사를 개선할 수 있도록 도와주십시오. 출처 찾기: "벡터 일반화 선형 모델" – 뉴스 · 신문 · 책 · 학자 · JSTOR(2020년 6월)

다음에 대한 시리즈 일부
회귀분석
모델
선형 회귀 분석 단순 회귀 분석 다항식 회귀 분석 일반 선형 모형
일반화 선형 모형 이산선택 이항 회귀 분석 이항 회귀 분석 로지스틱 회귀 분석 다항 로지스틱 회귀 분석 혼합 로짓 프로빗 다항 프로빗 주문형 로짓 주문 프로빗 포아송
다단계 모델 고정 효과 랜덤 효과 선형 혼합 효과 모형 비선형 혼합효과 모형
비선형 회귀 분석 비모수 세미파라메트릭 로버스트 퀀틸레 동위원소 주성분 최소 각도 국부적 세그먼트화
변수 내 오류
추정
최소 제곱 선형 비선형
보통 가중치 일반화
부분적 합계 비음성 능선 회귀 분석 정규화된
최소 절대 편차 반복적으로 다시 가중치 부여 베이시안 베이시안 다변량
배경
회귀 유효성 검사 평균 및 예측 반응 오차 및 잔차 적합도 학생화 잔차 가우스-마르코프 정리
수학포털
v t

통계에서 벡터 일반화 선형 모형(VGLM)의 등급은 일반화 선형 모형(GLM)에 의해 맞춤화된 모델의 범위를 확대하기 위해 제안되었다.특히 VGLM은 고전적 지수 패밀리 외부와 둘 이상의 파라미터에 대한 반응 변수를 허용한다.각 매개변수(꼭 평균은 아님)는 연결 함수에 의해 변환될 수 있다.VGLM 프레임워크는 또한 다수의 반응을 자연스럽게 수용할 수 있을 만큼 충분히 크다; 이것들은 각각 다른 매개변수 값을 가진 특정한 통계적 분포로부터 오는 몇 개의 독립적인 반응이다.

벡터 일반화 선형 모델은 Yee(2015)에 자세히 설명되어 있다.^[1]일반적으로 모든 모형 모수의 최대우도 추정을 위해 채택된 중심 알고리즘은 반복적으로 재가중 최소 제곱법이다.특히 피셔 스코어링은 대부분의 모델에 대해 로그 우도함수의 첫 번째 및 예상 두 번째 파생상품을 사용하는 방식으로 구현된다.

동기

GLM은 기본적으로 고전적 지수 계열의 1-모수 모델을 다루며, 가장 중요한 통계적 회귀 모델인 선형 모형, 카운트에 대한 포아송 회귀 분석 및 이항 반응에 대한 로지스틱 회귀 분석의 3가지를 포함한다.그러나 지수 계열은 정규 데이터 분석에는 너무 제한적이다.예를 들어 카운트의 경우 제로 인플레, 제로 런화 및 과대산포증이 정기적으로 발생하고, 준 이항 및 준 이항 포아송의 형태로 이항 및 포아송 모델에 대한 임시변통적응은 임시변통이며 불만족스럽다고 주장할 수 있다.그러나 VGLM 프레임워크는 제로-인플레이션 포아송 회귀 분석, 제로-인플레이션 포아송 회귀 분석, 양의-포아송 회귀 분석, 음의 이항 회귀 분석과 같은 모형을 쉽게 처리한다.또 다른 예로, 선형 모형의 경우, 정규 분포의 분산이 척도 모수로서 강등되고 종종 귀찮은 모수(전혀 모수로 간주되는 경우)로 취급된다.그러나 VGLM 프레임워크는 공변량을 사용하여 분산을 모델링할 수 있도록 한다.

전체적으로 VGLM은 고전적 지수 계열 외부에서 많은 모델을 취급하는 GLM으로 느슨하게 생각할 수 있으며 단일 평균 추정에 제한되지 않는다.추정 중에는 IRLS 동안 가중 최소 제곱을 사용하는 대신 일반화 최소 제곱을 사용하여 M 선형 예측 변수 간의 상관 관계를 처리한다.

데이터 및 표기법

반응이나 결과 또는 종속 변수($s{\displaystyle \mathit{}}$), y${\displaystyle }$= ${\displaystyle ({y\mathrm{}}_{}}$ 1,${\displaystyle }$… ,${\displaystyle {}_{}}$ ${\displaystyle {Q{}_{}}_{}}$ ${\displaystyle {{1\mathrm{}}_{}}_{}}$)${\displaystyle {{}_{}}_{}{}^T}$ ${\$${T}$은$($는) 특정 분포에서 생성되는 것으로 가정한다.대부분의 분포는 일변량 분포여서 ${\displaystyle {Q\mathrm{}}_{}}$ ${\displaystyle 1{}_{}}$= 1 ${\displaystyle Q_{1}=1$ ${\displaystyle \mathrm{Q}}$ ${\displaystyle {1\mathrm{}}_{}}$= 2 ${\displaystyle Q_{1}=2}$의 예가 이변량 정규 분포다$$.

$때때로{\displaystyle }$ 우리는${\displaystyle }$i =${\displaystyle 1}$,${\displaystyle }$n , n ,$n$에 ${\displaystyle {}_{}}$ (${\displaystyle }$x ${\displaystyle {}_{}}$$$, w ${\displaystyle i_{}}$, ${\displaystyle {\mathit{}}_{}}$ i${\displaystyle {}_{}}$) ${\displaystyle ({\boldsymbol{x}_{i},$$w_$${i$},{\$boldsymbol{$$y}}}}}}}$을(으$)$로 데이터를 쓰기도 한다$.$ n개 관측치 각각 독립된 것으로 간주한다.그러면 $y{\displaystyle {\mathit{}}_{}}$ ${\displaystyle {}_{}}$=${\displaystyle }$( ${\displaystyle {}_{}}$ ${\displaystyle i_{}}$ ${\displaystyle 1_{}}$,${\displaystyle \dots ,}$ y ${\displaystyle {}_{}}$ ${\displaystyle {{}_{}}_{}}$ ${\displaystyle {{1\mathrm{}}_{}}_{}{}^{}}$) ${\displaystyle T^{}}$ ${\$${$${\displaystyle T_{}}$$\}.$ w $i{\displaystyle {}_{}}$ ${\$는 양의 이전 가중치로 알려져 있으며$$, w ${\displaystyle i_{}}$= ${\displaystyle 1}$ ${\displaystyle w_{i}=1}$인 경우가 많다$.$

설명변수나 독립변수는 $x{\displaystyle \mathit{}}$=${\displaystyle }$( ${\displaystyle {x\mathrm{}}_{}}$ ${\displaystyle {}_{}{}_{}}$,${\displaystyle }$… , ${\displaystyle x_{}{}^{}}$p ) ${\displaystyle T^{}}$ ${\$p}}}}{{}}}}}}{}}}}}}}{{}}}}}}}}}}}}$T$ 또는 필요할 때 $x{\displaystyle {\mathit{}}_{}}$ ${\displaystyle {}_{}}$=${\displaystyle }$( x ${\displaystyle {\mathrm{i}}_{}}$ 1${\displaystyle }$,${\displaystyle }$… , ${\displaystyle {}_{}}$ ${\displaystyle i_{}{}^{}{p}_{}}$ ) ${\displaystyle T^{}}$ ${\${\$boldsymbol {x}_{i}=(x_{i1},\ldots ,x_{ip})^$${T$ 보통 가로채기가 있는데, 이 경우 ${\displaystyle {x\mathrm{}}_{}}$ $1{\displaystyle {}_{}}$= ${\displaystyle 1}$ ${\displaystyle x_{1}=1}$ 또는$$ ${\displaystyle \mathrm{x}}$ i ${\displaystyle 1_{}}$= 1 ${\displaystyle x_{i1}=1$

Actually, the VGLM framework allows for S responses, each of dimension ${\displaystyle Q_{1}}$. In the above S = 1. Hence the dimension of ${\displaystyle {\boldsymbol {y}}_{i}}$ is more generally ${\displaystyle Q=S\times Q_{1}}$. One handles S responses by code such asvglm(cbind(y1, y2, y3) ~ x2 + x3, ..., data = mydata)S = 3의 경우.단순화하기 위해 이 글의 대부분은 S = 1이다.

모델 구성 요소

VGLM은 일반적으로 다음 4가지 요소로 구성된다.

1. 로그$$ 우도$\ell {\displaystyle }${\$displaystyle \ell$ $\},$ 첫 번째 파생상품 $\partial {\displaystyle \mathrm{}}$ /${\displaystyle \mathrm{}{}_{}}$ ${\displaystyle j_{}}$ ${\$ 및 계산할 수 있는 예상 정보 매트릭스를 갖는 일부 통계 분포의 확률밀도 함수 또는 확률 질량 함수.모델은 일반적인 MLE 규칙성 조건을 만족시키기 위해 필요하다.

2. 각 파라미터를 ${\displaystyle {모델링하기}_{}}$ 위해 아래에 설명된$$ 선형 예측 변수 $\eta {\displaystyle {}_{}}$ ${\displaystyle j_{}}$ ${\$ $j{\displaystyle }$= ${\displaystyle 1}$ , ${\displaystyle ...M}$. ${\displaystyle j=1,\ldots, M.}$

3. ${\displaystyle {링크}_{}}$ 함수 $g{\displaystyle {}_{}}$ ${\$ ${\displaystyle {}_{}^{}}$ j${\displaystyle {}_{}}$= ${\displaystyle {\mathrm{g}}_{}^{}}$- 1 (${\displaystyle {}_{}{\eta }_{}}$ j )${\displaystyle }$. ${\displaystyle \theta _{j}=g_{j}^{-1}(\eta$ _${j}).$$}$

4. $제약{\displaystyle {\mathit{}}_{}}$ $조건{\displaystyle }$ ${\displaystyle \mathrm{행렬}}$H${\displaystyle }$k${\displaystyle }$${\$displaysymbol {\$boldsymbol{H}_{k}$ k$$ ${\displaystyle =}$ 1 , ${\displaystyle p}$, ${\displaystyle k=1,\ldots,p,}$ 각각$$ 완전한 열 순위 및 알려진 열.

선형 예측 변수

각 선형 예측 변수는 독립 변수에 대한 정보를 모형에 통합하는 수량이다.기호 ${\displaystyle {\eta }_{}}$ j ${\$그리스어 "eta")는 선형 예측 변수를 나타내며, j번째 예측 변수를 나타내기 위해 첨자 j를 사용한다.jth 매개 변수를 설명 변수와 연관시키고, ${\displaystyle j_{}}$ j$${\$displaystyle \eta_$${$$j$$}}$는 알 수 없는 매개 $변수{\displaystyle {\mathit{}}_{}}$ ${\displaystyle {}_{}}$ j ${\displaystyle {}_{}}${\$displaystyle${\$boldsymbol {\}_{j$$},$ 즉 회귀$$ 계수$\beta {\displaystyle {}_{}}$(${\displaystyle j_{}}$ ${\displaystyle {)}_{}}$ $k의 선형$ 결합$(th$, "선형$")$으로 표현한다$.$

분포의 j번째 매개 변수인 $\theta {\displaystyle {}_{}}$ ${\displaystyle j_{}}$ ${\$은$($는) $x{\displaystyle \mathit{}}$, ${\displaystyle {\boldsymbol{x}$까지 독립 변수들에 따라 달라진다.

${\displaystyle g_{j}(\theta _{j}=\eta _{j}={j}={j}={\designsymbol{\pol}}}}{j}^{}}}}T}{\boldsymbol {x}}.}$

$Let{\displaystyle \mathit{}=}$ = ( ${\displaystyle {\eta }_{}}$ 1,${\displaystyle }$…${\displaystyle }$, ${\displaystyle {}_{}{}^{}}$ ${\displaystyle M^{}}$ ) T ${\${\$boldsymbol {\eta$}}=(\$eta _{1},\ldots$ ,\$eta$_{M})^{{{\\}}}{{\$eta}}}}}^{{}$$T}}$은 모든 선형 예측 변수의 벡터가 된다$$.(편의를 위해 항상 always${\$은(는) 치수 M이 되도록$$ 한다.)따라서 $x{\displaystyle \mathit{}}$ ${\$을(를) 구성하는 모든 공변량은 선형 예측 변수 ${\displaystyle {\eta }_{}}$ j$${\$displaystyle \eta_{j}}$을(를) 통해 모든 파라미터에 잠재적으로$$ 영향을 미칠 수 있으며$,$ 이후에는 선형 예측 변수를 각 $x{\displaystyle {}_{}}$ k ${\$}의 부드러운 함수의 합계인 가법 예측 변수로 일반화할 수 있도록 하겠다.$le x_{k}}}$과(와) 각 함수는 데이터로부터 추정한다.

연결 함수

각 연결 함수는 선형 예측 변수와 분포 모수 사이의 관계를 제공한다.일반적으로 사용되는 링크 함수가 많으며, 이들의 선택은 다소 자의적일 수 있다.링크함수의 도메인을 분포의 매개변수 값의 범위에 맞추려고 하는 것이 타당하다.$위$의 g ${\displaystyle j_{}}$ ${\$는 각 파라미터에 대해 서로 다른 연결 함수를 허용한다는 점에$$ 유의하십시오.예를 들어 공통 링크 함수는 (${\displaystyle 0}$, 1)${\displaystyle$ ($0,1)}$의 파라미터에 대한 로짓 링크와 양의 파라미터에 대한 로그 링크를 포함하는 일반화된 선형 모델과 유사한 속성을 가진다$.$그VGAM패키지는 기능이 있다.identitylink()양수 값과 음수 값 모두를 가정할 수 있는 파라미터의 경우

제약 조건 행렬

보다 일반적으로 VGLM 프레임워크는 각 ${\displaystyle {\mathrm{선형}}_{}}$ 예측 변수의 회귀$$ 계수 $\beta {\displaystyle {}_{(j}}$) k ${\$ 사이에 선형 제약이 있는 경우를 허용한다.예를 들어, 우리는 어떤 것을 0으로 설정하거나, 어떤 것은 0으로 제한하기를 원할 수 있다.우리는 가지고 있다.

${\displaystyle {\boldsymbol {\eta }}=\sum _{k=1}^{p}\,{\boldsymbol {\beta }}_{(k)}^{}\,x_{k}=\sum _{k=1}^{p}\,{\boldsymbol {H}}_{k}\;{\boldsymbol {\beta }}_{(k)}^{*}\,x_{k}}$

$여기$서 H ${\displaystyle {}_{}}$ ${\$은 제약 조건 행렬이다.각 제약 조건 행렬은 알려지고 미리 지정되며, M 행과 1열과 M 열 사이에 있다.제약 조건 행렬의 요소는 유한한 값으로, 종종 0이나 1에 불과하다.예를 들어, 값 0은 1이 해당 요소를 포함하는 동안 해당 요소를 효과적으로 생략한다.It is common for some models to have a parallelism assumption, which means that ${\displaystyle {\boldsymbol {H}}_{k}={\boldsymbol {1}}_{M}}$ for ${\displaystyle k=2,\ldots ,p}$, and for some models, for ${\displaystyle k=1}$ too.${\displaystyle {}_{}}$ $k{\displaystyle }$= ${\displaystyle 1}$, ${\displaystyle ...}$ , ${\displaystyle p}$ ${\displaystyle k=1,\ldots ,p}$에 $대해{\displaystyle {\mathit{}}_{}}$ H k${\displaystyle {}_{}}$= ${H}_{K}={\boldsymbol {I}_{M}}}}}$에 대해 특별한 경우는 사소한 제약조건으로 알려져$$ 있으며, 모든 회귀계수는 추정되며 관련이 없다.${\displaystyle {}_{}}$ $모든{\displaystyle {\mathit{}}_{}}$ $H{\displaystyle {}_{}}$ ${\displaystyle k_{}}$ =$${\$displaystyle \theta_{j$${\displaystyle {}_{}}$의 j번째 행이 $0{\displaystyle {\mathbf{}}^{}}$ ${\displaystyle {}^{}}$ ${\$ ${H}_$${k$$}=}$이(가) 같으면$$ 가로채기 전용 파라미터로 알려져$$ 있다$.$${\displaystyle k}$= ${\displaystyle 2}$,${\displaystyle }$… , p ${\displaystyle k=2,\ldots,p$ 즉 $\eta {\displaystyle {}_{}}$ ${\displaystyle j_{}}$= ${\displaystyle {}_{(j}^{}}$) ${\displaystyle 1_{}^{}}$ ${\displaystyle {}_{}^{}}$ ${\$ \$eta _\beta _{(j)1}^{*}}$는 절편일 뿐이다$$.따라서 절편 전용 매개변수는 스칼라처럼 가능한 간단하게 모델링된다.

The unknown parameters, ${\displaystyle {\boldsymbol {\beta }}^{*}=({\boldsymbol {\beta }}_{(1)}^{*T},\ldots ,{\boldsymbol {\beta }}_{(p)}^{*$$T}^{T$는 일반적으로 최대우도 방법에 의해 추정된다.모든 회귀 계수는 다음과 같이 행렬에 넣을 수 있다.

${\displaystyle {\boldsymbol {\eta }_{i}={\boldsymbol {B}^{T}{\boldsymbol {x}}_{i}={\begin{pmatrix}{\boldsymbol {\beta }}_{1}^{T}\,{\boldsymbol {x}}_{i}\\\vdots \\{\boldsymbol {\beta }}_{M}^{T}\,{\boldsymbol {x}}_{i}\\\end{pmatrix}}=\left({\boldsymbol {\beta }}_{(1)}^{},\ldots ,{\boldsymbol {\beta }}_{(p)}^{}\right)\;{\boldsymbol {x}}_{i}.}$

시즈 시설

보다 일반적으로는 변수 $x{\displaystyle {}_{}}$ ${\displaystyle k_{}}$ ${\$의 값이 각 ${\displaystyle {\eta }_{}}$ j ${\$에 대해 서로 다른 값을 가질$$ 수 있게 할 수 있다$.$ 예를 들어, 각 선형 예측 변수가 다른 시점에 있다면 시간 변동을 일으키는 공변량이 있을 수 있다.예를 들어 이산 선택 모델에서는 특정 변형을 구별하고 다항 로짓 모델을 전송 선택 등에 적합시키기 위해 조건부 로짓 모델, 내포 로짓 모델, 일반화 로짓 모델 등을 가지고 있다.비용 등 변수는 선택에 따라 달라지는데, 예를 들어 택시가 버스보다 비싸서 걷는 것보다 비싸다.그xij의 설비.VGAM${\displaystyle {\eta j}_{}{\mathit{}}_{}}$ ${\displaystyle {}_{}}$) ${\displaystyle \eta _{j}({\synammbol {x}_{i}})$에서 ${\displaystyle {jj}_{}{}_{}}$ ${\displaystyle j_{}}$) ${\displaystyle \eta \{j}({\symbol{x}_{ij})$까지 일반화할 수 있도록 허용한다$.$

가장 일반적인 공식은

${\displaystyle {\boldsymbol {\eta }}_{i}={\boldsymbol {o}}_{i}+\sum _{k=1}^{p}\,diag(x_{ik1},\ldots ,x_{ikM})\,\mathbf {H} _{k}\,{\boldsymbol {\beta }}_{(k)}^{*}.}$

여기서 $o{\displaystyle {\mathit{}}_{}}$ ${\displaystyle {}_{}}$ ${\$은 $옵션{\displaystyle }$ 오프셋이며, 실제로는 n$$ ${\displaystyle \times }$ ${\displaystyle M}$ ${\displaystyle$ n$\times$M} $행렬로$번역된다$$.그VGAM소포에는 다음이 있다.xij대각 행렬의 연속적인 요소를 입력할 수 있는 인수

소프트웨어

Yee(2015)^[1]는 VGAM이라는 이름의 R 패키지 구현에 대해 설명한다.^[2]현재 이 소프트웨어는 약 150개의 모델/배포 기능에 적합하다.중앙 모델링 기능은vglm()그리고vgam(). Thefamily인수에 VGAM 패밀리 함수(예:family = negbinomial음이항 회귀 분석의 경우,family = poissonff포아송 회귀 분석의 경우,family = propodds순서형 범주형 회귀 분석의 비례 홀수 모형 또는 누적 로짓 모형의 경우.

피팅

최대우도

로그 우도를 최대화하고 있다.

${\displaystyle \ell =\sum _{i=1}^{n}\,w_{i}\,\ell _{i}}}$

${\displaystyle {여기}_{}}$서 w ${\$는 양성이며$$ 알려진 이전 가중치.최대우도 추정치는 Fisher의 채점 방법을 사용하여 반복적으로 가중치가 재조정된 최소 제곱 알고리즘을 사용하여 찾을 수 있으며, 양식은 다음과 같다.

${\displaystyle {\boldsymbol {\beta }}^{(a+1)}={\boldsymbol {\beta }}^{(a)}+{\boldsymbol {\mathcal {I}}}^{-1}({\boldsymbol {\beta }}^{(a)})\,\,\mathbf {u} ({\boldsymbol {\beta }}^{(a)}),}$

여기서 $I{\displaystyle \mathcal{}}$( ${\displaystyle {\beta }^{}}$($){\displaystyle {\boldsymbol {\mathcal{I}}({\boldsymbol {\beta }}^{(a)})$는 반복 a의 피셔 정보 매트릭스다.예상 정보 매트릭스, 즉 EIM이라고도 한다.

VLM

계산을 위해 (작은) 모형 행렬은 다음 공식의 RHS로 생성된다.vglm()그리고 제약 조건 행렬이 결합되어 큰 모델 행렬을 형성한다.IRLS는 이 큰 X에 적용된다.벡터 선형 모델이 해결되고 있는 기본적인 최소 제곱 문제이기 때문에 이 행렬은 VLM 행렬이라고 알려져 있다.VLM은 가중 다변량 회귀 분석으로, 반응 행렬의 각 행에 대한 분산-공분산 행렬이 반드시 같지 않고 알려져 있다.(기존 다변량 회귀 분석에서는 모든 오차가 동일한 분산-공분산 행렬을 가지며, 알 수 없음).특히 VLM은 가중 제곱합을 최소화한다.

${\displaystyle \mathrm {ResSS} =\sum _{i=1}^{n}\;w_{i}\좌측\{\mathbf {z}_{i}^{i-{i-}-{\boldsymbol{{\eta}}^{{a-1}}}}}}^{{i-}}}}}{{i-}}}}}}}}}^{{{}}}}}}}}}}}}}}}}}}T}\mathbf {W} _{i}^{{i}^{(a-1)}\왼쪽\{\mathbf {z} _{i}-{\boldsymbol{\eta}}^{{a-1}}}\right\}}}}}$

이 양은 각 IRLS 반복에서 최소화된다.작업 반응(사이비 반응 및 조정된 종속 벡터라고도 함)은

${\displaystyle \mathbf {z} _{i}={\boldsymbol {\eta}}+\mathbf {W} _{i}^{-1}\mathbf {u} _{i}}}}$

$여기$서 W ${\displaystyle {}_{}}$ ${\$는 작업 가중치 또는 작업 가중치 행렬로 알려져$$ 있다.그들은 대칭적이고 긍정적이다.EIM을 사용하면 매개변수 공간의 대부분에 걸쳐 모두 양수(양수)가 확실하다는 것을 확인할 수 있다.대조적으로, 뉴턴-랩슨을 사용하면 관측된 정보 매트릭스가 사용된다는 것을 의미할 수 있으며, 매개변수 공간의 더 작은 부분집합에서 양성-확정성을 갖는 경향이 있다.

계산적으로, Cholesky 분해는 작업 중량 행렬을 반전시키고 전체 일반화된 최소 제곱 문제를 일반적인 최소 제곱 문제로 변환하는 데 사용된다.

예

일반화 선형 모형

물론 모든 일반화된 선형 모형은 VGLM의 특별한 경우지만, 우리는 종종 척도 모수에 모멘트 방법을 사용하기보다는 최대우도 추정에 의해 모든 모수를 추정한다.

순서 범주형 반응

반응 변수가 M + 1 수준의 순서형 측정인 경우 다음 형식의 모형 함수를 적합시킬 수 있다.

${\displaystyle g}$ (${\displaystyle {}_{}}$ ${\displaystyle j_{}}$)${\displaystyle }$= $\eta {\displaystyle {}_{}}$ ${\displaystyle j_{}}$ ${\$ g$(\theta _{j}=\$${\displaystyle \mathrm{eta}}$ $_$${\displaystyle \{j\}\}\},}$ ${\displaystyle$ j$),}}}$

$j{\displaystyle }$= ${\displaystyle 1}$ ,${\displaystyle }$…${\displaystyle }$,${\displaystyle M}$ . ${\displaystyle$j=$1,\ldots,$ M$.}$ 서로$$ 다른 링크 g는 비례 오즈 모델 또는 순서의 프로빗 모델(예:VGAM가정의 기능.cumulative(link = probit)누적 확률에 프로빗 링크를 할당하므로 이 모델을 누적 프로빗 모델이라고도 한다.일반적으로 그것들은 누적 링크 모델이라고 불린다.

범주형 분포와 다항 분포의 경우 적합치는 확률의 (M + 1) 벡터로서, 모든 확률은 최대 1까지 합산되는 속성이 된다.각 확률은 M + 1 가능한 값 중 하나의 발생 가능성을 나타낸다.

순서 없는 범주형 응답

반응 변수가 공칭 측정값이거나 데이터가 순서가 지정된 모형의 가정을 충족하지 못하면 다음 형식의 모형을 적합시킬 수 있다.

${\displaystyle \log \left[{\frac {Pr(Y=j)}{\mathrm {Pr}(Y=M+1)}}\right]=\eta _{j}}}$

$j{\displaystyle }$= ${\displaystyle 1}$,${\displaystyle }$… ,${\displaystyle M}$. ${\displaystyle j=1,\ldots ,M.}$ 위$$ 링크를 멀티로깃 링크라고도 하며, 모델을 다항 로짓 모델이라고 한다.반응의 첫 번째 또는 마지막 수준을 기준 또는 기준선 그룹으로 선택하는 것이 일반적이다. 위의 수준은 마지막 수준을 사용한다.그VGAM가정의 기능.multinomial()위의 모델에 적합하며, 라는 인수가 있다.refLevel참조 그룹으로 사용되는 레벨을 할당할 수 있다.

데이터 개수

고전적인 GLM 이론은 카운트 데이터에 대해 포아송 회귀 분석을 수행한다.링크는 일반적으로 표준 링크로 알려진 로그다.분산 함수는 평균에 비례한다.

${\displaystyle \operatorname {Var}(Y_{i})=\tau \mu _{i}\,}$

여기서 분산 매개 변수 $\tau {\displaystyle }$ ${\displaystyle \tau }$은(는) 일반적으로 정확히 1로 고정된다$$.그렇지 않은 경우, 결과적인 준우도 모델은 과대산포를 가진 포아송(Poisson) 또는 준-Poisson(si-displaystyle $\tau })$으로 설명되며, 일반적으로 $mom{\displaystyle }$ ${\displaystyle \tau }$에 대한 신뢰 구간을 얻기 어렵다$$.

이와는 대조적으로, VGLMs는 포아송과 관련하여 과대산포를 처리할 수 있는 훨씬 더 풍부한 모델 세트를 제공한다(예: 음의 이항 분포 및 이의 여러 변종).또 다른 계수 회귀 모형은 일반화된 포아송 분포다.다른 가능한 모델로는 제타 분포와 Zipf 분포가 있다.

확장

축소 순위 벡터 일반화 선형 모형

RR-VGLM은 B 행렬의 하위 집합이 하위 순위인 VGLM이다.일반성을 잃지 않고 $x{\displaystyle \mathit{}}$= (${\displaystyle }$x ${\displaystyle {}_{}^{}}$ ${\displaystyle {}_{}^{}}$ x ${\displaystyle {}_{}^{}}$ ${\displaystyle {}_{}^{}{}^{}}$) T ${\$라고 가정해 보자.${T}$은 공변량 벡터의 파티션이다$$.Then the part of the B matrix corresponding to ${\displaystyle {\boldsymbol {x}}_{2}}$ is of the form ${\displaystyle {\boldsymbol {A}}{\boldsymbol {C}}^{T}}$ where ${\displaystyle {\boldsymbol {A}}}$ and ${\displaystyle {\boldsymbol {C}}}$ are thin matrices (i.e., with R columns), e.g., vect또는 순위 R = 1. RR-VGLM이 특정 모델과 데이터 세트에 적용될 때 몇 가지 이점을 제공할 수 있는 경우첫째, M과 p가 크면 VGLM에 의해 추정된 회귀계수의 수가 크다(${\displaystyle M}$ ${\displaystyle \times }$ p ${\displaystyle M\times p}).$그러면 R = 1 또는 R = 2와 같이 R이 낮을 경우 RR-VGLM은 추정된 회귀 계수의 수를 엄청나게 줄일 수 있다. R = 1 또는 R = 2. 이것이 특히 유용한 모델의 예로는 고정관념 모델이라고도 하는 RR-다항 로짓 모델이 있다.둘째, $ν$= ${\displaystyle {\mathit{}}^{}}$ ${\displaystyle {}^{}}$ x ${\displaystyle {}_{}}$= (${\displaystyle {\nu \mathrm{}}_{}}$ 1${\displaystyle {}_{}}$,${\displaystyle }$… ,$ν$ ${\displaystyle R_{}{}^{}}$) ${\displaystyle T^{}}$ ${\$$T}}$은 잠재 변수의 R-벡터로서, 종종 이러한 변수들을 유용하게 해석할 수 있다.R = 1이면 $\nu {\displaystyle }$= ${\displaystyle {\mathit{}}^{}}$ ${\displaystyle {}^{}{\mathit{}}_{}}$ ${\displaystyle {\mathrm{}}_{}}$ 2 ${\$$T}{\boldsymbol{x}_{2}}:$ 잠재 변수가 설명 변수에 대한 적재를 구성하도록 한다$$.RR-VGLM이 $x{\displaystyle {\mathit{}}_{}}$ ${\displaystyle {\mathrm{}}_{}}$ ${\$}}개의 최적의 선형 조합을 취한 후$$ 설명 변수$({\displaystyle {\mathrm{}}_{}}$,${\displaystyle {}_{}\nu \mathit{})}$ ${\displaystyle({\boldsymbol{x_{1},{\boldsymbol{\no$에 VGLM을 장착하는 것을 볼 수 있다.세 번째, R' = 2인 경우 바이플롯이 생성될 수 있으며, 이를 통해 모델을 시각화할 수 있다.

RR-VGLM은 $단순히{\displaystyle {\mathit{}}_{}}$ VGLM이며, x ${\displaystyle {\mathrm{}}_{}}$ ${\$}}개의 변수에 대한 제약 조건을 알 수 없으며$$ 추정할 수 있음을 알 수 있다.그런 다음 ${\displaystyle {}_{}}$ 변수에 $대해$ H k${\displaystyle {}_{}}$= ${\displaystyle A\mathit{}}$ ${\$을(를) 전송한다.RR-VGLMs can be estimated by an alternating algorithm which fixes ${\displaystyle {\boldsymbol {A}}}$ and estimates ${\displaystyle {\boldsymbol {C}},}$ and then fixes ${\displaystyle {\boldsymbol {C}}}$ and estimates ${\displaystyle {\boldsymbol {A}}}$, etc.

실제로 $A{\displaystyle \mathit{}}$ ${\$ 및/또는 $C{\displaystyle \mathit{}}$ ${\$에 대해 몇 가지 고유성 제약이 필요하다$.$VGAM그rrvglm()함수는 기본적으로 코너 구속조건을 사용하며, $이$는 A ${\$의 상위 R 행이 ${\displaystyle {}_{}}$ R ${\$로 설정됨을$$ 의미한다$.$RR-VGLMs는 2003년에 제안되었다.^[3]

2 대 1

RR-VGLM의 특별한 경우는 R = 1 및 M = 2이다.이것은 2개의 파라미터에서 1개의 파라미터로 치수를 감소시키는 것이다.그렇다면 라는 것을 보여줄 수 있다.

${\displaystyle \theta _{2}=g_{2}^{-1}\좌측(t_{1}+a_{21}\cdot g_{1}(\teta _{1}\오른쪽),}$

여기서 원소 $t{\displaystyle {}_{}}$ ${\$및 ${\displaystyle {\mathrm{21<img\; alt="t\_\{1\}"\; aria-hidden="true"\; class="mwe-math-fallback-image-inline"\; src="https://wikimedia.org/api/rest\_v1/media/math/render/svg/cb0768c0bd659f2f84fb5ef9f4b74f336123d915"\; style="vertical-align:\; -0.671ex;\; width:1.894ex;\; height:2.343ex;"\; papago-attr-id="447">}}_{}}$ ${\$을 추정한다$$.동등하게,

${\displaystyle \eta _{2}=t_{1}+a_{21}\cdot \eta _{1}.}$

이 공식은 $\eta {\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$ ${\$}와$$ ${\displaystyle {2\mathrm{}}_{}}$ 2$${\$displaystyle \eta _{2$}}의 결합을 제공한다$.$ 이 공식은 예를 들어 평균-분산 관계를 모델링하는 데 유용할 수 있는 모델의 두 매개변수 사이의 관계를 유도한다.링크 기능의 일부 선택이 있기 때문에 두 매개변수(예: 로짓, 프로빗, 카우치트 또는 나막신 로그 링크)를 단위 간격에서 결합할 때 약간의 유연성을 제공한다.위의 공식은 특히 음의 이항 분포에 유용하므로 RR-NB에 분산 함수가 있다.

${\displaystyle \operatorname {Var}(Y\mid {\boldsymbol {x})=\mu({\boldsymbol {x})+\delta _{1}\delta _{2}.}$

이것은 일부 저자들에 의해 NB-P 변종이라고 불렸다.$\Delta {\displaystyle {}_{}}$ ${\$및$$ $\Delta {\displaystyle {}_{}}$ ${\displaystyle {2\mathrm{}}_{}}$ ${\$}}개의 Δ가 추정되며$$, Δ1{\displaystyle $\$delta _{2}}개의 신뢰 구간도 구할 수 있다.

우발적으로, 제약 조건 행렬의 올바른 조합을 선택하는 데 도움을 받아 몇 가지 다른 유용한 NB 변형도 장착할 수 있다.예를 들어, NB - 1, NB - 2 (negbinomial()기본값), NB - H; Yee(2014)^[4] 및 Yee(2015)^[1]의 표 11.3을 참조하십시오.

RCIMs

행-열 상호작용 모델(RCIM)의 하위 클래스도 제안되었다. 이는 RR-VGLM의 특수 유형이다. RCIM은 행렬 Y 응답에만 적용되며 명시적인 설명 변수 $x{\displaystyle \mathit{}}$ ${\$이(가) 없다$.$ 대신 각 행과 열의 지시 변수가 명시적으로 설정되고 주문-R 상호 작용한다.A ${\displaystyle C{\mathit{}}^{}}$ ${\displaystyle {}^{}}$ ${\$ 형식의 이온이 허용된다$$.이러한 유형의 모델의 특별한 사례로는 Goodman RC 연결 모델과 에서 구현한 준분산 방법론이 있다.qvcalcR 패키지.

RCIM은 다음과 같이 Y에 적용되는 RR-VGLM으로 정의할 수 있다.

${\displaystyle g_{1}(\theta _{1})\equiv \eta _{1ij}=\beta _{0}+\alpha _{i}+\gamma _{j}+_{r=1}^{R}c_{ir}\,a_{jr}.}$

Goodman RC 연결 모델의 경우 $we{\displaystyle {}_{}}$ 1 ${\displaystyle {i\mathrm{}}_{}}$ ${\displaystyle j_{}}$= ${\displaystyle \mathrm{로그}{}_{}}$ ${\displaystyle i_{}}$ ${\displaystyle j_{}}$ ${\displaystyle \eta _{1ij}=\log \mu _{ij}}$를 사용하므로, R = 0이면 행 효과와 열 효과가 있는 카운트 행렬에 적합한 포아송 회귀 분석이며, 이는 무중접 분산 분석 모델과 유사한 아이디어를 가지고 있다.

$RCIM$의 또 다른 예는 g ${\displaystyle {1\mathrm{}}_{}}$ ${\$1}이$$ID 링크이고 매개변수가$$ 중위수이고 모형이 비대칭 Laplace 분포에 해당하는 경우, 무상호작용 RCIM은 중위수 광택이라고 하는 기법과 유사하다.

인VGAM,rcim()그리고grc()함수는 위의 모델에 적합하다.또한 Yee와 Hadi(2014)^[5]는 RCIM을 종 데이터에 구속되지 않은 2차 정렬 모델을 적합시키는 데 사용할 수 있다는 것을 보여준다. 이는 서열화에서 간접 구배 분석의 예(통계 생태계의 주제)이다.

벡터 일반화 가법 모형

벡터 일반화 첨가제 모델(VGAMs)은 VGLM에 대한 주요 확장자로, 선형 예측 변수 ${\displaystyle {\eta }_{}}$ j ${\$는 $공변량{\displaystyle {}_{}}$ ${\displaystyle x_{}}$ ${\$에 선형인 것으로 제한되지 않지만$$, $x$ ${\displaystyle k_{}}$ ${\$에 적용된 평활용 함수의 합이다$.$

${\displaystyle {\boldsymbol {\eta }}({\boldsymbol {x}})={\boldsymbol {H}}_{1}\,{\boldsymbol {\beta }}_{(1)}^{*}+{\boldsymbol {H}}_{2}\,{\boldsymbol {f}}_{(2)}^{*}(x_{2})+{\boldsymbol {H}}_{3}\,{\boldsymbol {f}}_{(3)}^{*}(x_{3})+\cdots \,\!}$

where ${\displaystyle {\boldsymbol {f}}_{(k)}^{*}(x_{k})=(f_{(1)k}^{*}(x_{k}),f_{(2)k}^{*}(x_{k}),\ldots )^{T}.}$ These are Madditive predictors.매끄러운 각 함수 $f{\displaystyle {}_{}^{}}$(${\displaystyle j_{}^{}}$) k ${\displaystyle {}_{}^{}}$ ${\$는 데이터로부터$$ 추정한다.따라서 VGLM은 모델 중심이고 VGAM은 데이터 중심이다.현재는 스무딩 스플라인만 시행하고 있다.VGAM꾸러미M > 1의 경우 그것들은 사실상 벡터 스플라인으로, 구성 요소 $기능$을 f${\displaystyle {}_{}^{}}$( j${\displaystyle {}_{}^{}}$) ${\displaystyle k_{}^{}}$ ${\displaystyle {}_{}^{}}$ (${\displaystyle {}_{}^{}{}_{}}$ ${\displaystyle k_{}}$) ${\displaystyle f_{(j)k}^{*}(x_{k})$의 동시에$$ 추정한다.물론 VGLMs와 함께 회귀 스플라인도 사용할 수 있다.VGAMs 이면의 동기는 헤스티와 티비시라니(1990),^[6] 우드(2017)와 비슷하다.^[7]VGAMs는 1996년에 제안되었다.^[8]

현재, 에일러와 마르크스의 P-스플라인(1996)을 이용하여 VGAM을 추정하는 작업이 진행되고 있다.^[9]이를 통해 자동 평활 매개변수 선택을 더 쉽게 수행할 수 있는 기능과 같이 평활 스플라인 및 벡터 백피팅을 사용하는 것에 비해 몇 가지 이점을 얻을 수 있다.

2차 축소 순위 벡터 일반화 선형 모형

이는 잠재 변수의 2차 변수에 RR-VGLM 클래스에 추가된다.그 결과는 잠재 변수의 함수로써 각 반응에 종 모양의 곡선을 적합시킬 수 있다는 것이다.R = 2의 경우, 두 개의 잠재 변수의 함수로서 종 모양의 표면이 있는데, 이는 이변량 정규 분포와 비슷한 것이다.QRR-VGLM의 특정 용도는 서열화라고 하는 다변량 분석 분야에서 생태학에서 찾을 수 있다.

QRR-VGLM의 특정 순위 1 예로서 S종이 있는 포아송 데이터를 고려한다.종 s에 대한 모형은 포아송 회귀 분석이다.

${\displaystyle \log \,\mu _{s}(\nu )=\eta _{s}(\nu )=\beta _{(s)1}+\beta _{(s)2}\,\nu +\beta _{(s)3}\,\nu ^{2}=\alpha _{s}-{\frac {1}{2}}\left({\frac {\nu -u_{s}}{t_{s}}}\right)^{2},}$

$s{\displaystyle }$= ${\displaystyle 1}$,${\displaystyle }$… ,${\displaystyle S}$ ${\displaystyle s=1,\ldots ,S$ 기호 ${\displaystyle {\alpha s}_{}}$ ${\displaystyle \alpha_{s}$ ${\displaystyle u_{}}$, ${\displaystyle u_{s},$ ${\displaystyle t_{}}$, {\$displaystyt_{s}$를 사용하는 가장 오른쪽 파라미터화는 종 다양성과 관련되기 때문에 특별한 생태적 의미가 있다$$.예를 들어, 허용오차는 틈새 폭의 척도로, 큰 가치는 종들이 광범위한 환경에서 살 수 있다는 것을 의미한다.위의 방정식에서 종 모양의 곡선을 얻기 위해서는 ) < 0 ${\displaystyle \beta _{(s)3}<0}$이(가) 필요할 것이다.

QRR-VGLMs는 최대우도 추정에 의해 가우스 서열화 모델을 적합시키며, 이는 직접 구배 분석의 예다.그cqo()의 기능을 하다.VGAM현재 통화 중인 패키지optim()최적의 C ${\$을$($를) 검색하면, 사이트 점수를 계산하기 쉽고 그에 적합한 일반화된 선형 모형을 적합시킬 수 있다.함수는 제한된 2차 서열을 나타내는 약자 CQO의 이름을 따서 명명되며, 2차 서식은 잠재 변수 $in{\displaystyle \mathit{}}$ ${\$}에서 2차 서식을 위한 것이다.${\$척도의$$$$ $mbol {\\nu }}.$불행하게도 QRR-VGLM은 응답 변수와 설명 변수 모두에서 특이치에 민감할 뿐만 아니라 계산적으로 비용이 많이 들고, 글로벌 솔루션보다는 로컬 솔루션을 제공할 수 있다.QRR-VGLMs는 2004년에 제안되었다.^[10]

참고 항목

• 일반화된 선형 모형
• R(소프트웨어)
• 회귀분석
• 통계적 모델
• 자연 지수 패밀리

참조

추가 읽기

• Hilbe, Joseph (2011). Negative Binomial Regression (2nd ed.). Cambridge: Cambridge University Press. ISBN 978-0-521-19815-8.