선형 예측 함수

통계학 및 기계 학습에서 선형 예측 함수는 일련의 계수와 설명 변수(독립 변수)의 선형 함수(선형 조합)이며, 그 값은 종속 ^[1]변수의 결과를 예측하는 데 사용됩니다.이러한 종류의 함수는 일반적으로 계수를 회귀 계수라고 하는 선형 회귀 분석에서 제공됩니다.그러나 주성분^[6] 분석 및 인자 분석과 같은 다른 다양한 모형뿐만 아니라 다양한 유형의 선형 분류기(예: 로지스틱 회귀 ^[2]분석, 퍼셉트론,^[3] 지지 벡터 ^[4]기계 및 선형 판별^[5] 분석)에서도 발생합니다.이러한 모형 중 많은 경우 계수를 "가중치"라고 합니다.

정의.

i = 1, ..., n의 경우, 데이터 지점 i(p 설명 변수 계산)에 대한 선형 예측 $i$) {$displaystyle$ f$(i)}$의 기본 형식은 다음과 같다.

${\displaystyle f(i)=\display_{0}+\display_{1}x_{i1}+\cdots +\display_{p}x_{ip}$

$여기$서 x ${\displaystyle i_{}}$ ${\displaystyle k_{}}${$displaystyle x_{ik$ k = 1, ..., p는 데이터 포인트 i에 대한 k번째 설명 변수의 $값$이고, ${\displaystyle {\beta \mathrm{}}_{}}$ 0${\displaystyle ,}$ ${\displaystyle \dots ,}$ ${\displaystyle {\beta }_{}}$p {$displaystyle \dots,\dots,\p}$는 특정 설명 변수에 대한 상대적 영향을 나타내는 계수(회귀계수, 가중치 등)이다.와라

표기법

프레딕터 함수를 다음과 같이 보다 콤팩트한 형식으로 기술하는 것이 일반적입니다.

• 계수₀ β₁, β, ..., β는_p 크기 p + 1의 단일 벡터 β로 그룹화된다.
• 데이터점 i마다 절편계수₀ β에 대응하여 고정값 1의 추가설명 의사변수_i0 x를 가산한다.
• 그런 다음 결과 설명 변수_i0 x(= 1, x_i1, ..., x는_ip 크기 p + 1의 단일 벡터_i x로 그룹화된다.

벡터 표기법

이를 통해 다음과 같이 선형 예측 변수 함수를 작성할 수 있습니다.

$({displaystyle f(i)=cdot\mathbf {x}_{i})$

두 벡터 사이의 점곱에 대한 표기법을 사용합니다.

매트릭스 표기법

행렬 표기법을 사용한 동등한 형식은 다음과 같습니다.

${{displaystyle f(i)=bold symbold {t}^{\mathrm {T}}\mathbf {x}_{i}^{\mathrm {T}}{\bold symbol {t}}$

$여기$서$$β(\$displaystyle\boldsymbol\beta})$ $및$ $(\$i$$})는 (p+1)×1 열 벡터로 $간주$되며 $(\$$\ta$})^{\$mathrm{T}}$는$$$$β$(\$$so{\displaystyle {\mathit{}}^{}}$)의 행렬 전치입니다$.$$boldsymbol {beta$} {{\$mathrm {T}}$은 1x(p+1) 행 $벡터$이며, ${\displaystyle {\mathrm{}}^{}}$ $x$ {\$displaystyle {beta }^{\mathbf {x$}$_{i}}$는 1x(p+1) 행 벡터와 (p+1) 행 사이의 행렬 곱셈을 나타냅니다.

선형 회귀

선형 예측 변수 함수의 사용 예는 선형 회귀 분석에서 각 데이터 점이 연속 결과_i y와 연관되어 있고 관계가 작성되었습니다.

$\displaystyle y_{i}=f(i)+\varepsilon _{i}=bold symbol {i}^{\mathrm {T}}\mathbf {x}_{i}\+\varepsilon _{i}$

여기서 ${\displaystyle i_{}}$ i$$\ $displaystyle$\$varepsilon$_ { $i}$는 외란항 또는 오차변수입니다.의존변수와 예측함수 사이의 선형관계에 노이즈를 추가하는 관측되지 않은 랜덤 변수입니다.

스태킹

일부 모형(특히 표준 선형 회귀 분석)에서는 각 데이터 점 i = 1, ..., n에 대한 방정식이 함께 쌓이고 벡터 형식으로 다음과 같이 작성됩니다.

${\displaystyle \mathbf {y} = \mathbf {X} {\boldsymbol {\baldsymbol} + {\boldsymbol {\varepsilon }},$

어디에

${\displaystyle \mathbf{y}={\begin{pmatrix}y_{1}\\y_{2}\\\vdots \\y_{n}\end{pmatrix}},\quad \mathbf{X}={\begin{pmatrix}\mathbf{)}'_{1}\\\mathbf{)}'_{2}\\\vdots \\\mathbf{)}'_{n}\end{pmatrix}}={\begin{pmatrix}x_{11}&, \cdots, x_{1p}\\x_{21}&, \cdots &, x_{파운드당 2펜스}\\\vdots &, \ddots &, \vdots \\x_{n1}&, \cdots & &, x_{np}\end{pmat.rix}},\quad{\boldsymbol{\beta}=pmatrix_{1}\\vdots_{p}\end{pmatrix},\parechibol {varepsilon}=parechibulon_{1}\\varepsilon_{2}\varepsilon_{n}_varepsilon_{boldsyboldsymbolon},\pmboldsymbolon{pmblon},\pmbatrix},\pmbratrix},{pmbratrix},{pmbr},}$

행렬 X는 설계 행렬로 알려져 있으며 독립 변수에 대해 알려진 모든 정보를 인코딩합니다.변수 ${\displaystyle i_{}}$i \ $displaystyle$\$varepsilon$_ { $i}$는 랜덤 변수이며, 표준 선형 회귀 분석에서는 표준 정규 분포에 따라 분포되며, 결과에 알려지지 않은 요인이 미치는 영향을 나타냅니다.

따라서 단순 행렬 연산을 사용하는 최소 제곱 방법을 통해 최적의 계수를 찾을 수 있습니다.특히, 최소 제곱으로 추정되는 최적 $β ^$ {\$displaystyle$ {\$boldsymbol {\$hat {\$beta }}}$은 다음과$$ 같이 쓸 수 있다.

${\displaystyle {\mathrm {T}}=(X^{\mathrm {T}}X^{\mathrm {T}}\mathbf {y}}$

${\displaystyle {\mathrm{행렬}}^{}}({\displaystyle }$ ${\displaystyle {X\mathrm{}}^{}}$ T${\displaystyle {}^{}{X}^{}{}^{}}$) - ${\displaystyle {}^{}{}^{}}$ ${\displaystyle {X\mathrm{}}^{}}$ T$${ $displaystyle (X^{\mathrm {T} }X)^{-1}X^{\mathrm {T}}}$는 X의 무어 펜로즈 유사 역행렬로 알려져 있습니다.이 공식에서 행렬 역행렬을 사용하려면 X가 완전 순위여야 한다. 즉, 다른 설명 변수들 사이에 완벽한 다중 공선성이 존재하지 않는다(즉, 다른 변수들로부터 완벽하게 예측될 수 있는 것은 없다).이 경우, 특이치 분해를 이용해 의사 역수를 계산할 수 있다.

설명 변수

예측되는 결과(의존 변수)는 랜덤 변수라고 가정하지만 설명 변수 자체는 랜덤으로 가정하지^{[citation needed]} 않습니다.대신, 고정값으로 가정하고 임의의 변수(예: 결과)는 그에 따라^{[citation needed]} 조건부인 것으로 가정한다.그 결과, 데이터 분석가는 주어진 설명 변수의 여러 복사본을 각각 다른 함수를 사용하여 변환하는 등 임의의 방법으로 설명 변수를 자유롭게 변환할 수 있습니다.다른 일반적인 기법은 두 가지(때로는 그 이상) 기존 설명 변수의 곱을 취함으로써 상호작용 변수의 형태로 새로운 설명 변수를 만드는 것이다.

고정 비선형 함수 집합을 사용하여 데이터 점의 값을 변환하는 경우 이러한 함수를 기본 함수라고 합니다.예를 들어, 선형 예측 함수를 사용하여 다양한 검정력에 대응하는 다중 설명 변수를 추가하여 두 데이터 포인트 세트(즉, 단일 실값 설명 변수와 관련 실값 종속 변수) 사이의 임의의 차수의 다항 관계를 적합시키는 다항식 회귀가 있다.기존 설명 변수의 경우.수학적으로 폼은 다음과 같습니다.

$\displaystyle y_{i}=\cdots _{0}+\cdots _{1}x_{i}+\cdots +\cdots _{p}x_{i}^{p}.}$

이 경우 각 데이터 포인트i에 대해 다음과 같이 설명 변수 세트가 생성됩니다.

$\displaystyle(x_{i1}=x_{i}=x_{i}^2},\displays \ldots,\displays x_{ip}=x_{i}^p}}}$

그런 다음 표준 선형 회귀가 실행됩니다.이 예의 기본 함수는 다음과 같습니다.

$\displaystyle {\boldsymbol {phi }}(x)=(\phi _{1}(x),\ldots,\phi _{p}(x)=(x,x^{2},\ldots,x^{p}).}$

다음 예시는 선형 예측기 함수가 실제로 처음보다 훨씬 강력할 수 있음을 보여 줍니다.계수에 선형만 있으면 됩니다.설명 변수의 모든 종류의 비선형 함수는 모형에 의해 적합될 수 있습니다.

기본 함수에 대한 입력이 일변량 또는 단일 차원일 필요는 없다(또는 그러한 경우 K 차원 출력 값은 K 개별 스칼라-출력 기준 함수로 취급될 가능성이 높다).예를 들어, RBF(방사형 기준 함수)는 일정한 점까지의 거리의 변환된 버전을 계산합니다.

$(\displaystyle \phi(\mathbf {x};\mathbf {c})=\phi(\mathbf {x} -\mathbf {c})=\phi(\displayrt {(x_{1}-c_{1})^2}+\ldots +(x_{K}-c_{K})^{2}})}}}}}})$

예를 들어 정규 분포와 동일한 함수 형태를 가진 가우스 RBF가 있습니다.

$\displaystyle \phi(\mathbf {x};\mathbf {c})=e^{-b \mathbf {x} -\mathbf {c}^{2}}$

c로부터의 거리가 커짐에 따라 급격히 감소합니다.

RBF를 사용할 수 있는 방법은 관찰된 모든 데이터 포인트에 대해 RBF를 작성하는 것입니다.즉, 새로운 포인트가 RBF가 적용된 포인트에 근접하지 않는 한 새로운 데이터 포인트에 적용되는 RBF의 결과는 0에 가깝습니다.즉, 반지름 기준 함수를 적용하면 가장 가까운 점이 선택되고 해당 회귀 계수가 우세합니다.결과는 가장 가까운 인접 보간법의 한 형태가 될 것이다. 여기서 예측은 가장 가까운 관측 데이터 점의 예측을 사용하여 이루어지며, 모든 거리가 유사한 복수의 인근 데이터 점 간에 보간할 수 있다.이러한 유형의 가장 가까운 예측 방법은 종종 표준 선형 회귀 분석에서 사용되는 예측 유형과 정반대로 간주됩니다.그러나 실제로 선형 예측 함수에서 설명 변수에 적용할 수 있는 변환은 매우 강력하여 가장 가까운 인접 방법조차 선형 회귀의 한 유형으로 구현할 수 있습니다.

계수를 선형으로 보이는 새 계수로 변환하여 계수에 비선형적으로 보이는 일부 함수를 적합시킬 수도 있습니다.예를 들어 a${\displaystyle }$+ ${\displaystyle {}^{}}$ ${\displaystyle {2\mathrm{}}^{}}$ ${\displaystyle x_{}}$ ${\displaystyle {\mathrm{i}}_{}}$1 + ${\displaystyle c{}_{}}$ x ${\displaystyle {\mathrm{i}}_{}}$ 2$$\ $displaystyle$a + $b^$ { $2$ }$형식$의 함수입니다.}${\displaystyle \mathrm{x\_}}$${$i1$}+{\displaystyle {$c$}x_{$i2$$}}, 계수 a, b$c$ $displaystyle$${\displaystyle {a\mathrm{}}^{}}$$, b$${\displaystyle {}^{}}$ ${\displaystyle {}^{}}$ }, $=$c, {$displaystyle b'= b^{2$}, c'=$brt{$c}, i${\displaystyle {\}}^{}}$에 ${\displaystyle {대한}_{}}$ 적절한 선형 함수로 변환할 수 있다$.$$$ 선형입니다.선형 회귀 분석 및 이와 유사한 기법을 적용할 수 있으며 여전히 최적의 계수를 찾을 수 있지만 오차 추정치 등은 잘못될 수 있습니다.

설명 변수는 실수값, 이진수, 범주형 등 모든 유형일 수 있습니다.주요 구분은 연속 변수(예: 소득, 연령, 혈압 등)와 이산 변수(예: 성별, 인종, 정당 등)이다.두 개 이상의 가능한 선택을 참조하는 이산형 변수는 일반적으로 더미 변수(또는 지시형 변수)를 사용하여 코드화된다. 즉, 이산형 변수의 각 가능한 값에 대해 값 0 또는 1을 취하는 별도의 설명형 변수가 생성되며, 1은 "변수가 주어진 값을 가지며" 0은 "변수는 t를 가지지 않는다"를 의미한다.그는 가치를 부여했다.예를 들어, 가능한 값이 "A, B, AB, O"인 혈액형의 4원 이산 변수는 "is-A, is-B, is-AB, is-O"라는 별도의 2원 더미 변수로 변환된다. 여기서 이들 중 하나만 값이 1이고 나머지는 모두 0이다.따라서 이산형 변수의 가능한 각 값에 대해 별도의 회귀 계수를 일치시킬 수 있습니다.

K 범주의 경우 모든 K 더미 변수가 서로 독립적이지 않습니다.예를 들어, 위의 혈액형 예에서는 4개의 더미 변수 중 3개만이 독립적이며, 그 중 3개의 변수의 값이 알려지면 4번째 변수가 자동으로 결정된다는 점에서 독립적이다.따라서 네 가지 가능성 중 세 가지를 더미 변수로 부호화하기만 하면 됩니다.실제로 네 가지 가능성이 모두 부호화되면 전체 모델은 식별할 수 없게 됩니다.이로 인해 선형 회귀 분석에서 사용되는 단순 폐쇄형 솔루션과 같은 여러 가지 방법에 문제가 발생합니다.해결책은 더미 변수 중 하나를 제거하여 이러한 경우를 방지하거나 정규화 제약 조건을 도입하는 것이다(최적의 계수를 찾는 보다 강력하고 전형적으로 반복적인 방법이 필요하다).

「 」를 참조해 주세요.

• 선형 모형
• 선형 회귀

레퍼런스