로지스틱 회귀 분석

통계학에서 (이진수) 로지스틱 모형(또는 로짓 모형)은 사건에 대한 로그 오드(확률의 로그)를 하나 이상의 독립 변수("예측 변수")의 선형 조합으로 하여 하나의 사건(두 가지 대안 중)이 발생할 확률을 모형화하는 통계 모형입니다.회귀 분석에서 로지스틱 회귀^[1] 분석(또는 로짓 회귀 분석)은 로지스틱 모형의 모수(선형 조합의 계수)를 추정합니다.공식적으로 이항 로지스틱 회귀 분석에는 단일 이항 종속 변수가 존재하며, 여기서 두 값은 "0"과 "1"로 레이블이 지정되며, 독립 변수는 각각 이항 변수(지시 변수에 의해 코드화된 두 클래스) 또는 연속 변수(실제 값)일 수 있습니다.라벨이 붙은 값의 대응 확률은 0(확실히 "0" 값)과 1(확실히 "1" 값) 사이에서 다를 수 있습니다.따라서 라벨은 ^[2]log-odds를 확률로 변환하는 함수는 로지스틱 함수이므로 이름이 됩니다.log-ods 척도의 측정 단위는 로지트(logit)라고 하며 로지스틱 단위에서는 로지트(logit)로 불리므로 대체 이름이 사용됩니다.①배경 및 ②정식수학의 정의, ③예시를 참고하세요.

이진 변수는 팀이 우승할 확률 등 특정 클래스 또는 이벤트가 발생할 확률을 모델링하기 위해 통계에서 널리 사용되고 있으며( § 어플리케이션 참조), 로지스틱 모델은 ^[3]약 1970년부터 이진 회귀에 가장 일반적으로 사용되어 왔다.가능한 값이 세 개 이상인 경우(예: 이미지가 고양이, 개, 사자 등) 이항 로지스틱 회귀 분석에서 다항 로지스틱 회귀 분석으로 일반화된 경우 이항 로지스틱 회귀 분석에서 범주형 변수로 일반화할 수 있습니다.여러 범주가 정렬된 경우 순서형 로지스틱 회귀 분석(예: 비례 오즈 순서형 로지스틱^[4] 모형)을 사용할 수 있습니다.추가 확장에 대해서는, 「확장」을 참조해 주세요.로지스틱 회귀 모델 자체는 입력 측면에서 출력의 확률을 모델링할 뿐이지만 통계적 분류(분류자가 아님)를 수행하지 않는다. 예를 들어 컷오프 값을 선택하고 컷오프보다 확률이 큰 입력을 하나의 클래스로 분류하는 방법으로 사용할 수 있다.e other. 이것은 바이너리 분류자를 만드는 일반적인 방법입니다.

로지스틱 함수 대신 다른 Sigmoid 함수를 사용하는 이항 변수에 대한 유사한 선형 모형도 사용할 수 있습니다. 특히 프로빗 모형은 § 대안을 참조하십시오.로지스틱 모형의 정의적 특성은 독립 변수 중 하나를 늘리면 각 독립 변수가 자체 모수를 가지면서 주어진 결과의 오즈를 일정한 비율로 곱셈 스케일링한다는 것입니다. 이 값은 이항 종속 변수의 경우 오즈비를 일반화시킵니다.보다 추상적으로, 로지스틱 함수는 베르누이 분포의 자연 모수이며, 이러한 의미에서 실수를 확률로 변환하는 "가장 간단한" 방법입니다.특히 엔트로피를 최대화(추가 정보 최소화)하며, 이러한 의미에서 모델링되는 데이터에 대한 가장 적은 가정을 합니다. ② 최대 엔트로피를 참조하십시오.

로지스틱 회귀 분석의 모수는 가장 일반적으로 MLE(최대우도 추정)를 통해 추정됩니다.선형 최소 제곱과 달리 닫힌 형식 식이 없습니다. § 모형 적합을 참조하십시오.MLE에 의한 로지스틱 회귀 분석은 이항 또는 범주형 반응에 대해 일반 최소 제곱에 의한 선형 회귀(OLS)가 스칼라 반응에 대해 수행하는 것과 유사한 기본적인 역할을 합니다. 단순하고 잘 분석된 기준선 모형입니다. 자세한 내용은 § 선형 회귀 분석과의 비교를 참조하십시오.일반 통계 모델로서의 로지스틱 회귀는 원래 조셉 버크슨에 ^[5]의해 개발되고 대중화되었으며, 이는 버크슨(1944)에서 시작되었으며, 버크슨(1944)의 오류: "로짓(logit)"을 만든 CITEREF 버크슨(1944(도움말)에서 비롯되었다.

시리즈의 일부
회귀 분석
모델
선형 회귀 단순 회귀 다항식 회귀 분석 일반 선형 모형
일반화 선형 모형 개별 선택 이항 회귀 분석 이항 회귀 로지스틱 회귀 분석 다항 로지스틱 회귀 분석 혼합 로짓 프로빗 다항 프로빗 주문된 로짓 순서 프로빗 포아송
다단계 모형 고정 효과 랜덤 효과 선형 혼합 효과 모형 비선형 혼합 효과 모형
비선형 회귀 분석 비모수 반파라메트릭 견고. 양분위수 아이소토닉 주요 컴포넌트 최소 각도 현지의 세그먼트화
변수 오류
견적
최소 제곱 선형 비선형
보통의 가중치 일반화
부분적 총 음이 아닌 능선 회귀 정규화
최소 절대 편차 반복 재중량화 베이지안 베이지안 다변량 최소 제곱 스펙트럼 분석
배경
회귀 검증 평균 및 예측 반응 오차 및 잔차 적합도 학생화 잔차 가우스-마르코프 정리
수학 포털
v t

적용들

로지스틱 회귀 분석은 기계 학습, 대부분의 의학 분야 및 사회 과학을 포함한 다양한 분야에서 사용됩니다.예를 들어, 부상 환자의 사망률을 예측하는 데 널리 사용되는 외상 및 부상 심각도 점수(TRISS)는 원래 Boyd가 로지스틱 회귀 분석을 사용하여 개발했다.^[6]환자의 중증도를 평가하는 데 사용되는 다른 많은 의료 척도가 로지스틱 ^{[7][8][9][10]}회귀 분석을 사용하여 개발되었습니다.로지스틱 회귀를 사용하여 환자의 관찰된 특성(나이, 성별, 체질량 지수, 다양한 혈액 검사 결과 등)을 바탕으로 특정 질병(예: 당뇨병, 관상동맥 심장병)의 발병 위험을 예측할 수 있다.^[11][12]또 다른 예는 네팔 유권자가 나이, 소득, 성별, 인종, 거주지, 이전 선거에서의 투표 등을 ^[13]기준으로 네팔 의회나 네팔 공산당 또는 기타 정당에 투표할지를 예측하는 것이다.이 기술은 엔지니어링에서도 사용할 수 있으며, 특히 주어진 프로세스, 시스템 또는 ^[14][15]제품의 고장 확률을 예측하기 위해 사용됩니다.고객의 상품 구매 성향 예측, 구독 중단 ^[16]등 마케팅 애플리케이션에도 활용됩니다.경제학에서, 그것은 한 사람이 결국 노동력을 갖게 될 가능성을 예측하는 데 사용될 수 있고, 사업 적용은 주택 소유자가 담보대출을 연체할 가능성을 예측하는 것이다.로지스틱 회귀를 순차적 데이터로 확장한 조건부 랜덤 필드는 자연 언어 처리에 사용됩니다.

예

문제

간단한 예로 설명 변수 하나와 범주 두 개가 포함된 로지스틱 회귀 분석을 사용하여 다음 질문에 답할 수 있습니다.

20명의 학생들이 시험을 위해 0시간에서 6시간을 공부한다.공부하는 시간이 학생이 시험에 합격할 확률에 어떤 영향을 미칩니까?

이 문제에 로지스틱 회귀 분석을 사용하는 이유는 "1"과 "0"으로 표시되는 종속 변수의 통과 및 실패 값이 기수가 아니기 때문입니다.문제가 변경되어 합격/실패가 등급 0-100(카드 번호)으로 대체되면 간단한 회귀 분석을 사용할 수 있습니다.

이 표에는 각 학생이 공부한 시간과 합격한 시간(1) 또는 실패한 시간(0)

시간(xk)	0.50	0.75	1.00	1.25	1.50	1.75	1.75	2.00	2.25	2.50	2.75	3.00	3.25	3.50	4.00	4.25	4.50	4.75	5.00	5.50
합격(yk)	0	0	0	0	0	0	1	0	1	0	1	0	1	0	1	1	1	1	1	1

연구 시간(x_k)과 검정 결과(합격의 경우 y = 1, 불합격의 경우 0)로_k 구성된 데이터에 로지스틱 함수를 적합하려고 합니다.데이터 포인트는 k ${\displaystyle =}$ $(\displaystyle$ k$=1$)에서 k ${\displaystyle =}$ ${\displaystyle K}$ ${\displaystyle =}$ $(\displaystyle$ k$=K=20$까지 이어지는 첨자 k로 인덱싱됩니다.x 변수를 "설명 변수"라고 하고 y 변수를 "범주 변수"라고 하며, 범주 값 1과 0에 각각 해당하는 "통과" 또는 "실패"의 두 범주로 구성됩니다.

모델

로지스틱 함수는 다음과 같은 형식입니다.

${\displaystyle p(x)=sylfrac {1}{1+e^{-(x-\mu)/s}}}}$

여기서 μ는 위치 파라미터(곡선의 중간점, $여기$서 p${\displaystyle (\mu )}$ $=$ / $({displaystyle$p(\$mu$)=$1/2$ s는 스케일 파라미터입니다.이 표현은 다음과 같이 고쳐 쓸 수 있습니다.

${\displaystyle p(x)=syslogfrac {1}{1+e^{-(\syslog_{0}+\syslog_{1}x}}}}$

$여기$서 ${\displaystyle {\beta \mathrm{}}_{}}$ 0 ${\displaystyle =}$ -${\displaystyle \mu }$ /$$ {$style \display$ _ ${$0} = -\$mu / s$ }이며$$ 절편($y{\displaystyle }$ ${\displaystyle =}$ ${\displaystyle {\beta \mathrm{}}_{}{}_{}}$ + ${\displaystyle {\beta \mathrm{}}_{}}$ ${\displaystyle {}_{}}$x {$displaystyle$ y = \$display$ _ ${0}$ + \$display$_ {1$}$$x{\displaystyle {}_{}}$$}$ ) 및 ${\displaystyle {\beta \mathrm{}}_{}}$ ${\displaystyle 1}$ $=$ 1 /$$ / s ({$styledisplay$\ $display style$ \ disparamescale \ {$1/s$}) 스케일)$$이라고 합니다.x의 함수로서 로그값의 y값과 기울기. 반대로, ${\displaystyle {}_{}=}$ - ${\displaystyle {\beta \mathrm{}}_{}0{}_{}}$ / ${\displaystyle {\beta \mathrm{}}_{}}$1 {$displaystyle$ \mu ${\displaystyle =}$ -\$display_{0}$ /\$display_$${1}$ $및$ ${\displaystyle \mathrm{s}}$= ${\displaystyle {1\mathrm{}}_{}}$ /$β$ 1 {$style$ s$=$1 /\$display_{1$

맞다

로지스틱 회귀 분석에 대한 일반적인 적합도 측도에서는 음의 로그 우도인 로지스틱 손실(또는 로그 손실)을 사용합니다.특정_k x 및_k y에 대해 p ${\displaystyle k_{}}$ $=$ ( ${\displaystyle x_{}}$k$$) { $displaystyle p_{k$}=$p(x_{k})}$라고 $입력$합니다.${\displaystyle p_{}}$ k$(\$})는 $대응$하는 ${\displaystyle y_{}}$k(\$displaystyle y_{k})$가 단일성이 될 확률이며${\displaystyle ,}$ ${\displaystyle {1-p}_{}}$ k$(\$는 0이 될 확률입니다(베르누이 분포 참조).데이터에 가장 적합한 ${\displaystyle {\beta \mathrm{}}_{}}$ 0$({$ $및$ ${\displaystyle {\beta \mathrm{}}_{}}$1({$displaystyle\beta_{1})$ 값을$$ $찾습니다{\displaystyle {}_{}}$.선형 회귀 분석의 경우 데이터 점으로부터의 적합치 편차 제곱합(y_k)인 오차 손실 제곱이 적합도의 측정값으로 간주되며, 이 함수를 최소화할 때 최적 적합치를 구합니다.

k번째 지점의 로그 손실은 다음과 같습니다.

${\displaystyle {case} - \ln p_{k} & {\text{ if }y_{k} = 1,\\-ln(1-p_{k}) & {\text{ if }y_{k} = 0.\end {case}}$

로그 손실은 $예측{\displaystyle {}_{}}$ ${\displaystyle p_{}}$ k$({$displaystyle $p_{k$에 대한 실제 $결과{\displaystyle {}_{}}$ y $({$$displaystyle$ $y_{k$})의$$ "대략"으로 해석할 수 있으며, 이는 정보 내용의 척도입니다.로그 손실은 항상 0보다 크거나 같으며, 완벽한 예측(${\displaystyle {예}_{}}$: p k $=$ {$displaystyle$ $p_{k$}=1$\}$ ${\displaystyle \mathrm{및}}$ ${\displaystyle y_{}}$ k $=$ 1$${displaystyle $y_{k$}=$1$} 또는 ${\displaystyle p_{}}$ k ${\displaystyle {}_{}}$ {$displaystyle p_$${$$k$} $$$=$ $0}$ $및{\displaystyle {}_{}}$$$ ${\displaystyle y_{}}$ $=$ ${\displaystyle 0}$ $displaystyledisplay y_k$})인 경우에만 0과 같습니다.ts는 더 나쁨(${\displaystyle {예}_{}}$: y k $=$${\displaystyle 1}$ {$displaystyle y_{k$}=$1}$ 및$$ $p{\displaystyle {}_{}}$ ${\displaystyle k_{}}$ $→$$$0 {$displaystyle p_{k}\to$ 0$}$ $또는$ y ${\displaystyle k_{}}$ ${\displaystyle {}_{}}$ {$displaystyle y_{$$k$}=$0}$ 및$$ $p{\displaystyle {}_{}}$ ${\displaystyle k_{}}$ ${\displaystyle {}_{}}$ {$displaystyle p_{k}\$$to$1)을 의미하며, 실제 결과는 "더 놀랍습니다."로지스틱 함수의 값은 항상 0과 1 사이이므로 로그 손실은 항상 0보다 크고 무한대보다 작습니다.참고는 yk{\displaystyle y_{k}}은 0또는 1이지만 0<>안 k<1{\displ부터 물류 회귀에 어떠한 지점에서 0의 손실이 될 수 없는은 어디서 모델은 지점에서 데이터 지점(그리고 만약 모든 점 선 위 제로 손실 전체다)를 지나는 0의 손실일 수 있는 선형 회귀, 때와는 다르게.aysty$le$ 0 < $p$_ { $k }$<$1$ 。

이것들은 1개의 식에 조합할 수 있습니다.

$\displaystyle -y_{k}\ln p_{k}-(1-y_{k})\ln(1-p_{k}).}$

이 표현은 실제 분포$({\displaystyle y_{}}$k${\displaystyle ,}$(${\displaystyle 1}$${\displaystyle }$- ${\displaystyle p_{}}$$$k$)$에서 예측된${\displaystyle }$분포(\$style {big (}$p_$${k}, $(1$- p_{k}){\$})$의 교차 엔트로피로 더 공식적으로 알려져 있습니다.\$style {big$( ) y _ {$k}$ , (1 - ${\displaystyle {}_{}{k}_{}}$)$$} ) 。확률, ${\}$。(합격, 실패)의 ement space.

총 손실의 합계는 전체 마이너스 로그${\displaystyle }$우도$$ {\$displaystyle -\ell$이며,${\displaystyle }$${\displaystyle {\beta \mathrm{}}_{}}$ 0$(\displaystyle$ \$beta$_{$0})$과 ${\displaystyle \beta }$$$1(\$displaystyle \beta$ _${1$}) $중$에서 - ${\$ {\$displaystyle -\ell}$이 최소화된 경우에 가장 적합합니다.

또는 손실을 최소화하는 대신 역(양수) 로그 우도를 최대화할 수 있습니다.

$\displaystyle \ell = \sum _ {k:y_{k}=1}\ln(p_{k})+\sum _{k}=\sum _{k}\left(,y_{k}\ln_{k}+(1-p_{k})$

또는 특정 로지스틱 함수에 의해 특정 데이터 집합이 생성될 확률인 우도 함수 자체를 동등하게 최대화합니다.

${\displaystyle L=\prod _{k:y_{k}=1}p_{k},\display_{k}=0}(1-p_{k})}$

이 방법을 최대우도 추정이라고 합니다.

모수 추정

${\displaystyle {\beta \mathrm{}}_{}}$ 0$(\style$ \$beta _{$0$$}) $및{\displaystyle {}_{}}$ ${\displaystyle {\beta \mathrm{}}_{}}$1(\$displaystyle \beta$ _${1$에서는 θ가 비선형이기 때문에 최적값을 결정하려면 수치적 방법이 필요하다.β를 최대화하는 방법 중 하나는 ${\displaystyle {\beta \mathrm{}}_{}}$ 0$(\$ _${0})$ $및$ ${\displaystyle {\beta \mathrm{}}_{}}$1(\$displaystyle \beta$ _${1})$에 $대한{\displaystyle {}_{}}$ β의 도함수를 0으로 하는 것입니다.

$({displaystyle 0=module\ell}{\display\frac_{0}}=\sum_{k=1}^{K}(y_{k}-p_{k})})$

${\displaystyle 0=syslogfrac {\syslog \frac _{1}=\sum _{k}^{K}(y_{k}-p_{k})x_{k}$

그리고 최대화 절차는 ${\displaystyle {\beta \mathrm{}}_{}}$ 0$({$0$$})과 β$$1({$displaystyle\display_{$1$\})$에 대해 위의 두 가지 방정식을 풀면 달성될 수 있으며, 이는 일반적으로 수치적 방법을 사용해야 한다.

위의 데이터를 사용하여 β와 L을 최대화하는 ${\displaystyle {\beta \mathrm{}}_{}}$ 0$(\$ _${0})$ $및$ ${\displaystyle {\beta \mathrm{}}_{}}$1(\$displaystyle \beta$ _{$1})$의 $값$은 다음과 같습니다.

$\displaystyle _{0}\약 -4.1}$

$\displaystyle _{1}\약 1.5$

μ 및 s의 값은 다음과 같습니다.

$\displaystyle \mu =-\display_{0}/\display_{1}\약 2.7$

${\displaystyle s=1/\display_{1}\약 0.67}$

예측

로지스틱 회귀 방정식에 ${\displaystyle {\beta \mathrm{}}_{}}$ 0$(\$ _${0})$ $및$ ${\displaystyle {\beta \mathrm{}}_{}}$1(\$displaystyle \beta$ _{$1})$ 계수를$$ $입력$하여 시험에 합격할 확률을 추정할 수 있습니다.

예를 들어, 2시간 공부하는 학생의 경우 x ${\displaystyle =}$ $(\displaystyle$ x$=2$) $값$을 방정식에 입력하면 시험에 합격할 확률이 0.25로 추정됩니다.

${\displaystyle t=\cdot _{0}+2\cdot _{1}\약 -4.1+2\cdot 1.5=-1.1}$

${\displaystyle p=paramfrac {1}{1+e^{-t}}\약 0.25=paramtext{시험 합격 확률}}}$

마찬가지로 4시간 공부하는 학생의 경우 시험에 합격할 확률은 0.87입니다.

${\displaystyle t=\cdot _{0}+4\cdot _{1}\약 -4.1+4\cdot 1.5=1.9}$

${\displaystyle p=paramfrac {1}{1+e^{-t}}\약 0.87=paramtext{시험 합격 확률}}}$

이 표는 몇 시간 동안 공부할 수 있는 예상 합격 확률을 보여 줍니다.

몇시간. 연구중인 (x)	합격시험
	로그오드(t)	확률(et)	확률(p)
1	−2.57	0.076 ≈ 1:13.1	0.07
2	−1.07	0.34 ≈ 1:2.91	0.26
$\displaystyle \mu \약 2.7$	0	1	${\displaystyle \frac{1}{}}$ 2$($ 스타일${tfrac {1}{2$}}) =$$ 0.50
3	0.44	1.55	0.61
4	1.94	6.96	0.87
5	3.45	31.4	0.97

모델 평가

로지스틱 회귀 분석에서는 다음과 같은 출력을 제공합니다.

	계수	표준 오류	z값	p-값(Wald)
가로채기(β0)	−4.1	1.8	−2.3	0.021
시간(β1)	1.5	0.6	2.4	0.017

Wald 테스트에 따르면, 출력은 학습 시간이 시험에 합격할 확률과 유의하게 관련되어 있음을 ${\displaystyle }$( p $=$ 0.${\displaystyle 017}$ ${style p= 0.$017}).$$Wald 방법보다 로지스틱 회귀 분석의 p-값을 계산하는 데 권장되는^{[citation needed]} 방법은 우도비 검정(LRT)이며, 이 데이터의 ${\displaystyle \mathrm{경우}}$ p${\displaystyle }$000 0$.$ {\$display$ p$\approx$ 0$.00064}$가 $됩니다{\displaystyle }$(아래 적합치의 오류 및 유의성 참조).

일반화

이 단순 모형은 이항 로지스틱 회귀 분석의 한 예제이며 두 범주형 값 중 하나를 가정할 수 있는 하나의 설명 변수와 이항 범주형 변수가 있습니다.다항 로지스틱 회귀 분석은 이항 로지스틱 회귀 분석을 일반화하여 설명 변수와 범주 수를 모두 포함하는 것입니다.

배경

로지스틱 함수의 정의

로지스틱 회귀 분석에 대한 설명은 표준 로지스틱 함수에 대한 설명으로 시작할 수 있습니다.로지스틱 함수는 임의의 실제 $입력{\displaystyle }$ t${displaystyle$ t$\}$를 사용하여 0과 ^[2]1 사이의 값을 출력하는 Sigmoid 함수입니다.로짓의 경우 이는 입력 로그오드를 취득하여 출력확률을 갖는 것으로 해석됩니다.$표준{\displaystyle }$ 로지스틱 함수 ${\displaystyle :}$ : ${\displaystyle R\mathbb{}}$ ${\displaystyle \to }$ ( ${\displaystyle 0}$,${\displaystyle 1}$) { $displaystyle \ mathbb {R}$ \ $rightarrow ( 0$ ,$1$ ) }는$$ 다음과 같이 정의됩니다.

$\displaystyle \display ( t ) = flac {e^{t} {e^{t}+1} = flac {1} {1+e^{-t}}$

t 간격(-6,6)에 대한 로지스틱 함수의 그래프는 그림 1에 나와 있습니다.

t$\displaystyle$t는$$ 단일 설명 $변수{\displaystyle }$ x$\displaystyle$ x$\$displaystyle t의 선형 함수라고 $가정$합니다(t$\displaystyle$t가$$ 다중 설명 변수의 선형 조합인 경우 $마찬가지$로 처리됩니다).다음으로$$t\$displaystyle$t를$$ 다음과 같이 $표현$할 수 있습니다.

${\displaystyle t=\display_{0}+\display_{1}x}$

${\displaystyle 일반\mathbb{}}$ 로지스틱 $함수{\displaystyle }$p : R ${\displaystyle \to }$ ( ${\displaystyle 0}$, ${\displaystyle 1}$)$${$displaystyle$ p$:\mathbb {R}$ \$rightarrow (0,1)}$는 다음과 같이 쓸 수 있습니다.

${\displaystyle p(x)=\display(t)=syslogfrac {1}{1+e^{-(\display_{0}+\display_{1}x}}}}$

로지스틱 모델에서 p$)$ {$displaystyle$ p$(x)}$는 종속 $변수{\displaystyle }$Y {$displaystyle$ Y$}$가 실패/비사례가 아닌 성공/사례와 같을$$ 확률로 해석됩니다.응답 $변수{\displaystyle {}_{}}$ $(\$${$$i$})가$$ 동일한 분포를 보이지 않는 ${\displaystyle {것}_{}}$은 분명합니다${\displaystyle :}$ $P{\displaystyle }$(${\displaystyle {Yi}_{}}$ $=$ ${\displaystyle 1x}$X $)(\style$ P$(Y_{i$}= $1\mid$ X$)$는 하나의 데이터 $포인트{\displaystyle {}_{}}$ Xi$(\$ X_{$i$$})$와 다른 데이터 포인트 X(\$style$ X$)$는 서로 독립 설계 및 $공유됩니다.$$(\displaystyle\displaystyle$^[11]

로지스틱 함수의 역함수 정의

이제 로짓(로그 오즈) 함수를 표준 로지스틱 함수의 ${\displaystyle {\mathrm{역g}}^{}}$ ${\displaystyle =}$ ${\displaystyle {-}^{}}$ -$$ { $displaystyle$ g = \ $displays$^{-$1}$ 로$$ 정의할 수 있습니다.다음 사항을 충족하는 것을 쉽게 알 수 있습니다.

$\displaystyle g(p(x))=\syslog ^{-1}(p(x))=\operatorname {logit} p(x)=\ln \left\frac {p(x)}{1-p(x)}}\right)=\filter_{0}+\filter_{1}x,}$

마찬가지로, 양쪽을 지수화한 후 확률이 있습니다.

${\displaystyle {p(x)}{1-p(x)}}=e^{\display_{0}+\display_{1}x}.}$

이러한 용어의 해석

위의 방정식에서는 다음과 같은 용어를 사용합니다.

• $\displaystyle$g는$$ 로짓 함수입니다.g${\displaystyle (}$ ${\displaystyle p}$(${\displaystyle x}$)$${$displaystyle$ g$(p(x)}$ )의 방정식은 로짓(즉, 오즈의 로그 또는 자연 로그)이 선형 회귀식과 동등함을 나타냅니다.
• ${\displaystyle }$in ${$ $displaystyle \ln }$은 자연대수를 나타냅니다.
• ${\displaystyle p}$(${\displaystyle x}$) {$displaystyle$ p$(x)}$는 예측 변수의 선형 조합에 따라 종속 변수가 케이스와 같을 확률입니다.p${\displaystyle }$(${\displaystyle x}$ )$${$display$ p$(x)}$의 공식은 종속 변수가 대소문자와 같을 확률이 선형 회귀식의 로지스틱 함수 값과 같다는 것을 나타냅니다.이는 선형 회귀식의 값이 음수에서 양의 무한대까지 다를 수 있음을 나타내지만 변환 후 p$)\displaystyle$ p$(x)}$ $확률식$의 범위는 0과 1 사이라는 점에서 중요합니다.
• ${\displaystyle {\beta \mathrm{}}_{}}$ 0$(\$은 선형 회귀 방정식(예측 변수가 0일 때의 기준 값)의 절편이다.
• ${\displaystyle {\beta \mathrm{}}_{}}$ 1$$ (\ $displaystyle$\ $displaystyle$_ ${1}$x )는 회귀계수에 예측 변수의 값을 곱한 값입니다.
• $base{\displaystyle }$ e$\displaystyle$e는$$ 지수함수를 나타냅니다.

확률의 정의

종속 변수가 사건(예측 변수의 일부 선형 $조합{\displaystyle }$x {\$displaystyle$x})와 같을$$ 확률은 선형 회귀식의 지수 함수와 동일합니다.이것은 로짓이 확률과 선형 회귀 표현식 사이의 연결 함수 역할을 하는 방법을 보여 줍니다.로짓이 음의 무한대와 양의 무한대 사이에 있는 경우, 선형 회귀를 수행하기 위한 적절한 기준을 제공하고 로짓은 쉽게 ^[2]오즈로 다시 변환됩니다.

따라서 종속 변수가 사례와 동일한 확률을 다음과 같이 정의한다(예측 변수의 $선형{\displaystyle }$ 조합$$x(\$displaystyle$x$$)).

${\displaystyle\text{param}=e^{\display_{0}+\display_{1}x}.}$

승산비

연속 독립 변수의 경우 승산비는 다음과 같이 정의할 수 있습니다.

이 이미지는 콘텐츠의 "예" 섹션에 있는 테스트 점수 예제와 더불어 템플릿을 통해 승산비가 어떻게 표시되는지 개략적으로 나타냅니다.간단히 말해서, 만약 우리가 2대 1의 승산비를 얻는다면..."연구 시간이 1단위 증가할 때마다 (그룹 1) 합격 또는 불합격할 확률은 (예상) 2대 1입니다(Denis, 2019).

${\displaystyle \mathrm {OR} = frac {operatorname {operatorname {operatorname {p(x+1)} = frac {p(x+1)} {1-p(x)} {\right} {\frac {p(x)} {1-p(x)} {p} {p} {p} {p} {\right} {\fright}}}= he^{\flac_{0}+\flac_{1}(x+1)}}}{e^{\flac_{0}+\flac_{1}}=e^{\flac_{\flac_{1}}}}$

이 지수관계는 ${\displaystyle {\beta \mathrm{}}_{}}$1(\$displaystyle \beta$ _${1$ ^[17]x가 1단위 증가할 때마다 확률은 ${\displaystyle {e{}_{}}^{}}$ ${\displaystyle {{\beta \mathrm{}}_{}}^{}}$1(\$displaystyle$ e$^{\beta _1})$을 곱한다.

2진수 독립 변수의 경우 승산비는 ${\displaystyle \frac{\mathrm{db}}{}}$c(\$displaystyle\frac {ad}{$bc})로 정의됩니다.여기서 a, b$,$ c 및 d는 2×2 분할표 ^[18]내의 셀입니다.

다중 설명 변수

복수의 설명 변수가 있는 경우 위의 $식{\displaystyle {}_{}}$ ${\displaystyle {\beta \mathrm{}}_{}}$ ${\displaystyle {}_{}{}_{}}$+ ${\displaystyle {\beta \mathrm{}}_{}}$ 1$$ {$0}$ + \ $display$ style$_ {1}$ x } + β 2 ${\displaystyle {x\mathrm{}}_{}{2\mathrm{}}_{}}$+${\displaystyle {\beta }_{}}$ ${\displaystyle {}_{}{}_{}}$ ${\displaystyle {}_{}{}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle {}_{}{}_{}{\beta }_{}}$ 0${\displaystyle {}_{}}$+${\displaystyle \underset{\beta }{\overset{}{}}}$ i$$ ${\displaystyle \underset{}{\overset{}{}}}$ ${\displaystyle {}_{}{}_{}}$ ${\displaystyle x_{}}$ i \$display$ style \ {$0}$ + \ $display$ style _ { 1 }$$$x$ { 1 } x { $1 }$로 $수정$할 수 있다.$베타$ _${0}+\sum$_{$i=1}^{m}\beta$_{$i}x_{i$이 값을 예측 변수의 값에 대한 로그 확률과 관련된 방정식에 사용할 경우 선형 회귀는 m개의 설명자를 사용한 다중 회귀가 됩니다. $모든{\displaystyle }$ j ${\displaystyle =}$ $0$,${\displaystyle 1}$,${\displaystyle 2}$,$…,$ ${\displaystyle m}$ {\$displaystyle$$$j=$0,$1$,$ $2,\$display, $m}$에 대한 ${\displaystyle {매개변수}_{}}$ β$j$ \$displaystyle _{$j$$}}은 모두 추정됩니다.

기존 방정식은 다음과 같습니다.

${\displaystyle \log {frac {p} {1-p}=\display_{0}+\display_{1}+\display_{2}x_{cdots +\display_{m}$

그리고.

${\displaystyle p={1+b^{-(\display_{0}+\display_{1}+\display_{2}x_{2}+\cdots +\display_{m}x_{m}}}}}}$

$여기$서 보통 b ${\displaystyle =}$ {\$displaystyle$ b$=e$입니다.

정의.

로지스틱 회귀 분석의 기본 설정은 다음과 같습니다.N개의 포인트가 포함된 데이터 세트가 제공됩니다.나는 m입력 변수의 집합으로 구성되어 있각 지점은..., 이진 결과 변수 이 씨(또한 종속 변수, 응답 변수, 출력 변수 또는 클래스라고도), 즉 그것이 두가지 가능한 값은 0(종종 의미" 없"또는"실패")을 취할 수 있는xm,i(또한 독립 변수, 예언자라고 변수 기능 또는 특성이라고 불렀다)x1,i. 또는 1("예" 또는 "성공"을 의미하는 경우가 많습니다.로지스틱 회귀 분석의 목적은 데이터 집합을 사용하여 결과 변수의 예측 모형을 생성하는 것입니다.

선형 회귀 분석과 마찬가지로 결과 변수_i Y는 설명 변수_1,i x ...에 따라 달라지는 것으로 가정합니다.x_m,i 를 클릭합니다.

설명 변수

설명 변수는 실수값, 이진수, 범주형 등 모든 유형일 수 있습니다.주요 차이점은 연속형 변수와 이산형 변수 사이의 차이입니다.

(두 개 이상의 가능한 선택지를 참조하는 이산 변수는 일반적으로 더미 변수(또는 지시 변수)를 사용하여 코드화된다. 즉, 이산 변수의 각 가능한 값에 대해 값 0 또는 1을 갖는 별도의 설명 변수가 생성되며, 1은 "변수가 주어진 값을 가지고 있다"를 의미하고 0은 "변수가 존재하지 않는다"를 의미한다.e' 값).

결과 변수

공식적으로 결과_i Y는 베르누이 분포 데이터로 설명되며, 여기서 각 결과는 눈앞의 결과에 특정되지만 설명 변수에 관련된 관측되지 않은_i 확률 p에 의해 결정된다.이는 다음과 같은 동등한 형태로 나타낼 수 있습니다.

$디스플레이 스타일Y_{i}\mid x_{1,i},\ldots,x_{m,i}\&\sim \operatorname {Bernouli}(p_{i})\\operatorname {mathbb {E} } [Y_{i}\mid x_{1,i},\ldots,x_{m,i}]&=p_{i}\\\Pr(Y_{i}=y\mid x_1,i},\ldots,x_mi}&quot;p_i}&quot;$

이 4행의 의미는 다음과 같습니다.

1. 첫 번째 행은 각_i Y의 확률 분포를 나타냅니다. 설명 변수에 따라 조정되며, 모수_i p를 가진 베르누이 분포를 따릅니다. 이 분포는 시행 i의 경우 1의 결과 확률입니다.위에서 설명한 바와 같이, 각 재판은 각각의 설명 변수를 가지고 있듯이, 각각의 개별 재판은 그 자체의 성공 확률을 가지고 있다.성공 확률_i p는 관측되지 않으며, 그 확률을 사용한 개별 베르누이 실험의 결과만 관측된다.
2. 두 번째 선은 각 Y의_i 기대값이 베르누이 분포의 일반 특성인 성공 확률_i p와 같다는 사실을 나타냅니다.즉, 동일한 성공 확률_i p를 사용하여 많은 수의 베르누이 시험을 실행한 다음, 모든 1과 0 결과의 평균을 구하면 결과는 p에_i 가까울 것입니다.이것은 평균적인 방법으로 하는 것이 단순히 보이는 성공 비율을 계산하기 때문이고, 우리는 이것을 근본적인 성공 확률로 수렴할 것으로 예상하기 때문입니다.
3. 세 번째 줄은 베르누이 분포의 확률 질량 함수를 쓰고, 두 가지 가능한 결과를 각각 볼 확률을 지정합니다.
4. 네 번째 줄은 확률 질량 함수를 작성하는 또 다른 방법으로, 별도의 사례를 쓸 필요가 없고 특정 유형의 계산에 더 편리합니다.이것은 Y가 0 또는 1의 값만 취할 수 있다는 사실에_i 의존합니다.어느 경우든 지수 중 하나는 1로, 그 아래의 값을 "선택"하고 다른 하나는 0으로, 그 아래의 값을 "취소"합니다.따라서 결과는 앞의 행과 같이 p 또는 1 - p가_ii 됩니다.

선형 예측 함수

로지스틱 회귀 분석의 기본 개념은 선형 예측 함수를 사용하여 확률_i p를 모형화함으로써 선형 회귀 분석을 위해 이미 개발된 메커니즘을 사용하는 것입니다. 즉, 눈앞의 모형에 고유하지만 모든 시행에 동일한 설명 변수와 회귀 계수 집합의 선형 조합입니다.특정 데이터 포인트 i에 대한 선형 예측 $함수{\displaystyle }$ f$i)$ {$style f(i$)}는$$ 다음과 같이 작성됩니다.

$\displaystyle f(i)=\display_{0}+\display_{1}x_{1,i}+\cdots +\display_{m,i}$

$여기$서 ${\displaystyle {\beta \mathrm{}}_{}}$0 , ${\displaystyle ...}$ , ${\displaystyle {\beta }_{}}$m {\$displaystyle \dots$ _${0},\ldots ,\display$ _${m}}$은 결과에 대한 특정 설명 변수의 상대적 영향을 나타내는 회귀 계수이다.

모델은 일반적으로 다음과 같이 보다 컴팩트한 형태로 작성됩니다.

• 회귀 계수₀ β₁, β, ..., β는_m 크기 m + 1의 단일 벡터 β로 그룹화된다.
• 데이터점 i마다 절편계수₀ β에 대응하여 고정값 1의 추가설명 의사변수_0,i x를 가산한다.
• 그 결과 나타나는 설명 변수_0,i x, x_1,i, ..., x는_m,i 크기 m + 1의 단일 벡터_i X로 그룹화된다.

이를 통해 다음과 같이 선형 예측 변수 함수를 작성할 수 있습니다.

$\displaystyle f(i)=\cdot \mathbf {X} _{i}$

두 벡터 사이의 점곱에 대한 표기법을 사용합니다.

여러 가지 설명 변수, 두 가지 범주

하나의 설명 변수에 대한 이항 로지스틱 회귀 분석의 위의 예는 임의의 수의 설명 변수₁ x, x₂,... 및 임의의 수의 $범주형{\displaystyle }$ 값 y ${\displaystyle =}$ ${\displaystyle 0}$,${\displaystyle 1}$,$2$ y=$0, 1$, 2$,\displays$에 대한 이항 로지스틱 회귀 분석으로 일반화할 수 있습니다.

우선 설명 변수 x₁, x₂...가 M개인 로지스틱 모형을 고려할 수 있습니다.x_M 및 위의 예제와 같이 두 개의 범주형 값(y = 0 및 1)입니다.단순 이항 로지스틱 회귀 모델의 경우, 예측 변수와 ${\displaystyle \mathrm{y}}$ $=$ 1(\$displaystyle$ y$=1$인 이벤트의 로그 추출(로짓이라고도 함) 사이의 선형 관계를 가정했다.이 선형 관계는 M개의 설명 변수의 경우로 확장될 수 있습니다.

${\displaystyle t=\log _{b}{\frac {p}{1-p}=\flac _{0}+\flac _{1}x_{1}+\flac _{2}+\cdots +\flac _{M}}$

여기서 t는 $로그{\displaystyle {}_{}}$ 출력이고 ${\displaystyle {\beta }_{}}$i \ $displaystyle$\$display$ style _ { $i}$는 모델의 파라미터입니다.모델 b의 밑이 오일러 수 e로 제한되지 않는 추가적인 일반화가 도입되었다.대부분의 어플리케이션에서 로그의 b$(style$ b$)$는 보통 e로 간주됩니다.그러나 경우에 따라서는 Base 2 또는 Base 10에서 작업함으로써 결과를 보다 쉽게 전달할 수 있습니다.

보다 간결한 표기법을 위해 설명 변수와 β 계수를${\displaystyle }$(${\displaystyle M}$ ${\displaystyle +}$ ${\displaystyle 1}$)${displaystyle (M+1)}$ -차원$$ 벡터로 지정합니다.

${\displaystyle {x}=\{x_{0},x_{1},x_{2},\display,x_{M}\}$

${\displaystyle {\boldsymbol {\symbol }=\{0},\symbol _{1},\symbol _{M}\}$

추가 설명 변수₀ x =1을 포함합니다.이제 로짓은 다음과 같이 기록될 수 있습니다.

${\displaystyle t=\sum _{m=0}^{M}\beta _{m}x_{m}=\cdot x}$

y ${\displaystyle =}$ $(\displaystyle$ y$=1)$의 확률 p에 대한 해결:

${\displaystyle p}$(${\displaystyle x\mathit{}}$ ) ${\displaystyle \frac{{=}^{}}{}}$ ${\displaystyle \frac{{b\mathit{}}^{}}{{}^{}}}$ ${\displaystyle \frac{x^{}}{\mathrm{}}}$ 1 + b ${\displaystyle \frac{{\beta \mathit{}}^{}}{}}$ β ${\displaystyle \frac{{\beta \mathit{}}^{}}{}}$ x${\displaystyle \frac{{=}^{}}{}}$ ${\displaystyle {}_{}\frac{}{}}$+$b$ - ${\displaystyle {\beta }_{}\frac{{}^{}}{}}$x b ( t${\displaystyle }$)$$ ${\displaystyle S}$ b${\displaystyle {}_{}}$( t ) =$displaystyle p ^${\$boldsymbol {x}$=$cdot${\$boldsymbol {x} }$

${\displaystyle {여기}_{}}$서 S$$b(\$displaystyle S_{b})$는 $베이스{\displaystyle }$b(\$displaystyle$ b$)$의 Sigmoid 함수입니다.위의 공식은 ${\displaystyle {\beta }_{}}$ m$${{$displaystyle \displaystyle$ _${m}}$이 고정되면 특정 관측치에 대해 y ${\displaystyle =}$ {$displaystyle$ y=$1}$ 또는 $특정$ 관측치에 $대해{\displaystyle }$ y ${\displaystyle =}$ {$displaystyle$ y=$1}$의 확률을 쉽게 계산할 수 있음을 보여준다.로지스틱 모델의 주요 사용 사례는 관측치 x가 주어지고 ${\displaystyle \mathrm{y}}$ $=$ 1(\$displaystyle y$1)$일{\displaystyle }$ 확률 p(x)를 추정하는 것입니다.최적 베타 계수는 로그 우도를 최대화하여 다시 찾을 수 있습니다.K 측정의 경우 x를 k번째 측정의 설명 벡터로 정의하고_k y를 해당 측정의 범주적 결과로 정의하면_k 로그 우도는 위의 $단순{\displaystyle }$ M $=$ ${\displaystyle 1}$ {\$displaystyle$ M$=1}$ 경우와$$ 매우 유사한 형식으로 작성할 수 있습니다.

$(\displaystyle \ell =\sum _{k=1}^{K}\log _{b}(p4\boldsymbol {x_{k})+\sum _{k=1}^{K}(1-y_{k})\log _{b}(1-p440\boldsymbol {x_{k}}}}})}}}}}})$

위의 간단한 예시와 같이 최적의 β 매개변수를 찾으려면 수치적 방법이 필요합니다.유용한 기술 중 하나는 각 β 매개변수에 대한 로그 우도의 도함수를 0으로 등가시켜 로그 우도의 최대값에서 유지되는 일련의 방정식을 산출하는 것이다.

${\displaystyle {\frac \ell}{\frac \frac _{m}}=0=\sum _{k=1}y_{k}x_{mk}-\sum _{k=1}^{K}p({\boldsymbol {x}_{k}}})$

여기서_mk x는 k번째 측정에서 얻은 x 설명_m 변수의 값입니다.

M ${\displaystyle =}$ ${\displaystyle 2}${$displaystyle$ M$=$$2}$ 설명$$ 변수, $b{\displaystyle }$ ${\displaystyle =}$ ${\displaystyle 10}$ {$displaystyle$ b=$10}$ 및 $계수{\displaystyle {}_{}}$$$${\displaystyle {\beta \mathrm{}}_{}}$ ${\displaystyle {0\mathrm{}}_{}}$ $=$ -$$3 {$displaystyle \display_${${\displaystyle 0}$}=-$3$$$β 1$$1 {$displaystyle$ \$display_$${$$1$}=$1{\displaystyle {}_{}}$$\},$ ${\displaystyle \mathrm{\beta }}$ 2$$ 2$$= 2 {$style\$displaystyle\displaystyle\$display b= 10}$의 예를 생각해 보겠습니다.구체적으로 말하면, 모델은 다음과 같습니다.

${\displaystyle t=\log _{10}{\frac {p}{1-p}}=-3+x_{1}+2x_{2}}}$

$p$$ac {b^{\facebook_{0$}+\$facebook_{1$}+\$facebook_{2}}{1+b^{\$facebook_${0}+facebook_{1}+facebook_{1}=fac${1$}{1+b^{\facebook_{\fac$}_{{{0$}}}}$

여기서 p는 y ${\displaystyle =}$ $(\displaystyle$ y$=1$의 이벤트 확률입니다.이는 다음과 같이 해석할 수 있습니다.

• ${\displaystyle {\beta \mathrm{}}_{}}$ 0 $=$ - $({displaystyle \displaystyle$ _${0$}=-$3)$은 y자형입니다.예측 $변수{\displaystyle {}_{}}$ ${\displaystyle {x\mathrm{}}_{}}$ 1 ${\displaystyle {}_{}}$ ${\displaystyle {x\mathrm{}}_{}}$ 2 ${\displaystyle {}_{}}$ {{$displaystyle x_{1$}$$$= x_{2$}=0$\}$일 때 ${\displaystyle \mathrm{y}}$ ${\displaystyle {}_{}}$ ${\displaystyle {}_{}}$ {$displaystyle x_{$$1$} $=$ $0$ {$displaystyle x_{$2} ${\displaystyle =}$ 0$}$일 때 ${\displaystyle {이벤트}_{}}$의 로그 값입니다.{\$displaystyle$ 10$^{-3$ ${\displaystyle {마찬가지}_{}}$로 x ${\displaystyle {}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle {x\mathrm{}}_{}}$ ${\displaystyle 2}$ $=$ 0 {\$displaystyle x_{$1}=$x_{2$}=0$$$}$일 때 ${\displaystyle \mathrm{y}}$ $=$ 1 {$displaystyle y$$=$1$}$일$$ $확률$은 1${\displaystyle /(1000}$+${\displaystyle 1}$) ${\displaystyle =1}$/${\displaystyle 1001}$로 $계산$할 수 있습니다${\displaystyle \mathrm{.}}$${\displaystyle 1/(1000+1)=1/1001.$$}$
• ${\displaystyle {}_{}\mathrm{\beta }}$ 1$$$=$ 1 { $displaystyle$$\ displaystyle$ _ { $1$$$}$$$asing$ 、 ${\displaystyle {1\mathrm{}}_{}}$$${ $displaystyle x$_ {$$$1$$$}$$$asing{\displaystyle \mathrm{}}$$$$$ ${\displaystyle {\mathrm{that-1}}_{}}$$$${\displaystyle {the-1\mathrm{}}_{}}$ - x1$$$1{\displaystyle {}_{}}$ $x1{\displaystyle }$ 1 x1$${\${\displaystyle {1\mathrm{}}^{}}$ {\${\displaystyle 1^{}}$ display1$display$ 11 11 11 11 11 11 11 11 11 11 11 11 11 11 β1 、 $displaystyle$ 10 β1 β1 β1 β1 β1 β1 、t y ${\displaystyle =}$ $(\style$ y$=1$)의 확률도 증가했지만 증가 확률만큼 증가하지는 않았습니다.
• ${\displaystyle {\beta \mathrm{}}_{}}$ 2$$ ${\displaystyle 2}$ ($디스플레이$ 스타일$)_{2$} $= 2$$$($디스플레이$ 스타일 $x_{2})$가 1 $증가$하면 로그 지연이$$2 ({$displaystyle$$$2)$$$증가함$을 ${\displaystyle {\mathrm{의미}}_{}}$합니다. 따라서 ${\displaystyle {x\mathrm{}}_{}}$2 ({$displaystyle$ $x_{2})$가 1 증가하면 y =$1$($디스플레이 스타일$ y $=$ 1)의$$ ${\displaystyle {확률}^{}}$은 10$$(*$style$ 10$^$2)$만큼$ 증가합니다.ow x$$2({$displaystyle$x_$${2$})$의 $로그{\displaystyle {}_{}}$$$ 효과는 $x$1({$displaystyle x_$1})의 효과보다 2배 크지만 확률에 대한 효과는 10배 큽니다.$그러나$ y $= 1(디스플레이$ 스타일 y=1)의$$확률에 대한 효과는 10배만큼 크지 않습니다. 단지 확률에 대한 효과가 10배 더 큽니다.

다항 로지스틱 회귀 분석:많은 설명 변수와 많은 범주

위의 두 범주(이항 로지스틱 회귀 분석)의 경우, 범주는 "0"과 "1"로 색인화되었고, 두 가지 확률 분포가 있었다.결과가 카테고리 1에 속할 확률은 p$)$ {$displaystyle$ p$({\boldsymbol$${x$$}}})$로, 결과가 카테고리 0에 속할 확률은${\displaystyle 1}$- ${\displaystyle p\mathit{}(}$x$)$ {$displaystyle$ 1-p$({\boldsymbol {$x$\}\}\}\})$로 나타냅니다.두 확률의 합은 합계와 같습니다.

일반적으로, 만약 우리가 가진 M+1{M+1\displaystyle}는 변수(x0 포함)와 N+1{N+1\displaystyle}범주, 우리는+N은 확률 설명하기 위한 벡터에 대해는 단정적인 결과는 y를 설명하는 1{N+1\displaystyle}별도의 확률 분포, 각 범주에 대해, n로 인덱싱 되기 때문이다. xy=n 범주에 속합니다.또한 모든 범주에 걸쳐 이러한 확률의 합계가 통일성과 동일해야 한다.수학적으로 편리한 기저 e를 사용하면 다음과 같은 가능성이 있습니다.

$p$ n${\displaystyle {}_{}}$(${\displaystyle }$x ) ${\displaystyle =}$ ${\displaystyle \frac{{e{\mathit{}}_{}}^{}}{}}$ ${\displaystyle \frac{{{}_{}}^{}}{}}$ n${\displaystyle \frac{{{}_{}\beta }^{}}{\mathrm{}}}$x 1 +${\displaystyle \frac{\underset{u}{\overset{}{}}}{}}$ ${\displaystyle \frac{\underset{}{\overset{}{=}}}{}}$ ${\displaystyle \frac{\underset{}{\overset{}{1}}}{}}$ ${\displaystyle \frac{\underset{}{\overset{}{}}{}^{}}{}}$ ${\displaystyle \frac{{e{\mathit{}}_{}}^{}}{}}$ ${\displaystyle \frac{{{}_{}}^{}}{}}$ ${\displaystyle \frac{{u\mathit{}}^{}}{}}$ ${\$ x {\ { \ $display$ style $p_{ n$} ( { \ $bold symbol {$x } =$cd {$ $\ bold symbol${ x$}$} = { 1 + $sum${ n$$=$1$^{ n }

$({displaystyle p_{0}({\boldsymbol {x})=1-\sum _{n=1}^{N}({\boldsymbol {x})=symbrac {1}{1+\sum _{u=1}^{N}e^{\boldsymboldsymbol {x}) {\cd}} {cdmboldsymbol}$

${\displaystyle {p\mathrm{}}_{}}$0 (${\displaystyle x\mathit{}}$) ( \ $displaystyle$ p$_$ { $0$} ( { \ $bold$ $symbol${ $x$$$} )을$$ $제외$한 각 확률에는 자체 회귀 $계수{\displaystyle {\mathit{}}_{}}$ 세트 ${\displaystyle {}_{}}$n ( \ $displaystyle${$beta$} ) $_${ $n$} )이 $.$에 $따라$ p n (${\displaystyle }$x $)$ \ $displaystyle p_n$( \ sylbold $symbol${ x )의 합계가 $표시$됩니다.nity. 다른 확률로 ${\displaystyle 정의}$되는 ${\displaystyle {p\mathrm{}}_{}}$0 (${\displaystyle }$x$$) ({$displaystyle p_{0}({\boldsymbol {x}})$의 $선택$은 인위적이라는 점에 유의하십시오.모든 확률이 그렇게 정의되도록 선택될 수 있습니다.이 특수값 n을 "피봇 지수"라고 하며, 로그 부호(t_n)는 피벗 확률로 표현되며, 다시 설명 변수의 선형 조합으로 표현된다.

$({displaystyle t_{n}=\ln \left\frac {p_{n}({\boldsymbol {x}})}}}{p_{0}({\boldsymbol {x}}}}}}}}})=boldboldsymbol {x}}\cdot {x}{n}$

또한 N $= 1$의 $단순$한 경우 p${\displaystyle }$(${\displaystyle x\mathit{}}$ ) = p 1 ( x$$)$$ $p$ (${\displaystyle x\mathit{}}$ ) =$p_{1$} $({\boldsymbol {x}}$ ) =${\displaystyle {}_{}{p\mathrm{}}_{}}$ ${\displaystyle 0}$ ${\displaystyle (x\mathit{}}$ ) ${\displaystyle =}$ 1${\displaystyle {}_{}}$- ${\displaystyle {p\mathrm{}}_{}}$ $_$0 ( x ) $)$ p p p p p p p is is is is is $is$ is is is is is is is is is is is is is is is is is is_______________ $__________________________________$

이제 위의 확률에 의해 K 측정값 또는 데이터 점의 특정 세트가 생성될 로그 우도를 계산할 수 있습니다.각 측정값을 k로 색인화하여 k번째 측정 설명 변수 세트를 ${\displaystyle {}_{}}$ k$(\$})로 표시하고 범주형 결과를 y $(\$로 표시합니다. 이는 [0,N]의 모든 정수와 같을 수 있습니다.로그 우도는 다음과 같습니다.

$\displaystyle \ell =\sum _{k=1}^{K}\sum _{n=0}^{N}\Delta (n,y_{k}),\ln(p_{n}({\boldsymbol {x}_{k}}}}}}}}}}}}}}}}}}.$

여기서 $\delta {\displaystyle \mathrm{}(}$ ${\displaystyle n}$, ${\displaystyle y_{}}$k$$) {$displaystyle \Delta (n,y_{k}})$는 y = n이면_k 통합과 같고 그렇지 않으면 0이면 통합과 동일한 표시 함수입니다.두 가지 설명 변수의 경우, 이 지시 함수는 n = 1일 때 y, n = 0일 때 1-y로_k 정의되었다_k.이것은 편리했지만 ^[19]필수는 아니었다.다시, 최적의 베타 계수는 일반적으로 수치적 방법을 사용하여 로그우도 함수를 최대화함으로써 구할 수 있다.가능한 솔루션 방법은 각 베타 계수에 대한 로그 우도의 도함수를 0으로 설정하고 베타 계수에 대해 해결하는 것입니다.

$({displaystyle {frac \ell}{\flac \flac _{nm}}=0=\sum _{k=1}^{K}\Delta (n,y_{k})x_{flac}-\sum _{k=1}^{K}p_{n}({\boldsymbol {x}_{k})$

$여기$서 ${\displaystyle {\beta }_{}}$ ${\displaystyle n_{}}$m \ $displaystyle$\$displaystyle _${ nm$$ } 은 $β$n \ displaystyle {$bold$ symbol$}_{n$}} 벡터의 m번째 ${\displaystyle {계수}_{}}$이고 ${\displaystyle x_{}}$ m$$k \ $displaystyle x_{$ nm$$$}$ 은 k번째 측정값의 m번째 설명 변수입니다.데이터로부터 베타 계수를 추정하면, 그 이후의 설명 변수 집합이 가능한 결과 범주 중 하나로 귀결될 확률을 추정할 수 있을 것이다.

해석

로지스틱 회귀 분석에는 다양한 동등한 규격과 해석이 있으며, 이러한 규격은 다양한 유형의 더 일반적인 모형에 적합하고 다른 일반화를 허용합니다.

일반화 선형 모형으로서

로지스틱 회귀 분석에서 사용되는 특정 모형은 표준 선형 회귀 분석 및 이항 값 결과에 사용되는 다른 유형의 회귀 분석과 구별되며, 특정 결과의 확률이 선형 예측 변수 함수에 연결되는 방법입니다.

$(\displaystyle \operatorname {logit} (\operatorname {E}) [Y_{i}\mid x_{1,i},\ldots,x_{m,i})=\operatorname {logit}(p_{i})=\ln \left\frac {p_{i}}{1-p_{i}\right}=\param _{0}+\param _{1}x_{1,i}+\cdots +\param _{m}x_{m,i}})$

위에서 설명한 보다 콤팩트한 표기법을 사용하여 다음과 같이 기술합니다.

${\displaystyle \operatorname {logit}(\operatorname {E}) [Y_{i}\mid \mathbf {X}_{i})]=\operatorname {logit}(p_{i})=\ln \leftfrac {p_{i}}{1-p_{i}}\right}=\boldsymbol {{i}}\cdot \mathbf {X}_{i}$

이 공식은 로지스틱 회귀 분석을 일반화 선형 모델의 한 유형으로 표현합니다. 이 모형은 변수의 기대값의 임의 변환에 위의 형식의 선형 예측 함수를 적합시킴으로써 다양한 유형의 확률 분포를 가진 변수를 예측합니다.

로짓 함수(오즈의 자연 로그)를 사용하여 변환하는 직관은 위에서 설명했습니다.또한 확률(0과 1)을${\displaystyle (-}$ ${\displaystyle ,}$ , + ${\displaystyle )}$ $$$)(\displaystyle (-\infty ,+\infty )$을 초과하는 변수로 변환하여 방정식 오른쪽에 있는 선형 예측 함수의 전위 범위를 일치시키는 실질적인 효과도 있습니다.

확률_i p와 회귀 계수는 모두 관측되지 않으며 이를 결정하는 수단은 모형 자체의 일부가 아닙니다.일반적으로 관측된 데이터에 가장 적합한 값(즉, 이미 관측된 데이터에 대해 가장 정확한 예측을 제공하는 값)을 찾는 일종의 최적화 절차(예: 최대우도 추정)에 의해 결정되며, 일반적으로 가능성이 낮은 값을 제외하려는 정규화 조건(예: 다음과 같은 매우 큰 값)에 따라 결정된다.모든 회귀 계수.정규화 조건의 사용은 최대 우도의 확장인 최대 사후(MAP) 추정을 수행하는 것과 같습니다(정규화는 일반적으로 계수에 0-평균 가우스 사전 분포를 배치하는 것과 동일하지만 다른 정규화도 가능합니다).정규화를 사용하든 사용하지 않든 일반적으로 닫힌 형식의 솔루션을 찾을 수 없습니다. 대신 반복적 수치적 방법(IRLS) 또는 최근에는 L-BFGS ^[20]방법과 같은 준뉴턴 방법을 사용해야 합니다.

β_j 모수 추정치의 해석은 j 설명 변수의 단위 변화에 대한 오즈 로그에 대한 첨가 효과이다.예를 들어 이분법적 설명 변수의 경우 ${\displaystyle {성별}^{}}$ e$$β {\$displaystyle$e^{\$beta}}$는 남성과 여성의 비교 결과에 대한 확률 추정치이다.

등가 공식은 로지스틱 함수인 로짓 함수의 역함수를 사용합니다.

${\displaystyle \operatorname {E} [Y_{i}\mid \mathbf {X}_{i}=p_{i}=\operatorname {logit}^{-1}({\boldsymbol {X}_i})=frac1+{e}$

이 공식은 확률 분포로도 쓸 수 있습니다(특히 확률 질량 함수를 사용).

$\displaystyle \Pr(Y_{i}=y\mid \mathbf {X}_{i}={p_{i}^{y}(1-p_{i})^{1-y}=\leftsymbol {e^{\boldsy}{e}}{1+sy}^{y}\left(1-{\frac {e^{\boldsymbol {\boldsymbol {X}_{i}}}{1+e^{\boldsymbol {X}}}}\right{1-y}=frace^{symbol}}{{\cd}}}}{1+eboldsymboldsy}}}}}}}$

잠재 변수 모델로서

로지스틱 모형은 잠복 변수 모형과 동일한 공식으로 구성됩니다.이 공식은 이산 선택 모형 이론에서 흔히 볼 수 있으며, 로지스틱 회귀를 밀접하게 연관된 프로빗 모형과 비교할 뿐만 아니라 여러 개의 상관된 선택이 있는 보다 복잡한 특정 모형으로 쉽게 확장할 수 있습니다.

각 시행 i에 대해 다음과 같이 분포되는 연속 잠재 변수_i^* Y(즉, 관측되지 않은 랜덤 변수)가 있다고 가정합니다.

${\displaystyle Y_{i}^{\ast}="bold symbol\cdot\mathbf {X}_{i}+\varepsilon_{i},}"$

어디에

${\displaystyle \varepsilon _{i}\sim \operatorname {Logistic}(0,1),}$

즉, 잠복 변수는 선형 예측 변수와 표준 로지스틱 분포에 따라 분포되는 가법 랜덤 오차 변수의 관점에서 직접 작성할 수 있습니다.

그러면_i Y는 이 잠재 변수가 양수인지 여부를 나타내는 지표로 볼 수 있습니다.

${\displaystyle Y_{i}={\text{if}}{\ast }> 0\{text{\ast }}-\varepsilon _{i}<\boldsymbol {\cdot \mathbf {X},\0&{text}.}}\end {case}}$

위치 및 척도가 임의 값으로 설정된 일반 로지스틱 분포 대신 표준 로지스틱 분포를 사용하여 오차 변수를 모형화하는 것은 제한적이지만 실제로는 그렇지 않습니다.회귀 계수를 직접 선택할 수 있으며 오차 변수 분포의 모수 변화를 상쇄하는 데 자주 사용할 수 있습니다.예를 들어 위치 매개 변수가 0이 아닌 로지스틱 오차 변수 분포(평균을 설정)는 위치 매개 변수가 0인 분포에 해당하며, 여기서 가로채기 계수에 μ가 추가됩니다.두 상황 모두 설명 변수 설정에 관계없이 Y에 대해_i^* 동일한 값을 생성합니다.마찬가지로 임의 척도 모수 s는 척도 모수를 1로 설정한 다음 모든 회귀 계수를 s로 나누는 것과 같습니다.후자의 경우 Y의 결과값은_i^* 모든 설명 변수 세트에 대해 전자의 경우보다 s의 배만큼 작아집니다.그러나 결정적으로 Y는 항상 0의 같은 쪽에 머물러 있기 때문에 같은_i Y를 선택할 수 있습니다.

(이는 척도 모수의 비부상성이 세 개 이상의 선택 항목을 사용할 수 있는 더 복잡한 모형으로 이어지지 않을 수 있음을 예측합니다.)

이 공식은 일반화된 선형 모형으로 표현되고 잠재 변수 없이 앞의 공식과 정확히 동일하다는 것이 밝혀졌습니다.이는 표준 로지스틱 분포의 누적분포함수(CDF)가 로지트 함수의 역함수라는 사실을 사용하여 다음과 같이 나타낼 수 있습니다.

${\displaystyle \Pr(\varepsilon _{i}<x)=\operatorname {logit}^{-1}(x)}$

그 후, 다음과 같이 입력합니다.

${\displaystyle{\begin{정렬}(Y_{나는}=1\mid \mathbf{X}_{나는})&, =\Prᆬ\\[5pt]&, =\Prᆭ\\[5pt]&, =\Prᆮ\\[5pt]&, =\Pr(\varepsilon _{나는}<,{\boldsymbol{\beta}}\cdot \mat.hbf{X}_{나는})&&,{\text{(becau로지스틱 분포는 대칭 분포입니다.)}\\[5pt]&=\operatorname {logit}^{-1}({\boldsymbol {\cdot \mathbf {X} _{i})&\[5pt]&=p_{i}&{\text{(위 참조)}}\end {aligned}}$

이산 선택 모형에서 표준인 이 공식은 로지스틱 회귀 분석("로짓 모형")과 프로빗 모형 사이의 관계를 명확하게 합니다. 프로빗 모형은 표준 로지스틱 분포 대신 표준 정규 분포에 따라 오차 변수를 사용합니다.로지스틱 분포와 정규 분포는 둘 다 기본 단일 "종 곡선" 모양과 대칭입니다.유일한 차이점은 로지스틱 분포의 꼬리가 다소 무겁다는 것입니다. 즉, 외곽 데이터에 덜 민감하다는 것입니다(따라서 잘못된 규격이나 잘못된 데이터를 모형화하는 데 다소 더 강력합니다).

이원 잠변수 모형

그러나 또 다른 공식은 두 개의 개별 잠재 변수를 사용한다.

$디스플레이 스타일Y_{i}^{0\ast}&=bold symbold symbol {\cdot \mathbf {X}_{i}+\varepsilon _{0},\\\Y_{i}^{1\ast}&=bold symbold symbol {\cdot \mathbf {X}_{i}+\varepsilon _{1},\end {aligned}}}$

어디에

${\displaystyle {begin{aligned}\varepsilon _{0}&\sim \operatorname {EV}_{1}&\sim \operatorname {EV}_{1}\end{aligned}}$

여기서₁ EV(0,1)는 표준 타입 1 극단값 분포이다. 즉,

$\Displaystyle \Pr(\varepsilon _{0}=x)=\Pr(\varepsilon _{1}=x)=e^{-x}e^{-e^{-x}}}}$

그리고나서

$({displaystyle Y_{i}=「begin{case}1&{\text{if}}}Y_{i}^{1\ast}>Y_{i}^{0\ast},\\0&{\text{그 이외의 경우.}}\end {case}}$

이 모형에는 종속 변수의 가능한 각 결과에 대해 별도의 잠재 변수와 별도의 회귀 계수 집합이 있습니다.이렇게 분리하는 이유는 다항 로짓 모형에서처럼 로지스틱 회귀 분석을 다항식 범주형 변수로 쉽게 확장할 수 있기 때문입니다.이러한 모형에서는 서로 다른 회귀 계수 집합을 사용하여 가능한 각 결과를 모형화하는 것이 자연스럽습니다.또한 각각의 개별 잠재 변수를 관련 선택을 하는 것과 관련된 이론적 효용으로서 동기를 부여하고, 따라서 효용 이론의 관점에서 로지스틱 회귀를 동기화하는 것이 가능하다. (효용 이론의 관점에서 합리적 행위자는 항상 가장 큰 관련 효용과 함께 선택을 선택한다.)이것은 경제학자들이 이산 선택 모델을 형성할 때 취하는 접근방식이다.이 접근방식은 이론적으로 강력한 기반을 제공하고 모델에 대한 직관을 촉진하기 때문에 다양한 종류의 확장을 쉽게 검토할 수 있기 때문이다(아래 예 참조).

제1종 극단값 분포의 선택은 상당히 제멋대로처럼 보이지만, 그것은 수학을 풀게 하고, 합리적인 선택 이론을 통해 그것의 사용을 정당화할 수 있을 것이다.

두 개의 회귀 계수와 오차 변수 집합이 있고 오차 변수의 분포가 다르기 때문에 이 모형은 분명하지 않지만 이전 모형과 동일한 것으로 나타났습니다.실제로 이 모델은 다음과 같은 대체를 통해 이전 모델로 직접 축소됩니다.

$(\displaystyle\boldsymbol\symbol\symbol\symbol\symbol_{1}-{\boldsymbol\symbol\symbol}_{0})$

$\displaystyle \varepsilon = \varepsilon _{1}-\varepsilon _{0}$

이에 대한 직관은 최대 두 개의 값을 기준으로 선택하기 때문에 정확한 값이 아닌 차이만 중요하므로 어느 정도의 자유도를 효과적으로 제거할 수 있습니다.또 다른 중요한 사실은 두 가지 유형 1 극단값 분포 변수의 차이가 로지스틱 분포($예{\displaystyle }$: $=$ ${\displaystyle {1\mathrm{}}_{}}$1 - ${\displaystyle 0{}_{}}$0 - 로지스틱 ${\displaystyle (}$ (${\displaystyle 0}$,${\displaystyle 1}$)$$. { $displaystyle \varepsilon$ _${1}-\varepsilon _0}\sim \opername {0},$$0$})입니다$.$} 다음과$$ 같이 증명할 수 있습니다$.$

$({displaystyle {begin{aligned}\Pr(Y_{i}=1\mid \mathbf {X}_{i})={}&\Pr \left(Y_{i}^{1\ast}>Y_{i}^{0\ast}\mid \mathbf {X}_{i}\right)&\[5pt]={}&\Pr \left(Y_{i}^1\ast}-Y_{i}^{0\ast}>0\mid \mathbf {X}_{i}\right)&\[5pt]={}&\Pr \left\boldsymbol {\paret }_{1}\cdot \mathbf {X}_{i}+\varepsilon {X}-\left\boldsymbol {X}_{i}_{0}\cdot \varepsilon {0\0}\right} & right){}&\Pr \left({\boldsymbol {\boldsymbol {}_{1}\cdot \mathbf {X}-{0}\cdot \mathbf {X}_{i}+({1}-\varepsilon_{0})[5\pt}){}&\Pr({\boldsymbol {\boldsymbol {{1}-{0})\cdot \mathbf {X}_{i}+({1}-\varepsilon _{0}>0)\\[5pt]={}&\Pr({\boldsymbol {beta }}_{1}-{\boldsymbol {beta }}_{0})\cdot \mathbf {X}_{i}+\varepsilon >0}&{\text {(위 텍스트})}\varepsilon {{\text})}}\\[5pt]={}&\Pr({\boldsymbol\beta}}\cdot\mathbf {X}_{i}+\varepsilon >0)&{\text{(대체}}}{\boldsymbol\beta}}}}{\text{\text}}})}}\\[5pt]={}&\Pr(\varepsilon >-{\boldsymbol {beta }}\cdot \mathbf {X} _{i}}&{\text{(현재는 위 모델과 동일)}}\\[5pt]={}&\Pr(\varepsilon <\boldsymbol {\cdot\mathbf {X}_{i}&\[5pt]={}&\operatorname {logit}^{-1}({\boldsymbol {\cdot \mathbf {X} _{i}\\[5pt]={}&p_{i}\end{aligned}}$

예

이 예에는 독창적인 연구가 포함되어 있을 수 있습니다. 관련 설명은 Talk에서 확인할 수 있습니다.로지스틱 회귀 분석. 클레임을 확인하고 인라인 인용을 추가하여 개선해 주십시오. 독창적인 연구로만 구성된 진술은 삭제되어야 한다.(2022년 5월) (이 템플릿메시지를 삭제하는 방법과 타이밍을 학습합니다)

예를 들어, 중도 우파 정당, 중도 좌파 정당 및 분리주의 정당(예: 퀘벡이 캐나다에서 분리되기를 원하는 Parti Québécois) 중 하나를 선택하는 주 단위 선거를 생각해 보십시오.그런 다음 각 선택별로 하나씩 세 가지 잠재적 변수를 사용합니다.그런 다음, 효용 이론에 따라, 우리는 잠재 변수를 각각의 선택에서 비롯되는 효용을 나타내는 것으로 해석할 수 있다.우리는 또한 회귀 계수를 관련 요소(즉, 설명 변수)가 효용에 기여하는 강도, 또는 설명 변수의 단위 변화가 주어진 선택의 효용을 변경하는 양을 나타내는 것으로 해석할 수 있다.유권자들은 중도 우파 정당이 특히 부자들에 대한 세금을 낮출 것이라고 기대할 수 있다.이것은 저소득층에게 아무런 혜택도 주지 않을 것이다. 즉, (보통 세금을 내지 않기 때문에) 효용에 변화가 없을 것이다. 중산층에게는 중간 정도의 혜택(즉, 다소 더 많은 돈 또는 적당한 효용 증가)을 줄 것이다. 고소득층에게는 상당한 혜택을 줄 것이다.반면 중도좌파 정당은 세금을 올려 복지 증대와 중산층에 대한 기타 지원으로 상쇄할 것으로 예상된다.이는 저소득층에게 상당한 긍정적 편익, 아마도 중산층에게는 약한 편익, 고소득층에게는 상당한 부정적 편익을 야기할 것이다.마지막으로 분리주의 정당은 경제에 대한 직접적인 조치를 취하지 않고 단순히 분리할 것이다.저소득 유권자나 중산층 유권자는 기본적으로 이것으로부터 뚜렷한 공과금 손익을 기대하지 않을 수 있지만, 고소득 유권자는 회사를 소유할 가능성이 높기 때문에 부정적인 효용을 기대할 수 있다. 이러한 환경에서 사업을 하는 것이 더 어려워지고 아마도 손해를 볼 수도 있다.

이러한 직관은 다음과 같이 표현할 수 있습니다.

다양한 결과(당사자 선택) 및 설명 변수의 다른 값에 대한 회귀 계수의 추정 강도

	가운데 오른쪽	중앙 왼쪽	분리주의자
고소득	강한 +	강한 -	강한 -
중산층	보통 +	약한 +	없음.
저소득	없음.	강한 +	없음.

이것은 분명히 알 수 있다

1. 각 선택 항목에 대해 별도의 회귀 계수 집합이 존재해야 합니다.실용적으로 표현하면, 이것은 매우 쉽게 알 수 있습니다.다른 선택은 순 효용에 대해 서로 다른 영향을 미친다. 더욱이, 효과는 각 개인의 특성에 따라 복잡한 방식으로 다양하기 때문에, 단순히 선택당 단일 추가 특성이 아닌 각 특성에 대해 별도의 계수 세트가 있어야 한다.
2. 소득이 연속형 변수이기는 하지만 효용에 미치는 영향은 단일 변수로 취급하기에는 너무 복잡하다.소득에 대한 다항식 회귀가 효과적으로 이루어지도록 직접 범위를 나누거나 더 높은 소득의 힘을 더해야 한다.

"로그 선형" 모델로서

그러나 다른 공식은 위의 쌍방향 잠재 변수 공식과 잠재 변수 없이 더 높은 원래 공식과 결합하고, 그 과정에서 다항 로짓의 표준 공식 중 하나에 대한 링크를 제공한다.

여기서는 확률_i p의 로짓(logit)을 선형 예측 변수로 쓰는 대신 선형 예측 변수를 두 개의 결과 각각에 대해 하나씩 두 개로 분리한다.

${\displaystyle {arged}\Pr(Y_{i}=0)&=cdot \mathbf {X}_{i}-\ln Z\Pr(Y_{i}=1)&=cdbold symbol {1}\mathbot {xF}$

이원 잠변수 모델과 마찬가지로 두 개의 회귀 계수가 도입되었으며, 두 개의 방정식은 선형 예측 변수로서 관련 확률의 대수를 쓰는 형태로 나타나며, 끝에 ${\displaystyle \mathrm{추가}}{\displaystyle }$항 - $†$ Z \$display$style -\$ln$Z가$$ 붙는다.이 항은 결과가 분포임을 보증하는 정규화 인자로 작용합니다.이는 양변을 지수화함으로써 알 수 있습니다.

$\displaystyle \begin { aligned } \ Pr ( Y _ { i } = 0 )& = frac {1} { Z } } e^{\ bold symbol \ { 0} \ cdot \ mathbf { X } _ { i} \ \ \ [ 5 pt ] \Pr(Y_{i}=1)&=bladfrac {1}{Z}}e^{\boldsymbol {\boldsymbol {\}_{1}\cdot \mathbf {X}_{i}}\end{aligned}}}}$

이 형태에서 Z의 목적은 Y에 대한_i 결과 분포가 실제로는 확률 분포, 즉 합계가 1이 되도록 하는 것이 분명하다.즉, Z는 단순히 모든 비정규화 확률의 합이며 각 확률을 Z로 나누면 확률이 "정규화"됩니다.즉, 다음과 같습니다.

${\displaystyle Z=e^{\boldsymbol {\boldsymbol}_{0}\cdot \mathbf {X}_{i}}+e^{\boldsymbol {\cd}_{i}}}$

그리고 결과 방정식은

${\displaystyle {begin {aligned}\Pr(Y_{i}=0)&=frac {e^{\boldsymbol {\boldsymbol}_{0}\cdot \mathbf {X}_{i}}{e^{\boldsymbol {x}_0}{i}{e}}Pr(Y_{i}=1)&=frac {e^{\boldsymbol {}_{1}\cdot \mathbf {X}_{i}}{e^{\boldsymbol {X}_{0}+e^{boldsymbol}} {i}}\end { aligned}}$

또는 일반적으로:

${\displaystyle \Pr(Y_{i}=c)=bladfrac {e^{\boldsymbol {\c}\cdot \mathbf {X}_{i}}{\sum _{h}e^{\boldsymbol {\h}}{\cdot \mathbf {X}}}}{i}}}$

이는 다항 로짓에서처럼 이 공식을 세 개 이상의 결과로 일반화하는 방법을 명확하게 보여줍니다.이 일반적인 공식은 와 같이 softmax 함수입니다.

$\displaystyle \Pr(Y_{i}=c)=\operatorname {softmax}(c, {\boldsymbol {{0}}_{0}\cdot \mathbf {X}_{i}, {\boldsymbol {X}_{1}\cdot \mathbf {i})}$

이전 모델과 동등함을 증명하기 위해 상기 ${\displaystyle {}_{}}$은${\displaystyle Pr}$ ( Y $=$ 0 ) { $displaystyle \Pr$( Y$_$ {i } $=$ ${\displaystyle 0}$ )${\displaystyle }$} ${\displaystyle {}_{}}$ ${\displaystyle {Pr}_{}}$ ( Y i$$= ${\displaystyle 1}$ ) {$displaystyle \Pr$( Y _ {i } $=$ 1$$} } 에서는 ${\displaystyle Pr{}_{}}$ ${\displaystyle 0}$ (${\displaystyle i_{}}$)를 독립적으로 지정할 수 없습니다.$0)+\Pr(Y_{i}=1$)=$1}$이므로 하나를 알면 다른 하나가 자동으로 결정됩니다.결과적으로, 모델은 식별 불가능하며, β와₁ β의₀ 다중 조합은 가능한 모든 설명 변수에 대해 동일한 확률을 생성한다.사실, 두 상수 벡터를 모두 더하면 동일한 확률이 생성되는 것을 볼 수 있다.

${\displaystyle{\begin{정렬}(Y_{나는}=1)&, ={\frac{e^{({\boldsymbol{\beta}}_{1}+\mathbf{C})\cdot \mathbf{X}_{나는}}}{e^{({\boldsymbol{\beta}}_{0}일 경우 +\mathbf{C})\cdot \mathbf{X}_{나는}}+e^{({\boldsymbol{\beta}}_{1}+\mathbf{C})\cdot \mathbf{X}_{나는}}}}\\[5pt]&, ={\frac{e^{{\boldsymbol{\beta}}_{1}\cdot\mathbf{X}_{나는}}e^{\mathbf{C}.\cdot)Mathbf(_{나는}}}{e^{{\boldsymbol{\beta}}_{0}\cdot\mathbf{X}_{나는}}}_{1}\cdot\mathbf{X}_{나는}}}\cdot \mathbf{X}_{나는}e^{\mathbf{C}}}\\[5pt]&, ={\frac{e^{\mathbf{C}\cdot \mathbf{X}_{나는}}e^{{\boldsymbol{\beta}}_{1}\cdot\mathbf{X}_{나는}}}{e^{\mathbf{C}\cdot \mathbf{X}_{i.\cdot \mathbf{X}_{나는}}+e^{{\boldsymbol{\beta}e^{\mathbf{C}}}(e^{\boldsymbol {\boldsymbol {\cdot }_{i}}+e^{\boldsymbol {\boldsymbol {\}_{1}\cdot \[5]&=boldsymbol {e} {\cd1}}}}}\\\{\cdot}\end { aligned}}$

그 결과, 2개의 벡터 중 하나의 임의의 값을 선택함으로써 문제를 단순화하고 식별 가능성을 회복할 수 있습니다.${\displaystyle {\mathrm{}}_{}}$ 0 ${\displaystyle {}_{}0\mathbf{}}$ 으로 $설정$합니다$.{$ $displaystyle${ \ $bold$ symbol$} _${ 0 } = \ $mathbf${ $0 }$ then$$ 。

${\displaystyle e^{\boldsymbol}_{0}\cdot \mathbf {X}_{i}=e^{0}\cdot \mathbf {X}_{i}=1}$

그래서

${\displaystyle \Pr(Y_{i}=1)=cdot frac {e^{\bold symbol {}_{1}\cdot \mathbf {X}_{i}}{1+e^{\bold symbol {i}_i1}\cdot \mathbfrac {i}1}$

이 공식은 실제로 이전의 공식과 동등하다는 것을 보여줍니다.(이원잠재변수 제제와 마찬가지로 ${\displaystyle {\mathit{}}_{}}$ ${\displaystyle =}$ ${\displaystyle {}_{}{\mathit{}}_{}}$ - ${\displaystyle {\mathrm{}}_{}}$0 { $displaystyle$ { $bold$ symbol { $}} = β bold symbol$ { } _ {1} - {\ $bold$ symbol { $}}$_ {$0$$}$ } 에서는 동일한 결과가 나타난다.)

다항 로짓 모델의 대부분의 처리는 여기에 제시된 "로그-선형" 공식 또는 위에 제시된 이원 잠변수 공식 중 하나를 확장함으로써 시작된다는 점에 유의하십시오. 둘 다 모델이 다원적 결과로 확장될 수 있는 방법을 명확하게 보여주기 때문입니다.일반적으로 잠재 변수를 사용한 표현은 이산 선택 모델과 효용 이론이 지배하고 있는 계량경제학 및 정치학에서 더 흔하지만, 여기서의 "로그 선형" 공식은 컴퓨터 과학(예: 기계 학습 및 자연 언어 처리)에서 더 흔하다.

단층 퍼셉트론으로서

모델의 공식은 동일합니다.

$({displaystyle p_{i}=syslogfrac {1}{1+e^{-(\syslog _{0}+\syslog _{1}x_{1,i}+\cdots +\syslog _{k}x_{k,i}}}}}}}}}},$

이 기능 형태는 일반적으로 단층 퍼셉트론 또는 단층 인공 신경망이라고 불립니다.단층 뉴럴 네트워크는 스텝 함수 대신 연속 출력을 계산한다.X = (x₁, ..., x_k)에 대한 p의_i 도함수는 일반 형식에서 계산된다.

$({displaystyle y=syslogfrac {1}{1+e^{-f(X)}}}})$

여기서 f(X)는 X의 해석 함수이다.이 옵션을 선택하면 단일 계층 신경망은 로지스틱 회귀 분석 모형과 동일합니다.이 함수는 연속 도함수를 가지고 있어 역전파에서 사용할 수 있습니다.이 함수는 도함수가 쉽게 계산되기 때문에 선호된다.

${\displaystyle {\mathrm {d} {\mathrm {d} X}}=y(1-y) {\frac {mathrm {d} f} {\mathrm {d} X}},}$

이항 데이터의 경우

밀접하게 관련된 모형은 각 i가 단일 베르누이 시행이 아니라 n개의 독립적인 동일한 분포 시행과 연관되어_i 있다고 가정합니다. 여기서 관측치_i Y는 관측된 성공 횟수(개별 베르누이 분포 랜덤 변수의 합)이므로 이항 분포를 따릅니다.

${\displaystyle Y_{i},\sim \operatorname {Bin}(n_{i},p_{i}),{\text{ for }i=1,\display,n}$

이 분포의 예로는 n을 심은 후에_i 발아하는 씨앗의 비율_i(p)이 있습니다.

기대값의 관점에서 이 모델은 다음과 같이 표현됩니다.

${\displaystyle p_{i}=\operatorname {\mathcal {E}} \left[\left].{\frac {Y_{i}}{n_{i}},\right,\mathbf {X},\right},}$

하도록

$\displaystyle \operatorname {logit} \left(\operatorname {E}) \left[\left]{{i}}{n_{i}},\right,\mathbf {X}_{i}\right)=\operatorname {logit}(p_{i}=\ln \frac {p_{i}}{1-p_{i}}}\right}=boldsymbol\cdot}\cdot}\cdot}$

또는 동등하게:

$\displaystyle \Pr(Y_{i}=y\mid \mathbf {X} _{i}={n_{i} \choose y}{y}(1-p_{i})^{n_{i}-y}={n_{i}\choose y}\leftsymbol {1}{1+e^{-{\boldsymbol}}\cdot \mathbf {X}_{i}}}}}\right^{y}\left(1-{\frac {1}{1+e^{-{\boldsymbol {beta }}}}\cdot \mathbf {X}_{i}}}\오른쪽)^{n_{i}-y},}$

이 모형은 위의 기본 모형과 동일한 종류의 방법을 사용하여 적합할 수 있습니다.

모델 피팅

이 섹션은 확장해야 합니다.추가하시면 됩니다. (2016년 10월)

최대우도 추정(MLE)

회귀 계수는 일반적으로 최대우도 ^[21][22]추정을 사용하여 추정됩니다.정규 분포 잔차를 사용한 선형 회귀 분석과 달리, 우도 함수를 최대화하는 계수 값에 대한 닫힌 형식 식을 찾을 수 없으므로 반복 공정(예: Newton의 방법)을 사용해야 합니다.이 프로세스는 잠정적인 해결책에서 시작하여 개선할 수 있는지 확인하기 위해 약간 수정한 후 더 이상 개선되지 않을 때까지 이 수정을 반복하며 프로세스가 ^[21]수렴되었다고 합니다.

경우에 따라서는 모델이 컨버전스에 도달하지 못할 수 있습니다.모형의 비수렴은 반복 공정이 적절한 솔루션을 찾을 수 없었기 때문에 계수가 유의하지 않음을 나타냅니다.예측 변수의 대 사례 비율이 크거나 다중 공선성, 희소성 또는 완전 분리 등 여러 가지 이유로 수렴 실패가 발생할 수 있습니다.

• 변수 대 사례의 비율이 크면 Wald 통계(아래에서 설명)가 지나치게 보수적이며 수렴되지 않을 수 있습니다.정규화된 로지스틱 회귀 분석은 특히 이 상황에서 사용하기 위한 것입니다.
• 다중 공선성은 예측 변수 간의 상관 관계가 허용할 수 없을 정도로 높은 것을 나타냅니다.다중 공선성이 증가하면 계수는 치우침 없이 유지되지만 표준 오차는 증가하고 모형 수렴 가능성은 ^[21]감소합니다.예측 변수 간의 다중 공선성을 탐지하기 위해 다중 공선성이 허용할 수 없을 정도로 높은지 여부를 평가하는 데 사용되는 공차 통계량을 조사하는 유일한 목적으로 관심 예측 변수를 사용하여 선형 회귀 분석을 수행할 수 있습니다.
• 데이터의 희소성은 빈 셀(카운트가 0인 셀)의 비율이 큰 것을 나타냅니다.0 셀 카운트는 범주형 예측 변수에서 특히 문제가 됩니다.연속형 예측 변수를 사용하면 모형이 0 셀 카운트의 값을 추론할 수 있지만 범주형 예측 변수의 경우에는 그렇지 않습니다.자연 로그 0은 정의되지 않은 값이기 때문에 모형에 대한 최종 솔루션에 도달할 수 없기 때문에 모형은 범주형 예측 변수의 셀 카운트를 0으로 수렴하지 않습니다.이 문제를 해결하기 위해 연구자들은 이론적으로 의미 있는 방법으로 범주를 축소하거나 모든 ^[21]세포에 상수를 추가할 수 있습니다.
• 수렴 부족을 초래할 수 있는 또 다른 수치적 문제는 완전 분리이다. 이는 예측 변수가 기준을 완벽하게 예측하는 경우를 가리킨다. 즉, 모든 경우를 정확하게 분류하고 무한 계수로 가능성을 극대화한다.이 경우 오류가 ^{[2][further explanation needed]}있을 수 있으므로 데이터를 다시 검토해야 합니다.
• 또한 지수 함수에 대한 매개변수 형식의 가정을 피하고 링크 함수(예: 프로빗 또는 ^[23]로짓)의 선택에 강한 국소 우도 또는 비모수 준우도 방법을 통해 반모수 또는 비모수적 접근법을 취할 수 있다.

반복적 최소 제곱(IRLS)

예를 들어 이항 로지스틱 회귀 분석(${\displaystyle }$ ${\displaystyle =}$ {$displaystyle$ y$=0}$ $또는$ y ${\displaystyle =}$ {$displaystyle$ y=1$\})$은 Newton 방법을 사용하여 Bernouli 분포 프로세스의 로그 우도를 최대화하는 것과 동일한 IRLS(반복적 재가중 최소 제곱)를 사용하여 계산할 수 있습니다.${\displaystyle {}^{}}$가 벡터 매트릭스 형식으로 작성되어 $파라미터{\displaystyle {\mathbf{}}^{}}$ w T ${\displaystyle =}$ [ ${\displaystyle {\beta \mathrm{}}_{}}$0 , ${\displaystyle {}_{}}$ 1,${\displaystyle {}_{}{\beta \mathrm{}}_{}}$2${\displaystyle {}_{}}$, ${\displaystyle ...}$${\displaystyle {}^{}}$](\$displaystyle \mathbf {w}$^{T}=[\$beta$ _${0},\display$ _{$1},\dots$ ${\displaystyle {}_{}}$ $변수{\displaystyle \mathbf{}}$x ($i$ ${\displaystyle =}$ [${\displaystyle \mathrm{i}}$ )${\displaystyle =}$ 1${\displaystyle {}_{}}$, ${\displaystyle {1\mathrm{}}_{}}$ ,${\displaystyle }$x )${T}}$ 및$$ 베르누이 $분포$의 기대치${\displaystyle }$μ (${\displaystyle \frac{{}^{}}{}}$ )${\displaystyle \frac{{=}^{}}{}}$ ${\displaystyle \frac{{{}^{}\mathbf{}}^{}}{}}$ + ${\displaystyle \frac{{{}^{}}^{}}{}}$- ${\displaystyle \frac{w^{}}{}}$T$$x ( i ) { { $displaystyle \ mu$ ( i ) $= scsfrac { 1$ + $e^$ { - \ $mathbf${ $w$$$} ^ { $T$} \ $mathbf${ $x }$$$}}$$}}}}}} $the$ $、$ w 。

$\displaystyle \mathbf {w} _{k+1}=\left(\mathbf {X} ^{k} \mathbf {X} \right)^{-1} \mathbf {X} \left(\mathbf {S} _k\mathbf {X} \mathbF}$

$여기$서 S ${\displaystyle =}$ ${\displaystyle \mathrm{디아그}}$ μ${\displaystyle }$( ${\displaystyle \mathrm{i}}$ )${\displaystyle }$( 1 -${\displaystyle \mu }$ (${\displaystyle i}$)$=$ \$operatorname { diag }$ ( \$mu$$$( $i$) )는$$ 대각선 가중치 $행렬$입니다.μ${\displaystyle =}$ [${\displaystyle 1\mu }$( ) ,${\displaystyle \mathrm{\mu }}$ ( ) , 2${\displaystyle 、}$ ...$]$ { $displaystyle bold$mu \ $syl =$

${\displaystyle \mathbf {X} = syslog{bmatrix}1&x_{2}(1)&\ldots \\vdots &\vdots \{bmatrix}$

역행렬 및${\displaystyle }y{\displaystyle \mathbf{}}$ (${\displaystyle i)}$ ${\displaystyle =}$ [${\displaystyle y}$ ( ${\displaystyle 1}$) ,${\displaystyle y}$ ( ${\displaystyle 2}$) , ${\displaystyle ...{}^{}}$]${\displaystyle T^{}}${ $display$style \ $mathbf { y$} (i) = [$y$ ( $1$) ,$y$ ($2$ ) \$ldots$]^${T}:$ 반응$$ 변수의 벡터입니다.자세한 것은 문헌을 ^[24]참조해 주세요.

베이지안

베이지안 통계 컨텍스트에서 사전 분포는 일반적으로 회귀 계수에 배치되며, 예를 들어 가우스 분포의 형태로 배치됩니다.로지스틱 회귀 분석에서는 우도 함수 앞에 켤레가 없습니다.베이지안 추론이 분석적으로 수행되었을 때, 이것은 매우 낮은 차원을 제외하고 후방 분포를 계산하기 어렵게 만들었다.단, OpenB와 같은 자동 소프트웨어는UGS, JAGS, PyMC3, Stan 또는 Turing.jl은 이러한 포스터를 시뮬레이션을 사용하여 계산할 수 있으므로, 결합성의 부족은 문제가 되지 않습니다.그러나 표본 크기나 매개변수 수가 클 경우 전체 베이지안 시뮬레이션은 느릴 수 있으며, 사람들은 종종 변동 베이지안 방법이나 기대 전파와 같은 대략적인 방법을 사용한다.

"10의 법칙'

널리 사용되는 경험칙인 "10개 중 하나 규칙"은 로지스틱 회귀 모델이 설명 변수당 최소 약 10개의 사건(EPV)을 기반으로 할 경우 설명 변수에 안정적인 값을 제공한다고 기술한다. 여기서 사건은 종속 변수의 덜 빈번한 범주에 속하는 경우를 나타낸다.따라서 연구 참가자의 $비율{\displaystyle }$ p$\$displaystyle p$\displaystyle$ 10k/p에서 발생할 $것$으로 예상되는 사건$(예:$ 심근경색)에$$ 대해$$k\display k$\display$ style p$\display$ style $10k$의 ${\displaystyle \mathrm{참가자}}$가 $필요$하다.그러나 시뮬레이션 연구에 기초하고 안전한 이론적 ^[25]기반이 없는 이 규칙의 신뢰성에 대해서는 상당한 논란이 있다.만약 우리가(다소 주관적으로)신뢰 구간 커버리지 미만 93%를 일부 authors[26]에 따르면 규칙을 지나치게 어떤 상황에서, 저자들을 생각했습니다."이상 15%문제가 되는 우리를 그 문제 상당히 빈번하다 지..지 나는 형식 이상 7%나 관련된 편견이라는 것은 보수적이다ith2~4 EPV, 5~9 EPV에서는 드물며 10~16 EPV에서도 관찰됩니다.각 문제의 최악의 예는 5~9 EPV로 심각하지 않았으며 보통 10~16 EPV와 비슷했다."^[27]

다른 사람들은 다른 기준을 사용하여 위와 일치하지 않는 결과를 발견했다.유용한 기준은 적합된 모형이 모형 개발 표본에서 달성한 것처럼 새 표본에서 동일한 예측 변별을 달성할 것으로 예상되는지 여부입니다.이 기준에서는 후보 변수당 20개의 이벤트가 ^[28]필요할 수 있습니다.또한 예측 확률의 오차 한계가 0.95 신뢰 ^[29]수준에서 ±0.1일 정도로 모형의 절편을 정확하게 추정하기 위해서만 96개의 관측치가 필요하다고 주장할 수 있습니다.

오차 및 적합의 유의성

이탈도 및 우도비 검정 - 간단한 경우

모든 적합 절차에서 모형에 다른 적합 모수(예: 로지스틱 회귀 모형의 베타 모수)를 추가하면 거의 항상 모형이 측정된 결과를 예측하는 능력이 향상됩니다.모형이 단순히 데이터의 잡음에 "과적합"하기 때문에 추가 항에 예측 값이 없는 경우에도 마찬가지입니다.다른 적합 매개변수를 추가하여 얻은 개선이 추가 용어를 포함하도록 권장할 만큼 충분한지, 또는 단순히 과적합에서 기대할 수 있는 개선 사항인지에 대한 의문이 제기된다.

즉, 로지스틱 회귀 분석의 경우 로지스틱 모형 적합치와 결과 데이터 사이의 오차를 측정하는 이탈도라는 통계량이 정의됩니다.많은 데이터 점의 한계에서는 이탈도가 카이 제곱 분포되므로 설명 변수의 유의성을 확인하기 위해 카이 제곱 검정을 구현할 수 있습니다.

선형 회귀 분석과 로지스틱 회귀 분석에는 많은 유사점이 있습니다.예를 들어 단순 선형 회귀 분석에서는 K 데이터 포인트 세트(x_k, y_k)가 y ${\displaystyle =}$ ${\displaystyle {}_{}{0\mathrm{}}_{}}$ + ${\displaystyle {}_{}}$ ${\displaystyle {}_{}}$x {\$display$ y$=b_{0}+b_{1}x$ $형식$의 제안된 모델 함수에 적합됩니다.적합치는 각 데이터 점에 대한 잔차의 제곱합(오차항 제곱)을 최소화하는 b 모수를 선택하여 얻을 수 있습니다.

$\displaystyle \silon ^{2}=\sum _{k=1}^{K}(b_{0}+b_{1)}x_{k}-y_{k}^{2}.$

적합을 구성하는 최소값은 ${\displaystyle {\stackrel{}{†}}^{}}$^ ${\displaystyle 2^{\mathrm{}}}$ {\$displaystyle${\$hat${\epsilon $}}$ {{$2}}$로 표시됩니다.

x 변수가 y 결과를_k 예측하는 데 아무런 도움이 되지 않는다고 가정하는 null 모형의 개념이 도입될 수 있습니다.데이터 점은 오차항 제곱을 사용하여 y=b₀ 형식의 null 모형 함수에 적합됩니다.

${\displaystyle \silon ^{2}=\sum _{k=1}^{K}(b_{0}-y_{k})^{2}.}$

적합 프로세스는 null 모델에 대한 적합도를$$하는 b의 값을₀ 선택하는 것으로 구성됩니다$.$서 $"\displaystyle$\$epsilon$ _${\$$varphi$$}"$ $첨자$는 null 모델을 나타냅니다.null 모델은 b ${\displaystyle {0\mathrm{}}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle y\stackrel{}{}}$ ${\$ { $display$ style $b$_ { 0 } =$y$} $b$ b b 。$여기$서 y${\$ \ $displaystyle$ { $y$}는$$ y값의_k 평균이고 최적화된 ${\displaystyle {\mathrm{}}_{}^{}}$2 { \ $displaystyle$ \$silon$ _ { \ $varphi$}^$2}$는 다음과 같습니다.

${\displaystyle {\hatilon }}_{\varphi }^2}=\sum _{k=1}^{K}({\overline {y}-y_{m})^2}$

이는 Y 데이터_k 점의 (수정되지 않은) 표본 표준 편차의 제곱에 비례합니다.

다양한_kk x에 y 데이터 점을 랜덤하게 할당한 다음 제안된 모형을 사용하여 적합시키는 경우를 생각할 수 있습니다.구체적으로, 우리는_k Y 결과의 모든 배열에 대해 제안된 모델의 적합성을 고려할 수 있다.이러한 적합의 최적화된 오차는 결코 Null 모델의 최적 오차보다 작지 않으며, 이러한 최소 오차 간의 차이는 제안된 모델의 자유도에서 Null 모델의 자유도를 뺀 카이-크롬 분포(ki-크롬 분포)를 따른다는 것을 알 수 있다. 이 경우 2-1=1. 카이 제곱 검정을 사용하여 이러한 치환된 y 집합_k 중 몇_k 개가 원래 y를 사용하여 최소 오차 이하의 오차를 발생시키는지 추정할 수 있으며, 따라서 제안된 모델에 x 변수를 포함시킴으로써 얼마나 중요한 개선이 제공되는지 추정할 수 있습니다.

로지스틱 회귀 분석의 경우 적합도의 측도는 우도 함수 L 또는 해당 로그의 로그 우도 θ입니다.우도함수 L은 선형 회귀의 $경우{\displaystyle {}^{}}$ §$(\displaystyle$ \$epsilon ^{2$})와 유사하지만 우도가 최소화되지 않고 극대화된다는 점이 다릅니다.$제안$된 모델의 최대 로그 우도를 $^\$로 나타냅니다.

단순 이항 로지스틱 회귀 분석의 경우 K 데이터 점 집합은 다음과 같은 형식의 함수에 확률론적 의미로 적합됩니다.

${\displaystyle p(x)=snapsfrac {1}{1+e^{-t}}}}$

$여기$서 p${\displaystyle }$(${\displaystyle x}$) {$displaystyle$ p$(x)}$는 y ${\displaystyle =}$ {$displaystyle$ y$=1$의 확률입니다.log-ods는 다음과 같습니다.

${\displaystyle t=\display_{0}+\display_{1}x}$

로그 우도는 다음과 같습니다.

$\displaystyle \ell = \sum _{k=1}^{K}\left(y_{k}\ln(x_{k})+(1-y_{k})\ln(1-p(x_{k})\right)}$

null 모델의 경우 y ${\displaystyle =}$ $(\displaystyle$ y=$1)일$ $확률$은 다음과 같습니다.

${\displaystyle p_{\varphi }(x)=parfrac {1}{1+e^{-t_{\varphi }}}}$

null 모델의 log-ods는 다음과 같습니다.

${\displaystyle t_{\varphi}=\display_{0}}$

로그 우도는 다음과 같습니다.

$\displaystyle _{\varphi }=\sum _{k=1}^{K}\left(y_{\varphi})+(1-y_{k})\ln(1-p_{\varphi}}\right)}$

p ${\displaystyle {\phi }_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle y\stackrel{}{}}$ $¯$ （ \ $displaystyle$ p $_${ \ $varphi$ } =$오버라인${ $y$} ）이 최대 L이므로 늘 모델의 최대 로그 우도는 다음과 같습니다.

$({ displaystyle { hat } _ { \ varphi } = K ( , \ overline { y } ) + ( 1 - { \ overline { y } ) \ ln ( 1 - { \ overline { y } ) ）$

$최적$의 ${\displaystyle {\beta \mathrm{}}_{}}$ 0$(\$ _${0})$은 다음과 같습니다.

$\displaystyle _{0}=\ln \leftfrac {y}{1-{\overline {y}}}\right}$

$여기$서 y$(\$는 y값의_k 평균입니다.다시, Y의 모든_k 순열에 대해 제안된 모델의 적합성을 개념적으로 고려할 수 있으며, 이러한 순열 적합치의 최대 로그 우도가 Null 모델보다 결코 작지 않음을 알 수 있습니다.

$(*displaystyle\hat\hat\hat\hat\varphi})$

또한 선형 회귀 분석 사례의 오류와 유사하게 로지스틱 회귀 적합치의 편차를 다음과 같이 정의할 수 있습니다.

${{displaystyle D=\ln \hat {L}^{2}}{\hat {L}_{\varphi}^2}}\right}=2mat\hat {ell}-{\hat {\varphi }}_{\hat }}$

항상 양수이거나 0일 것입니다.이러한 선택을 하는 이유는 편차가 적합도를 측정하는 좋은 척도일 뿐만 아니라 대략적인 카이 제곱 분포이며, 데이터 점 수(K)가 증가함에 따라 근사치가 개선되어 무한히 많은 데이터 점의 한계에서 정확히 카이 제곱 분포가 되기 때문입니다.선형 회귀 분석의 경우처럼, 이 사실을 사용하여 랜덤 데이터 점 집합이 제안된 모형에 의해 얻어진 적합치보다 더 나은 적합치를 제공할 확률을 추정할 수 있으며, 따라서 제안된 모형에 x개의_k 데이터 점을 포함시킴으로써 모형이 얼마나 유의하게 개선되는지 추정할 수 있습니다.

위에서 설명한 단순한 학생 시험 점수 모델의 경우, null 모델의 로그 우도 $최대값$은 ${\displaystyle {\stackrel{}{^}}_{}}$ ${\displaystyle {}_{}}$- ${\displaystyle 13.8629}$...이다${\displaystyle \mathrm{.}}$$(*displaystyle {\hat }}_{\varphi}=-13.8629...$} 단순$$ 모형의 로그 우도 $최대값$은 ${\displaystyle \stackrel{}{^}=\mathrm{}}$- ${\displaystyle 8.}$02988$...$$(*디스플레이 스타일 {\hat}}=-8.02988...)$${\displaystyle {따라서}_{}}$ 편차는$$ D${\displaystyle =}$ ${\displaystyle 2}$ ( $($${\displaystyle }$^ -${\displaystyle {\stackrel{}{}}_{}}$^${\displaystyle {}_{}}$)${\displaystyle }$) = ${\displaystyle 11.}$${\displaystyle 6661}$...$(\displaystyle D=2({\hat})-{\hat}_{\varphi})=11.6661...$$}$

유의성에 대한 카이 제곱 검정을 사용하여 11.6661에서 1개의 자유도를 갖는 카이 제곱 분포의 적분...무한대 값은 0.00063649와 같습니다.

이는 랜덤_k y에 대한 10,000개의 적합치 중 약 6개가 주어진 y보다_k 더 나은 적합치(작은 편차)를 가질 것으로 예상할 수 있으므로 제안된 모형에 x 변수와 데이터를 포함하는 것이 귀무 모형에 비해 매우 유의한 개선이라는 결론을 내릴 수 있습니다.즉, 1${\displaystyle }$- ${\displaystyle D}$ 99$94$로 귀무 가설을 기각합니다$.$

적합도 요약

선형 회귀 모형의 적합도는 일반적으로 R을 사용하여² 측정됩니다.로지스틱 회귀 분석에는 직접 아날로그가 없으므로 대신 다음과 같은 다양한^{[30]: ch.21} 방법을 사용할 수 있습니다.

편차 및 우도비 검정

선형 회귀 분석에서는 제곱합 계산을 통한 분산 분할과 관련이 있습니다. 기준의 분산은 기본적으로 예측 변수에 의해 설명되는 분산과 잔차 분산으로 나뉩니다.로지스틱 회귀 분석에서는 제곱합 계산 ^[31]대신 이탈도가 사용됩니다.이탈도는 선형 회귀^[2] 분석의 제곱합과 유사하며 로지스틱 회귀 ^[31]모형의 데이터에 대한 적합도가 부족하다는 것을 나타내는 측도입니다."포화" 모델을 사용할 수 있는 경우(이론적으로 완벽한 적합을 갖춘 모형), 주어진 모형을 포화 ^[2]모형과 비교하여 편차가 계산됩니다.이 계산은 우도비 ^[2]검정을 제공합니다.

${\displaystyle D=-2\ln {frac {적합된 모델의 가능성}} {\text {포화 모델의 가능성}}}.}$

위의 방정식에서 D는 편차를 나타내고 ln은 자연대수를 나타냅니다.이 우도비(포화 모형에 대한 적합 모형의 비율)의 로그는 음수 값을 생성하므로 음수 부호가 필요합니다.D는 대략적인 카이 ^[2]제곱 분포를 따른다는 것을 보여줄 수 있습니다.값이 작을수록 적합 모형이 포화 모형에서 덜 벗어날수록 적합도가 높다는 것을 나타냅니다.카이-제곱 분포를 평가할 때 유의하지 않은 카이-제곱 값은 설명되지 않은 분산을 매우 적게 나타내므로 모형 적합성이 우수합니다.반대로 유의한 카이-제곱 값은 유의한 양의 분산을 설명할 수 없음을 나타냅니다.

포화 모형을 사용할 수 없는 경우(일반적인 경우), 편차는 단순히 -2·(적합 모형의 로그 우도)로 계산되며, 포화 모형의 로그 우도에 대한 참조는 손상 없이 다음에 나오는 모든 항목에서 제거할 수 있습니다.

로지스틱 회귀 분석에서 특히 중요한 두 가지 이탈도 측도, 즉 귀무 이탈도와 모형 이탈도가 있습니다.Null 이탈도는 절편만 있는 모형("예측 변수가 없음"을 의미함)과 포화 모형 간의 차이를 나타냅니다.모형 이탈도는 하나 이상의 예측 변수가 있는 모형과 포화 ^[31]모형 간의 차이를 나타냅니다.이와 관련하여 Null 모형은 예측 변수를 비교할 기준선을 제공합니다.이탈도는 주어진 모형과 포화 모형 간의 차이에 대한 측도이기 때문에 값이 작을수록 적합도가 높다는 것을 나타냅니다.따라서 예측 변수 또는 예측 변수 집합의 기여도를 평가하려면 null 이탈도에서 모델 이탈도를 빼고 추정된 모수 수의 차이와 동일한 자유도를^[2] 갖는 ${\displaystyle {\mu }_{}^{}}$s - ${\displaystyle {}_{}^{}}$2$$, \$display style \chi$ _${s-p$}^2$}$ 카이-제곱$$ 분포에서 차이를 평가할 수 있다.

허락하다

$디스플레이 스타일D_{\text{null}}&=-2\ln {frac {text {null 모델의 가능성}} {\text {포화 모델의 가능성}}\[6pt]D_{\text{fitted}&=-2\ln {frac{적합모델의 우도}}{\text{포화모델의 우도}}}.\end { aligned}}$

두 가지 차이점이 있습니다.

$디스플레이 스타일D_{\text{null}-D_{\text{fitted}&=-2\left(\ln {text{null 모델의 우도}}-\ln {text{fitted 모델의 우도}}-\ln {\text{fited 모델의 우도})\[6pt]&=-2\ln {frac {\text{null 모델의 우도}{\text{포화 모델의 우도}}\right}{\text{포화 모델의 우도}}}{\text{포화 모델의 우도}}}}\right}}}\\[6pt]&=-2\ln {frac {null 모델의 우도} {\text {적합 모델의 우도}}}.\end { aligned}}$

모형 이탈도가 귀무 편차보다 유의하게 작으면 예측 변수 또는 예측 변수 집합이 모형의 적합도를 유의하게 개선한다고 결론을 내릴 수 있습니다.이는 선형 회귀 분석에서 ^[31]예측의 유의성을 평가하기 위해 사용되는 F-검정과 유사합니다.

의사 R 제곱

선형 회귀 분석에서 다중 상관 제곱 R은² 예측 변수에 ^[31]의해 설명되는 기준의 분산 비율을 나타내므로 적합도를 평가하는 데 사용됩니다.로지스틱 회귀 분석에서는 유사한 측도에 합의된 것은 없지만 각각 제한이 ^[31][32]있는 여러 개의 경쟁 측도가 있습니다.

이 페이지에서는 가장 일반적으로 사용되는 4개의 인덱스와 덜 일반적으로 사용되는 1개의 인덱스를 조사합니다.

• 우도비²_L R
• 콕스와 스넬²_CS R
• 나겔케르케²_N R
• 맥패든²_McF R
• 츄르²_T R

호스머-렘쇼 검정

더 호스머-Lemeshow 테스트는 § $(\$^{$2}})$ 분포를 점근적으로 따르는 검정 통계량을 사용하여 관측된 사건 비율이 모델 모집단의 하위 그룹에서 예상 사건 비율과 일치하는지 여부를 평가한다.이 검정은 예측 확률의 임의 ^[33]빈화와 상대적으로 낮은 검정력에 의존하기 때문에 일부 통계학자에 의해 사용되지 않는 것으로 간주됩니다.

계수 유의성

모형을 적합시킨 후 연구자들은 개별 예측 변수의 기여도를 조사하려고 할 가능성이 높습니다.이를 위해 회귀 계수를 조사하려고 합니다.선형 회귀 분석에서 회귀 계수는 ^[31]예측 변수의 각 단위 변화에 대한 기준의 변화를 나타냅니다.그러나 로지스틱 회귀 분석에서 회귀 계수는 예측 변수의 각 단위 변화에 대한 로짓의 변화를 나타냅니다.로짓이 직관적이지 않을 경우, 연구자들은 회귀 계수의 지수 함수인 승산비에 대한 예측 변수의 영향에 초점을 맞출 가능성이 높습니다(정의 참조).선형 회귀 분석에서는 t 검정을 계산하여 회귀 계수의 유의성을 평가합니다.로지스틱 회귀 분석에서는 개별 예측 변수의 유의성을 평가하기 위해 설계된 여러 가지 검정이 있으며 특히 우도비 검정과 Wald 통계량이 있습니다.

우도비 검정

모형 적합도를 평가하기 위해 위에서 설명한 우도비 검정은 주어진 ^[2][21][31]모형에 대한 개별 "예측 변수"의 기여도를 평가하는 데 권장되는 절차이기도 합니다.단일 예측 변수 모형의 경우 예측 변수 모형의 편차를 단일 자유도를 갖는 카이-제곱 분포에서 귀무 모형의 편차와 비교하기만 하면 됩니다.예측 변수 모형의 이탈도가 유의하게 작으면(두 모형의 자유도 차이를 사용한 카이-제곱 참조), "예측 변수"와 결과 사이에 유의한 연관성이 있다는 결론을 내릴 수 있습니다.일부 일반적인 통계 패키지(예: SPSS)는 우도비 검정 통계를 제공하지만, 이러한 계산 집약적인 검정이 없다면 다중 로지스틱 회귀 분석 ^{[citation needed]}사례에서 개별 예측 변수의 기여도를 평가하는 것이 더 어려울 것이다.개별 예측 변수의 기여도를 평가하기 위해 계층적으로 예측 변수를 입력하여 각 새 모형을 이전 모형과 비교하여 각 ^[31]예측 변수의 기여도를 확인할 수 있습니다.통계학자들 사이에 소위 ^{[weasel words]}"단계적" 절차의 적절성에 대한 논쟁이 있다.우려되는 것은 명목 통계적 특성을 보존하지 못하여 ^[34]오해를 살 수 있다는 것이다.

왈드 통계량

또는 주어진 모형에서 개별 예측 변수의 기여도를 평가할 때 Wald 통계량의 유의성을 조사할 수 있다.선형 회귀 분석의 t-검정과 유사한 Wald 통계량은 계수의 유의성을 평가하는 데 사용됩니다.Wald 통계량은 회귀 계수의 제곱과 계수의 표준 오차 제곱의 비율이며 카이-제곱 ^[21]분포로 점근적으로 분포됩니다.

$({displaystyle W_{j}={displayfrac_{j}^2}}{SE_{\beta _{j}}^{2}}}}$

여러 통계 패키지(예: SPSS, SAS)가 개별 예측 변수의 기여도를 평가하기 위해 Wald 통계를 보고하지만 Wald 통계에는 한계가 있다.회귀 계수가 크면 회귀 계수의 표준 오차도 커지는 경향이 있어 유형-II 오차 확률이 높아집니다.Wald 통계량은 데이터가 ^[31]희박한 경우에도 치우치는 경향이 있습니다.

케이스 컨트롤 샘플링

사례가 드물다고 가정합니다.그러면 개체군 내 감염률보다 더 자주 표본을 추출할 수 있습니다.예를 들어 10,000명 중 1명꼴로 발병하는 질병이 있다고 가정하고 데이터를 수집하기 위해서는 완전한 신체검사를 해야 합니다.소수의 병든 사람들을 위한 데이터를 얻기 위해 수천 명의 건강한 사람들을 위한 신체검사를 하는 것은 너무 비쌀 수 있다.따라서, 우리는 더 많은 질병이 있는 개인들, 아마도 모든 희귀한 결과들을 평가할 수 있다.이것은 또한 소급 표본 추출이거나 동등하게 불균형 데이터라고 합니다.일반적으로 사례 수의 5배 비율로 대조군을 추출하면 충분한 대조군 ^[35]데이터가 생성됩니다.

로지스틱 회귀 분석은 랜덤하게 추출된 데이터가 아니라 불균형 데이터에 대해 추정할 수 있지만 결과에 대한 각 독립 변수의 효과에 대한 정확한 계수 추정치를 산출할 수 있다는 점에서 특이합니다.즉, 이러한 데이터에서 로지스틱 모델을 형성하면 일반 모집단에서 모델이 올바른 경우 $0$을 $제외$한 ${\displaystyle {\beta }_{}}$j \$displaystyle$$\beta _{j$ $파라미터$는 모두 정확합니다.β ^[35]0$(\$은 다음과 같이 정확한 감염률을 알 수 있는 경우 $수정$할 수 있습니다.

${{displaystyle {\widehat}_{0}^{*}={widehat}_{0}+\log {{frac}{1-\pi }}-\log {{\tilde {1-{\tilde {pi }}}}-over {1-{\tilde {\pi }}}}}}}}}$

$여기$서 ${\$ { $displaystyle \pi$}는 실제 유병률이고$$ ~ { $displaystyle${$tilde }$는 샘플의 유병률입니다.

논의

다른 형태의 회귀 분석과 마찬가지로 로지스틱 회귀 분석에서도 연속형 또는 범주형 예측 변수를 하나 이상 사용합니다.그러나 일반 선형 회귀 분석과 달리 로지스틱 회귀 분석은 연속 결과가 아니라 제한된 수의 범주 중 하나에 포함되는 종속 변수를 예측하는 데 사용됩니다(이항 사례의 종속 변수를 베르누이 시행의 결과로 처리).이 차이를 고려할 때 선형 회귀 분석의 가정을 위반하는 것입니다.특히 잔차는 정규 분포를 따를 수 없습니다.또한 선형 회귀 분석에서는 이항 종속 변수에 대해 터무니없는 예측을 할 수 있습니다.필요한 것은 이진 변수를 실제 값(음수 또는 양수)을 취할 수 있는 연속 변수로 변환하는 방법입니다.이를 위해 이항 로지스틱 회귀 분석에서는 먼저 각 독립 변수의 서로 다른 수준에 대해 사건의 발생 확률을 계산한 다음 로그를 사용하여 종속 변수의 변환된 버전으로 연속형 기준을 생성합니다.오즈의 로그는 확률의 로짓이며 로짓은 다음과 같이 정의됩니다.

로지스틱 회귀 분석의 종속 변수는 베르누이이지만 로짓은 제한되지 않은 ^[2]척도에 있습니다.로짓 함수는 이런 종류의 일반화 선형 모델에서 링크 함수입니다.

Y는 베르누이 분포 반응 변수이고 x는 예측 변수입니다. β 값은 선형 모수입니다.

그런 다음 성공 확률의 로짓이 예측 변수에 적합됩니다.로짓의 예측 값은 자연 로그의 역수인 지수 함수를 통해 예측 오즈로 다시 변환됩니다.따라서 이항 로지스틱 회귀 분석에서 관측된 종속 변수는 0-or-1 변수이지만 로지스틱 회귀 분석에서는 종속 변수가 '성공'일 확률을 연속형 변수로 추정합니다.일부 애플리케이션에서는 확률만 있으면 됩니다.다른 경우에는 종속 변수가 '성공'인지 아닌지에 대한 구체적인 예/아니오 예측이 필요하다. 이 범주형 예측은 계산된 성공 확률에 기초할 수 있으며, 선택된 일부 컷오프 값 이상의 예측 오즈는 성공 예측으로 변환된다.

최대 엔트로피

우도 함수(프로빗 회귀, 포아송 회귀 등)를 최대화하여 적합을 최적화하는 특정 범주형 결과의 확률을 추정하는 데 사용되는 모든 함수 형태 중에서 로지스틱 회귀 솔루션은 최대 엔트로피 솔루션이라는 점에서 ^[36]독특합니다.이것은 일반적인 속성의 경우입니다.기대값이 주어지면 지수 분포 패밀리는 엔트로피를 최대화합니다.로지스틱 모델의 경우 로지스틱 함수는 베르누이 분포의 자연 모수("표준 형식"이고 로지스틱 함수는 표준 링크 함수)인 반면, 다른 Sigmoid 함수는 비표준 링크 함수이며, 이는 수학적 우아함과 최적화의 용이성을 기반으로 합니다.자세한 내용은 지수 패밀리 maximum 최대 엔트로피 도출을 참조하십시오.

증명

이를 나타내기 위해 라그랑주 승수법을 사용한다.라그랑지안은 엔트로피와 라그랑지 곱셈의 합에 다양한 제약 식을 곱한 것과 같다.단순한 경우를 고려한다고 해서 증명이 그렇게 간단하지는 않기 때문에 일반적인 다항 사례가 고려될 것이다.다양한 확률에 대한 라그랑지안의 도함수를 0으로 등분하면 로지스틱 ^[36]회귀 분석에서 사용되는 확률에 해당하는 함수 형식을 얻을 수 있습니다.

위의 다항 로지스틱 회귀 분석 섹션과 마찬가지로 x $({$으로 $표기$되며 ${\displaystyle {x\mathrm{}}_{}}$ 0 $=$({$displaystyle x_{0$}=$1$을 $포함$하는 M${\displaystyle }$+$$({$displaystyle$ M$+1})$의 설명 변수를 $검토$합니다.k ${\displaystyle =}$ { ${\displaystyle 1}$,${\displaystyle }$2${\displaystyle }$, ${\displaystyle ...}$ , $}$ { $display$ k = \ {$$$1$, 2$,$ \ $display$ , $K$\$$$}$$$$k{\displaystyle }$ by by by points by points by , points , points points points points,K ${\displaystyle {are}_{}}$ are are are are,,,K$$$$${\displaystyle {\mathrm{are}}_{}}$ are $are$,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,, = { 1, 2, 2, { display k= \ { display k = \ { \ { $display$ k = \ {또한_mk ${\displaystyle x}$는${\displaystyle }$(${\displaystyle \mathrm{M}}$+ 1)$${$displaystyle (M+1)}$ - 차원$$ 벡터 ${\displaystyle {}_{}}$ k ${\displaystyle =}$ { ${\displaystyle {}_{}}$ ${\displaystyle {0\mathrm{}}_{}{k}_{}}$ , ${\displaystyle {}_{}}$ ${\displaystyle 1_{}}$k , ${\displaystyle ...}$ , ${\displaystyle x_{}}$ M ${\displaystyle k_{}}$ { $displaystyle${$x }$ _ { $x$_ 0$k$} = \ { x _ 0 k , $x$_ 1 k }, x$_${ $K }$} 로 표시됩니다.0 ~ N 범위의 범주형 변수 y에는 N${\displaystyle }$+ $(\style$ N$+1})$의 $가능$한 값이 있습니다.

p(x)가 y ${\displaystyle =}$ {$style$ y$=$$n$$일{\displaystyle }$ 확률이라고 하자_n. p ${\displaystyle n_{}}$ ${\displaystyle k_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle {}_{}{n}_{}}$ ( ${\displaystyle {}_{}}$) { $display p_{display$ p_{dispect}=$p_{n}({\boldsymbol {x}}_{k})$를 $정의$하면 k-결과 측정의 확률은 n이다.

라그랑지안은 확률_nk p의 함수로 표현될 것이며, 이러한 확률에 대한 라그랑지안의 도함수를 0으로 동등하게 함으로써 최소화할 것이다.중요한 점은 확률이 균등하게 취급되고 그 합계가 합산된다는 사실은 처음부터 가정된 것이 아니라 라그랑주 공식의 일부라는 것이다.

라그랑지안의 첫 번째 기여는 엔트로피입니다.

${\displaystyle {L}_{ent}=-\sum _{k=1}^{K}\sum _{n=0}^{N}p_{nk}\ln(p_{nk})}$

로그 우도는 다음과 같습니다.

$\displaystyle \ell =\sum _{k=1}^{K}\sum _{n=0}^{N}\Delta (n,y_{k})\ln(p_{display})}$

다항 로지스틱 함수를 가정할 때, 베타 계수와 관련된 로그 우도의 도함수는 다음과 같습니다.

${\displaystyle {\frac\ell}{nm}=\sum _{k=1}^{K}(p_{nk}x_{mk}-\Delta (n,y_{k}x_{mk})}$

여기서 매우 중요한 점은 이 식은 (특히) 베타 계수의 명시적 함수가 아니라는 것이다.이것은_nk 확률 p와 데이터의 함수일 뿐입니다.가정된 다항 로지스틱 사례에 특정되지 않고 로그 우도가 최대화되는 상태에 대한 일반적인 설명으로 간주되며 p의 함수_nk 형식을 참조하지 않는다.다음으로 (M+1)(N+1)의 피팅 구속조건이 있으며, 라그랑지안의 피팅 구속조건 조건은 다음과 같습니다.

$({displaystyle {mathcal {L}_{fit}=\sum _{n=0}^{M}\lambda _{nm}\sum _{k=1}^{K}(p_{nk}-\Delta (n,y_{k}x_{k})})$

여기서 θ는_nm 적절한 라그랑주 승수이다.K 정규화 제약조건은 다음과 같이 기술할 수 있습니다.

$\displaystyle \sum _{n=0}^{N}p_{nk}=1}$

따라서 라그랑지안의 정규화 항은 다음과 같다.

${{displaystyle {mathcal {L}}_{norm}=\sum _{k=1}^{K}\alpha _{k}\left(1-\sum _{n=1}^{N}p_{nk}\오른쪽)}$

여기서 α는_k 적절한 라그랑주 승수이다.라그랑지안은 위의 세 가지 항의 합계이다.

${\displaystyle {\mathcal {L}}_{ent}+{\mathcal {L}_{fit}+{\mathcal {L}_{norm}}}$

확률 중 하나에 대한 라그랑지안의 도함수를 0으로 설정하면 다음과 같이 산출됩니다.

${\displaystyle {\frac {\mathcal {L} {\partial p_{n'k'}=0=-\ln(p_{n'k'})-1+\sum _{m=0}^{M}(\lambda _{n'}x_{m'})-\alpha {k'}}$

보다 축약된 벡터 표기법 사용:

$\displaystyle \sum _{m=0}^{M}\lambda _{nm}x_{blambda }=\cdot {boldsymbol {x}_{k}$

n 및 k 지수에 소수점을 드롭하고 ${\displaystyle {\mathrm{pn}}_{}}$ k$(\$displaystyle p_${display$})에$$ $대해{\displaystyle {}_{}}$ 해결하면 다음과 같은 결과가 나옵니다.

${\displaystyle p_{display}=e^{\boldsymbol {n}\cdot {boldsymbol {x}}_{k}}/Z_{k}}$

여기서:

${\displaystyle Z_{k}=e^{1+\alpha_{k}}$

정규화 제약 조건을 적용하면 Z에_k 대해 해결하고 확률을 다음과 같이 쓸 수 있습니다.

${\displaystyle p_{boldsymbol {\boldsymbol {\boldsymbol {x}_{k}}{\sum _{u=0}^{N}e^{\boldsymbol {lambda}}_{u}\cdot {boldsymbol {x}_{k}}}$

$displaystyle은 모두$ $독립적$이지 않습니다$.$${\displaystyle {각}_{}}$$$(\$displaystyle\boldsymbol\lambda}}_{n$})에$$ 임의의 상수$M$1)$$차원$$ 벡터를 추가할 수 있으며 ${\displaystyle {pn}_{}}$ k$(\$ 확률 값은 변경하지$$ 않고 N${\displaystyle }$+$$(\$displaystyle$ N$+1)$만 $사용$할 수 ${\displaystyle {}_{}}$.$(*$displaystyle$\boldsymbol\lambda}_{$$n$$\}).$ 위의 다항 로지스틱 회귀 분석 섹션에서 0$(\$$}_{$0$$$$$})$이 $각{\displaystyle {\mathit{}}_{}}$ n$(\$$displaystyle\$$})$에서 제외되었습니다$.$$}}_{$0$$}은(는) 합성에 대해 ${\displaystyle {\mathit{}}_{}}$ n${\displaystyle {}_{}}$=${\displaystyle {}_{}}$ n = β n 0 n -$$ 0 { display { \ $bold symbol$ { n$} _$ { n } - { \ $bold symbol$ { n }$_$ { n } } - {$$\ bold symbold symbol } { $0$}으로 지정되었다$.$

기타 접근법

이항 분류에 로지스틱 회귀 분석을 사용하는 기계 학습 애플리케이션에서 MLE는 교차 엔트로피 손실 함수를 최소화합니다.

로지스틱 회귀 분석은 중요한 기계 학습 알고리즘입니다.목표는 랜덤 $변수{\displaystyle }$Y(\$displaystyle$ Y$)$가 0 또는 1일 확률을 모형화하는 것입니다.^[37]

${\$ { $displaystyle \theta$ $\}$로 파라미터화된 일반화 선형 모델 함수를 생각해 보겠습니다.

$({displaystyle h_{\theta }(X)=frac {1+e^{-\theta ^{T}X}}=\Pr(Y=1\mid X;\theta)})}$

그러므로,

$\displaystyle \Pr(Y=0\mid X;\theta)=1-h_{\theta }(X)}$

Y ${\displaystyle \{}$ {${\displaystyle 0}$ , ${\displaystyle 1}$ $}$ { $displaystyle$Y \ $in$$$\ {$0$ , $1$\$$${\displaystyle \}}$ ${\displaystyle y_{}}$${\displaystyle }$、 Pr （ $y$ $X$ ;${\displaystyle }$\ $theta$）는 ${\displaystyle {}_{}}$( ${\displaystyle y^{}}$ ${\displaystyle \mid X}$ ; ) ${\displaystyle {}_{}}$ ${\displaystyle {\mathrm{h}}^{}{}^{}（1^{}}$ - h ${\displaystyle {）}^{}}$。} 이제$$ 표본의 모든 관측치가 독립적으로 베르누이 분포되어 있다고 가정하여 우도 함수를 계산한다$.$

$(\displaystyle {begin{aligned}L(\theta \mid y;x)&=\Pr(Y\mid X;\theta)\Pr(y_{i}\mid x_{i};\theta)\&=mid _{i}\ta })^{y_{i}}(1-h_{\theta}(x_{i})^{-1-y_{i})}\end {aligned}}$

일반적으로 로그 가능성은 최대화됩니다.

${\displaystyle N^{-1}\log L(\theta \mid y;x)=N^{-1}\sum _{i=1}^{N}\log \Pr(y_{i}\mid x_{i};\theta)}$

경사 강하와 같은 최적화 기법을 사용하여 극대화됩니다.

(${\displaystyle x}$ ,${\displaystyle y}$) {$displaystyle (x , y$ ) $\}{\displaystyle }$쌍이$$ 기본 분포에서 균일하게 그려지고 큰 N의 한계에서 그려진다고 가정하면,

${\displaystyle{\begin{정렬}&,\lim \limits _{N\rightarrow+\infty}N^{)}\sum _{i=1}^{N}\log \Pr(y_{나는}\mid{나는};x_ \theta)=\sum _{x\in{{X\mathcal}}}\sum _{y\in{{Y\mathcal}}}\Pr(X=x,Y=y)\log \Prᆫ\\[6pt]={}&, \sum _{x\in{{X\mathcal}}}\sum _{y\in{{Y\mathcal}}}\Pr(X=x,Y=y)\left(-\log{\frac{\Pr(Y=y\mid X=x)}{\Pr(Y=y\.중반 X=x.\theta )}}+\log \Pr(Y=y\mid X=x)\right)\\[6pt]={}&-D_{\text{KL}}(Y\parallel Y_{\theta})-H(Y\mid X)\end{aligned}}$

$여기$서 H${\displaystyle (}$ ${\displaystyle Yx}$X $)({displaystyle$ H$(Y\mid$ X$)}$는 $조건부{\displaystyle {}_{}}$ 엔트로피, $(\$는 조건부 엔트로피입니다.KL$}}$은 Kullback-Leibler 발산입니다.이를 통해 모델의 로그 우도를 최대화함으로써 최대 엔트로피 분포에서 모델의 KL 분산을 최소화할 수 있습니다.직감적으로 모수에서 가장 적게 가정하는 모델을 검색합니다.

선형 회귀 분석과의 비교

로지스틱 회귀 분석은 일반화 선형 모형의 특수한 경우로 볼 수 있으므로 선형 회귀 분석과 유사합니다.그러나 로지스틱 회귀 분석 모형은 선형 회귀 분석과 상당히 다른 가정(의존 변수와 독립 변수 간의 관계에 대한 가정)을 기반으로 합니다.특히 이 두 모형 간의 주요 차이는 로지스틱 회귀 분석의 다음 두 가지 특징에서 확인할 수 있습니다.첫째, 조건부 $분포{\displaystyle }$ y${\displaystyle \delta }$x(\$displaystyle$ y$\mid$x)는$$ 종속 변수가 2진수이기 때문에 가우스 분포가 아닌 베르누이 분포입니다.둘째, 로지스틱 회귀 분석에서는 결과 자체보다는 특정 결과의 확률을 예측하기 때문에 예측 값은 확률이므로 로지스틱 분포 함수를 통해 (0,1)로 제한됩니다.

대체 수단

로지스틱 모형(로짓 모형)의 일반적인 대안은 관련 이름에서 알 수 있듯이 프로빗 모형입니다.일반화된 선형 모델의 관점에서는 로지스틱 모델은 로짓 함수(역 로지스틱 함수)를 사용하고 프로빗 모델은 프로빗 함수(역 오차 함수)를 사용합니다.마찬가지로, 이 두 가지 방법의 잠재 변수 해석에서 첫 번째 방법은 오차의 표준 로지스틱 분포를 가정하고 두 번째 방법은 ^[38]오차의 표준 정규 분포를 가정합니다.대신 다른 S자형 함수 또는 오차 분포를 사용할 수 있습니다.

로지스틱 회귀 분석은 Fisher의 1936년 방법인 선형 판별 ^[39]분석의 대안입니다.선형 판별 분석의 가정이 유효하면 조건을 뒤집어서 로지스틱 회귀 분석을 생성할 수 있습니다.그러나 로지스틱 회귀 분석에는 판별 ^[40]분석에 대한 다변량 정규 가정이 필요하지 않기 때문에 그 반대는 참이 아닙니다.

선형 예측 변수 효과의 가정은 스플라인 ^[29]함수와 같은 기법을 사용하여 쉽게 완화될 수 있습니다.

역사

로지스틱 회귀에 대한 자세한 이력은 Cramer(2002)에 나와 있습니다.로지스틱 함수는 인구증가의 모델로 개발되었고 1830년대와 1840년대에 아돌프 케테레의 지도 아래 피에르 프랑수아 베르헐스트에 의해 "로지스틱"이라고 명명되었다. 자세한 ^[41]내용은 로지스틱 함수 § 역사를 참조하라.Verhulst는 초기 논문(1838년)에서 ^[42][43]데이터에 곡선을 적합시키는 방법을 지정하지 않았습니다.보다 상세한 논문(1845)에서 Verhulst는 곡선이 세 개의 관측점을 통과하도록 함으로써 모형의 세 가지 매개변수를 결정했는데,^[44][45] 이는 예측이 좋지 않았다.

로지스틱 함수는 화학에서 자가 촉매 분석 모델로서 독립적으로 개발되었다(Wilhelm Ostwald,^[46] 1883).자기촉매반응이란 하나의 생성물이 동일한 반응의 촉매가 되는 동시에 하나의 반응물의 공급이 고정되는 반응이다.이것은 자연스럽게 인구 증가와 같은 이유로 로지스틱 방정식을 야기한다. 즉, 반작용은 스스로 강화되지만 제약된다.

로지스틱 함수는 1920년 Raymond Pearl과 Lowell Reed에 의해 독자적으로 인구 증가 모델로 재발견되었으며, Pearl & Reed(1920) harvts error: no target: CITREFearl Red1920 (도움말)로 출판되었다.이 현대 통계에서 사용되게 되었다.그들은 처음에 Verhulst의 작품을 몰랐고 아마도 L로부터 그것에 대해 배웠을 것이다. Gustave du Pasquier, 그러나 그들은 그를 거의 신용하지 않았고 ^[47]그의 용어를 채택하지 않았다.버헐스트의 우선순위는 인정되었고 1925년 우드니 율레에 의해 "로지스틱"이라는 용어가 부활하여 그 ^[48]이후 계속 따라오고 있다.Pearl and Reed는 처음에 이 모델을 미국 인구에 적용하였고, 또한 처음에 3개의 지점을 통과함으로써 곡선을 맞췄습니다. Verhulst와 마찬가지로, 이것은 다시 좋지 않은 결과를 ^[49]낳았습니다.

1930년대에 프로빗 모델은 블리스(1934) 하비츠 오류에서 "프로빗"이라는 용어를 만든 체스터 잇너 블리스(Chester Itner Bliss)에 의해 개발되고 체계화되었으며, 가둠(1933) 하비츠 오류의 존 개덤(John Gaddum)에 의해 생성되었다. Fisher in Fisher (1935) harvts 오류: 블리스의 작업의 부록으로서 CITREFFisher1935(도움말)가 없습니다.프로빗 모델은 주로 바이오아세이에서 사용되었으며, 1860년으로 거슬러 올라가는 초기 연구가 선행되었다. 프로빗 모델 § 역사 참조.프로빗 모델은 로짓 모델의 후속 개발에 영향을 미쳤고 이들 모델은 ^[50]서로 경쟁했습니다.

로지스틱 모델은 Wilson & Worcester의 Edwin Bidwell Wilson과 그의 제자 Jane Worcester(1943)^[51]에 의해 바이오아세이에서 프로빗 모델의 대안으로 처음 사용되었을 가능성이 있다.그러나 프로빗 모델의 일반적인 대안으로서의 로지스틱 모델의 개발은 주로 조셉 버크슨의 수십 년에 걸친 작업에 의한 것이었다. 버크슨(1944)에서 시작된 harvtx 오류: no target: CITREFBerkson1944 (도움말)에서 그는 "probit"와 유추하여 "logit"을 만들고, 버크슨(1951년)을 통해 계속했다.대상: CITEREFBerkson 1951(도움말) 및 그 이후 ^[52]연도.로짓 모델은 처음에 프로빗 모델보다 열등한 것으로 간주되었지만, 특히 1960년에서 1970년 사이에 "점차적으로 ^[53]로짓과 동등한 기반을 달성했다".1970년까지 로짓 모델은 통계 저널에서 사용되는 프로빗 모델과의 동등성을 달성했고, 이후 이를 능가했다.이러한 상대적 인기는 바이오 어세이 내에서 프로빗을 대체하기보다는 바이오 어세이 외부에서 로짓의 채택과 실제에서의 비공식적인 사용에 기인했다. 로짓의 인기는 로짓 모델의 계산 단순성, 수학적 속성 및 일반성에 기인하여 ^[3]다양한 분야에서 사용할 수 있다.

그 기간 동안 다양한 개선이 이루어졌으며, 특히 데이비드 콕스는 콕스(1958)[4]에서와 같이 그러했다.

다항 로짓 모델은 Cox(1966년)와 Thiel(1969년)에서 독립적으로 도입되어 로짓 ^[54]모델의 적용 범위와 인기를 크게 높였다.1973년 대니얼 맥 패든 이산 선택의 이론, 특히 루스의 선택 공리에,[55]이것이 군수 reg에 대한 이론적 기초해 주는 다항 logit 무관한 대안이고 상대적인 선호도로 대안의 해석할 확률의 독립 가정에서 나온 것;를 보여 주면서 다항 logit과 연관시켰다.실체사이온^[54]

내선번호

다수의 내선번호가 있습니다.

• 다항 로지스틱 회귀 분석(또는 다항 로짓)은 다원 범주형 종속 변수("분류"라고도 함)의 경우를 처리합니다.값이 세 개 이상인 종속 변수를 갖는 일반적인 경우를 다종 회귀라고 합니다.
• 순서형 로지스틱 회귀 분석(또는 순서형 로짓)은 순서형 종속 변수(순서 값)를 처리합니다.
• 혼합 로짓은 종속 변수의 선택 항목 간의 상관 관계를 허용하는 다항 로짓의 확장입니다.
• 로지스틱 모형의 상호의존 변수 집합으로의 확장은 조건부 랜덤 필드입니다.
• 조건부 로지스틱 회귀 분석에서는 지층이 작을 때 일치하거나 계층화된 데이터를 처리합니다.이것은 주로 관찰 연구의 분석에 사용됩니다.

소프트웨어

대부분의 통계 소프트웨어는 이항 로지스틱 회귀 분석을 수행할 수 있습니다.

• SPSS
  • [1]: 기본 로지스틱 회귀 분석.
• 스타타
• SAS
  • 기본 로지스틱 회귀 분석을 위한 PROC 로지스틱.
  • 모든 변수가 범주형인 경우 PROC CATMOD.
  • 다단계 모형 로지스틱 회귀 분석을 위한 PROC GLIMMIX.
• R
  • glm 통계 패키지(패밀리 = ^[56]이항 사용)
  • lrmrms 패키지로
  • GLMNET 패키지: 효율적인 로지스틱 회귀를 구현합니다.
  • 혼합 효과 로지스틱 회귀 분석에 대한 lmer
  • Rfast package 명령어gm_logistic대규모 데이터를 포함하는 빠르고 무거운 계산을 위해 사용합니다.
  • 베이지안 로지스틱 회귀 분석을 위한 암 패키지
• 파이썬
  • Logit Statsmodels 모듈에 있습니다.
  • LogisticRegression Skikit-learn module
  • LogisticRegressor TensorFlow 모듈에 있습니다.
  • Theano 자습서의 로지스틱 회귀 분석 전체 예제 [2]
  • ARD 이전 코드를 사용한 베이지안 로지스틱 회귀 분석, 튜토리얼
  • ARD 이전 코드를 사용한 가변 베이즈 로지스틱 회귀 분석, 자습서
  • 베이지안 로지스틱 회귀 분석 코드, 자습서
• NCSS
  • NCSS에서의 로지스틱 회귀 분석
• 매트랩
  • mnrfit[ Statistics and Machine Learning Toolbox ]('잘못'이 0이 아닌 2로 코드화되어 있음)
  • fminunc/fmincon, fitglm, mnrfit, fitclinear, mle모두 로지스틱 회귀 분석을 수행할 수 있습니다.
• 자바(JVM)
  • LibLinear(라이브선형)
  • 아파치 플링크
  • 아파치 스파크
    • SparkML은 로지스틱 회귀 분석을 지원합니다.
• FPGA
  • Logistic Regresesion IP core FPGA의 HLS로 설정합니다.

특히 Microsoft Excel의 통계 확장 패키지에는 이 패키지가 포함되어 있지 않습니다.

「 」를 참조해 주세요.

• 로지스틱 함수
• 개별 선택
• Jarrow-Turnbull 모형
• 제한된 종속 변수
• 다항 로짓 모형
• 주문된 로짓
• 호스머-렘쇼 검정
• 브리어 점수
• mlpack - 로지스틱 회귀 분석의 C++ 구현을 포함합니다.
• 로컬 케이스-컨트롤 샘플링
• 로지스틱 모형 트리

레퍼런스

추가 정보

외부 링크

• Wikimedia Commons 로지스틱 회귀 관련 매체
• Mark Thoma의 YouTube에서의 계량경제학 강의(토픽: Logit 모델)
• 로지스틱 회귀 분석 자습서
• mlelr: 교육용 C 소프트웨어