순서형 회귀

통계학에서 순서형 분류라고도 불리는 순서형 회귀는 순서형 변수, 즉 서로 다른 값 사이의 상대적 순서만 중요한 임의의 척도에 존재하는 변수를 예측하는 데 사용되는 회귀 분석의 한 유형이다.그것은 회귀와 ^[1]^[2]분류 사이의 중간 문제로 간주될 수 있다.순서 회귀 분석의 예로는 순서 로짓과 순서 프로빗이 있습니다.순서형 회귀는 정보 검색뿐만 아니라 사회과학에서 자주 나타난다. 예를 들어, 인간 선호 수준의 모델링("매우 불량"에서 "우수"까지의 척도 1~5).기계 학습에서 순서 회귀는 랭킹 학습이라고도 ^[3]^[a]할 수 있다.

순서형 회귀 분석을 위한 선형 모형

순서형 회귀는 계수 벡터와 일련의 임계값을 데이터 세트에 모두 적합한 GLM(Generalized Linear Model)을 사용하여 수행할 수 있습니다.길이-p $벡터 1$ x ~ $x$ 로_n 표현되는 일련의 관측치가 y ~ $y$ 와_n 관련된 $응답 1$ y ~ k가 있다고 가정합니다. 여기서 $각 i$ y는 $척도$ 1, $...,$ $K$ 의 서수 변수이며, 단순성을 위해 y는 비감소 벡터, 즉 y_i $≤$ \ $display$ style \ $leq }$ $y$ 라고 $\leq$ _i+1 $가정$ 합니다.이 데이터에는 길이-p계수 $벡터$ w와 $일련$ 의₁ $임계값 1 ...,$ $...,$ $with$ 를_K−1 < < $<$ < $this 2 K -1$ this 。이 임계값 세트는 K $응답레벨$ 에 대응하는 K개의 분리된 세그먼트로 나눕니다)로 나눕니다.

이제 모델을 다음과 같이 공식화할 수 있습니다.

\displaystyle \Pr(y\leq i\mid \mathbf {x})=\displays (\theta _{i}-\mathbf {w} \cdot \mathbf {x})}

또는, $반응$ y가 $최대$ i일 확률은 $x$ 의 선형 함수에 적용되는 $함수$ θ(역링크 함수)에 의해 주어진다. $θ$ 에 대한 몇 가지 선택지가 존재한다; 로지스틱 함수

\displaystyle \mathbf {w} \cdot \mathbf {x} = scdfrac {1} {1+e^{-(\theta _{i}-\mathbf {w} \cdot \mathbf {x}}} }

는 순서 있는 로짓 모델을 제공하는 반면, 프로빗 함수를 사용하면 순서 있는 프로빗 모델을 제공합니다.세 번째 옵션은 지수 함수를 사용하는 것입니다.

\displaystyle \mathbf {w} \cdot \mathbf {x} = \expa\exp(\theta _{i}-\mathbf {w} \cdot \mathbf {x} ) }

비례 위험 ^[4]모델을 제공합니다.

잠재 변수 모형

위의 모델의 프로빗 버전은 다음과 같이 결정되는^[5] 실제 값 잠재 변수(관측되지 않은 양) $y*$ 의 존재를 가정함으로써 정당화될 수 있다.

\displaystyle y^{*}=\mathbf {w} \cdot \mathbf {x} +\varepsilon }

여기서 $θ$ 는 보통 $x$ 를 조건으로 평균과 단위 분산을 0으로 분포한다.반응 $변수$ y는 y $*$ 의 "불완전한 측정"에서 비롯되며, 여기서 y $*$ 가 포함되는 구간만 결정합니다.

y=case}1&{\text{if}1&{~y^{*}\leq \theta _{1}<y^{*}\leq \theta _{2},\text{if}~\theta _{q}\text{if}~\theq}\theq^{1}\end {case}

$위$ 는₀"= - $"$ 및 $"="$ 를_K 정의하면 $"< y *"$ 인_k−1_k 경우에만 y = k"로 요약할 수 있습니다.

이러한 가정으로부터, 다음과^[5] $같은$ y의 조건부 분포를 도출할 수 있다.

{\displaystyle {begin{aligned}P(y=k\mid \mathbf {x})&=P(\theta _{k-1}<y^{*}\leq \theta _{k}\mad \mathbf {x})\&=P(\theta _{k-1}<\mathbotf})

여기서 $δ$ 는 표준 정규분포의 누적분포함수로 역링크 함수 $δ$ 의 역할을 합니다.단일 교육 $예제 i$ x, $y$ 에_i 대한 모델의 로그 우도는 다음과 같이 나타낼^[5] 수 있습니다.

\displaystyle \log \mathcal {L} (\mathbf {w} , \mathbf {x} _{i} , y_{i} = \sum _ {k} {k} \Phi ( \theta _ k } - \mathbf { cd } )

(Iverson괄호 사용 [ $y i$ = $k$ ]).순서 로짓 모형의 로그 우도는 ^[6] $δ$ 대신 로지스틱 함수를 사용하는 것과 유사합니다.

대체 모델

기계 학습에서 순서 회귀의 잠재 변수 모델에 대한 대안이 제안되었다.초기 결과는 다양한 순위를 분리하는 다중 병렬 하이퍼플레인을 발견한 퍼셉트론 알고리즘의 변형인 PRank였다. 그 출력은 정렬된 로짓/프로빗 모델에서와 같이 가중 $벡터$ w와 $K-1$ 임계값 $θ$ 의 정렬된 벡터이다.이 모델의 예측 규칙은 $wx$ < ^[7] $θ$ 이_k 되도록 가장 작은 $순위$ k를 출력하는 것입니다.

다른 방법들은 벡터 ^[8]^[9]머신을 지원하는 대마진 학습의 원리에 의존한다.

또 다른 접근법 레니와 Srebro, 주문한 logit에 프로 빗 모델을 주문했다 그"심지어 그냥 단순해 보이지 않은 예측의 가능성 평가"실현에 의해서 주어진다 분류(힌지 손실 및 로그 손실과 같은)의 서수적 사건에 공통 손금 기능을 채택해 서수적 회귀 모델 피팅을 제안한다.[10]

소프트웨어

ORCA(Ordinal Regression and Classification Algorithms)는 광범위한 순서 회귀 방법을 ^[11]포함하는 옥타브/MATLAB 프레임워크이다.

순서형 회귀법을 제공하는 R 패키지에는 MASS 및 순서형 ^[13]회귀법이 있습니다^[12].

「」를 참조해 주세요.

로지스틱 회귀 분석

메모들

^ 순위를 매기는 것을 배우는 것과 혼동하지 마세요.

레퍼런스

^ Winship, Christopher; Mare, Robert D. (1984). "Regression Models with Ordinal Variables" (PDF). American Sociological Review. 49 (4): 512–525. doi:10.2307/2095465. JSTOR 2095465.
^ Gutiérrez, P. A.; Pérez-Ortiz, M.; Sánchez-Monedero, J.; Fernández-Navarro, F.; Hervás-Martínez, C. (January 2016). "Ordinal Regression Methods: Survey and Experimental Study". IEEE Transactions on Knowledge and Data Engineering. 28 (1): 127–146. doi:10.1109/TKDE.2015.2457911. hdl:10396/14494. ISSN 1041-4347.
^ Shashua, Amnon; Levin, Anat (2002). Ranking with large margin principle: Two approaches. NIPS.
^ McCullagh, Peter (1980). "Regression models for ordinal data". Journal of the Royal Statistical Society. Series B (Methodological). 42 (2): 109–142.
^ ^a ^b ^c Wooldridge, Jeffrey M. (2010). Econometric Analysis of Cross Section and Panel Data. MIT Press. pp. 655–657. ISBN 9780262232586.
^ Agresti, Alan (23 October 2010). "Modeling Ordinal Categorical Data" (PDF). Retrieved 23 July 2015.
^ Crammer, Koby; Singer, Yoram (2001). Pranking with ranking. NIPS.
^ Chu, Wei; Keerthi, S. Sathiya (2007). "Support vector ordinal regression". Neural Computation. 19 (3): 792–815. CiteSeerX 10.1.1.297.3637. doi:10.1162/neco.2007.19.3.792. PMID 17298234.
^ Herbrich, Ralf; Graepel, Thore; Obermayer, Klaus (2000). "Large Margin Rank Boundaries for Ordinal Regression". Advances in Large Margin Classifiers. MIT Press. pp. 115–132.
^ Rennie, Jason D. M.; Srebro, Nathan (2005). Loss Functions for Preference Levels: Regression with Discrete Ordered Labels (PDF). Proc. IJCAI Multidisciplinary Workshop on Advances in Preference Handling.
^ orca: Ordinal Regression and Classification Algorithms, AYRNA, 2017-11-21, retrieved 2017-11-21
^ "Modern Applied Statistics with S, 4th ed". www.stats.ox.ac.uk. Retrieved 2020-07-15.
^ Christensen, Rune Haubo B. (2020-06-05), runehaubo/ordinal, retrieved 2020-07-15

추가 정보

Agresti, Alan (2010). Analysis of ordinal categorical data. Hoboken, N.J: Wiley. ISBN 978-0470082898.
Greene, William H. (2012). Econometric Analysis (Seventh ed.). Boston: Pearson Education. pp. 824–842. ISBN 978-0-273-75356-8.
Hardin, James; Hilbe, Joseph (2007). Generalized Linear Models and Extensions (2nd ed.). College Station: Stata Press. ISBN 978-1-59718-014-6.

[4] 순위를 매기는 것을 배우는 것과 혼동하지 마세요.

[1] Winship, Christopher; Mare, Robert D. (1984). "Regression Models with Ordinal Variables" (PDF). American Sociological Review. 49 (4): 512–525. doi:10.2307/2095465. JSTOR 2095465.

[2] Gutiérrez, P. A.; Pérez-Ortiz, M.; Sánchez-Monedero, J.; Fernández-Navarro, F.; Hervás-Martínez, C. (January 2016). "Ordinal Regression Methods: Survey and Experimental Study". IEEE Transactions on Knowledge and Data Engineering. 28 (1): 127–146. doi:10.1109/TKDE.2015.2457911. hdl:10396/14494. ISSN 1041-4347.

[3] Shashua, Amnon; Levin, Anat (2002). Ranking with large margin principle: Two approaches. NIPS.

[mccullagh-5] McCullagh, Peter (1980). "Regression models for ordinal data". Journal of the Royal Statistical Society. Series B (Methodological). 42 (2): 109–142.

[wooldridge-6] Wooldridge, Jeffrey M. (2010). Econometric Analysis of Cross Section and Panel Data. MIT Press. pp. 655–657. ISBN 9780262232586.

[7] Agresti, Alan (23 October 2010). "Modeling Ordinal Categorical Data" (PDF). Retrieved 23 July 2015.

[8] Crammer, Koby; Singer, Yoram (2001). Pranking with ranking. NIPS.

[9] Chu, Wei; Keerthi, S. Sathiya (2007). "Support vector ordinal regression". Neural Computation. 19 (3): 792–815. CiteSeerX 10.1.1.297.3637. doi:10.1162/neco.2007.19.3.792. PMID 17298234.

[10] Herbrich, Ralf; Graepel, Thore; Obermayer, Klaus (2000). "Large Margin Rank Boundaries for Ordinal Regression". Advances in Large Margin Classifiers. MIT Press. pp. 115–132.

[11] Rennie, Jason D. M.; Srebro, Nathan (2005). Loss Functions for Preference Levels: Regression with Discrete Ordered Labels (PDF). Proc. IJCAI Multidisciplinary Workshop on Advances in Preference Handling.

[12] orca: Ordinal Regression and Classification Algorithms, AYRNA, 2017-11-21, retrieved 2017-11-21

[13] "Modern Applied Statistics with S, 4th ed". www.stats.ox.ac.uk. Retrieved 2020-07-15.

[14] Christensen, Rune Haubo B. (2020-06-05), runehaubo/ordinal, retrieved 2020-07-15

[1]

[2]

[3]

[a]

[4]

[5]

[6]

[7]

[8]

[9]

[11]

[13]

[12]

Search

순서형 회귀

네임스페이스

더

목차