탄력적 망정규화

통계학, 특히 선형 또는 로지스틱 회귀 모형의 적합에서 탄성 순은 라쏘 및 능선 방법의₁ L 및 L₂ 패널티를 선형으로 결합하는 정규화된 회귀 방법입니다.

사양

탄성망법은 다음을 기반으로 패널티 함수를 사용하는 최소 절대수축선택연산자(LASSO) 방식의 한계를 극복합니다.

$\displaystyle \\displaystyle \_{1}=\textstyle \sum _{j=1}^{p} \displaystyle _{j} .}$

이 패널티 기능의 사용에는 ^[1]몇 가지 제한이 있습니다.예를 들어, "큰 p, 작은 n" 사례(예시가 적은 고차원 데이터)의 경우, LASSO는 포화되기 전에 최대 n개의 변수를 선택한다.또한 상관성이 높은 변수 그룹이 있는 경우, LASO는 한 그룹에서 하나의 변수를 선택하고 다른 변수를 무시하는 경향이 있습니다.이러한 한계를 극복하기 위해 탄성 네트는 패널티에 2차 부분(${\$ 2 \ $displaystyle$ \ \ $beta \$ ^ {$\}$ )을 추가합니다.이 부분만 사용하면 리지 회귀(티코노프 정규화라고도 함)가 됩니다.탄력순법의 추정치는 다음과 같이 정의된다.

${\displaystyle {\hat}\equiv {\operatorname {argmin}}(y-X\beta\beta\^{2}+\lambda_{1}\beta_{1})}$

2차 패널티 항은 손실 함수를 강하게 볼록하게 하므로 고유한 최소값을 가집니다.탄성망법에는 LASO 및 능선회귀가 포함됩니다. 즉, 각 방법은 ${\displaystyle {1\mathrm{}}_{}}$ ${\displaystyle 1}$ ${\displaystyle {}_{}}$、 ${\displaystyle {2\mathrm{}}_{}}$ ${\displaystyle {}_{}}$ \$display$ \ $da$ _ { 1 } = \ $display$ \ da _ { \ display $da$_ { ${\displaystyle {1\mathrm{}}_{}}$ } $=$0 , ${\displaystyle 1}$ 2 ${\displaystyle {}_{}}$\ $display$ \ $da${ $0$$0$ da { 0 $}$인 특수한 경우입니다$.$ds 추정기는 2단계 절차로 각각 고정 ${\displaystyle {2\mathrm{}}_{}}$ 2$(\$ _${2})$에 대해 능선 회귀 계수를 구한 후 LASSO 유형 수축한다.이러한 추정은 이중으로 수축되어 치우침이 심해지고 예측이 잘 되지 않습니다.예측 성능을 향상시키기 위해 추정된 계수에${\displaystyle }$(${\displaystyle 1}$ ${\displaystyle +}$ ${\displaystyle {2\mathrm{}}_{}}$2$)\displaystyle (1+\lambda$ _${2$^[1]을 곱하여 탄성 순의 계수를 조정하기도 한다.

탄력순법이 적용된 예는 다음과 같다.

• 서포트 벡터^[2] 머신
• 메트릭^[3] 러닝
• 포트폴리오 최적화^[4]
• 암^[5] 예후

벡터 머신을 지원하기 위한 감소

2014년 말, 탄성 네트가 선형 지지 벡터 기계로 ^[6]환원될 수 있다는 것이 입증되었다.2014년 ^[7]LASSO에서도 이와 유사한 감소가 입증되었다.저자들은 탄성 망의 모든 사례에 대해 선형 지지 벡터 머신(SVM)의 하이퍼 평면 솔루션이 $솔루션{\displaystyle }$β($$$재스케일링$ 후$)$와 동일하도록 인공 이항 분류 문제를 구성할 수 있음을 보여주었다.이러한 감소로 탄력적인 네트워크 문제에 대해 고도로 최적화된 SVM 솔버를 즉시 사용할 수 있게 되었습니다.또한 GPU 가속을 사용할 수 있습니다. GPU 가속은 이미 대규모 SVM ^[8]솔버에 많이 사용되고 있습니다.감소는 원래 데이터와 정규화 상수의 단순한 변환입니다.

$\displaystyle X\in {mathbb {R} {n\times p}, y\in {mathbb {R} {n},\lambda _{1}\geq 0,\lambda _{2}\geq 0}$

새로운 인공 데이터 인스턴스 및 이진 분류 문제와 SVM 정규화 상수를 지정하는 정규화 상수로 변환합니다.

${\displaystyle X_{2}\in {mathbb {R}^{2p\times n}, y_{2}\in \{-1,1\}^2p},C\geq 0.}$

여기서 $(\$는 바이너리${\displaystyle }$라벨${\displaystyle }$- ${\displaystyle 1}$, 1$(\${-$1,1$로 구성됩니다. 경우 2p>(\$displaystyle 2p >$ n)의 경우 일반적으로 리니어 SVM을 프라이멀로 해결하는 것이 고속이지만, 그렇지 않으면 듀얼 포맷이 고속입니다.일부 저자는 변환을 Support Vector Elastic Net(SVEN)이라고 부르며 다음과 같은 MATLAB 유사 코드를 제공했습니다.

함수 β=SVEN(X,y,t,θ2); [n,p]=size(X), X,y./t); X2 = [bsxfun(@bsxfun(@plus,X,y./t)]; Y2 =[ones(p,1); if ]2p; wp;*(X2*w),0), 그렇지 않으면 α = SVMDual(X2, Y2, C = 1/(2*µ2); β = t * (α(1:p) - α(p+1:2p) / sum(α);

소프트웨어

• "Glmnet: Lasso and Elastic-net 정규화된 리니어 모델"은 R 소스 패키지 및 MATLAB ^[9][10]툴박스로 구현되는 소프트웨어입니다.여기에는 정규화 경로를 따라 계산된 순환 좌표 강하를 사용하여 θ₁(라소), θ(다리 회귀) 및 두 패널티 혼합₂(탄성 망)을 가진 일반화 선형 모델의 추정을 위한 빠른 알고리즘이 포함된다.
• JMP Pro 11에는 Generalized Regression Personality with Fit Model을 사용한 탄력적인 네트 정규화가 포함되어 있습니다.
• "일부러:고차원 데이터와 병렬화된 반복 패널티 회귀의 시뮬레이션은 예측 ^[11][12]정확도 향상을 가져온다고 주장되는 방법인 δ 파라미터의 대체 병렬화된 "2D" 튜닝 방법을 구현한다.
• skikit-learn에는 선형 회귀 분석, 로지스틱 회귀 분석 및 탄성 순 정규화를 사용하는 선형 지지 벡터 기계가 포함됩니다.
• SVEN은 Support Vector Elastic Net의 Matlab 구현입니다.이 솔버는 Elastic Net 문제를 SVM 바이너리 분류 인스턴스로 줄이고 Matlab SVM 솔버를 사용하여 해결 방법을 찾습니다.SVM은 쉽게 병렬화할 수 있기 때문에 ^[13]최신 하드웨어에서는 코드가 Glmnet보다 빠를 수 있습니다.
• SpaSM은 탄성 순 정규 회귀 분석을 포함한 ^[14]희박한 회귀 분석, 분류 및 주성분 분석의 Matlab 구현입니다.
• Apache Spark는 MLlib 머신 러닝 라이브러리에서 Elastic Net Regression을 지원합니다.메서드는 보다 일반적인 LinearRegration ^[15]클래스의 매개 변수로 사용할 수 있습니다.
• SAS(소프트웨어)SAS 절차^[16] Glmselect는 모델 선택을 위한 탄성 네트 정규화 사용을 지원합니다.

레퍼런스

추가 정보

• Hastie, Trevor; Tibshirani, Robert; Friedman, Jerome (2017). "Shrinkage Methods" (PDF). The Elements of Statistical Learning : Data Mining, Inference, and Prediction (2nd ed.). New York: Springer. pp. 61–79. ISBN 978-0-387-84857-0.

외부 링크

• Elastic Net을 통한 정규화 및 변수 선택(프레젠테이션)