최소각 회귀 분석

이 글은 대부분의 독자들이 이해하기에는 너무 기술적인 것일 수도 있다. 기술 세부 정보를 제거하지 않고 비전문가가 이해할 수 있도록 개선하십시오.(2018년 4월) (이 템플릿 메시지를 제거하는 방법 및 시기 학습)

다음에 대한 시리즈 일부
회귀분석
모델
선형 회귀 분석 단순 회귀 분석 다항식 회귀 분석 일반 선형 모형
일반화 선형 모형 이산선택 이항 회귀 분석 이항 회귀 분석 로지스틱 회귀 분석 다항 로지스틱 회귀 분석 혼합 로짓 프로빗 다항 프로빗 주문형 로짓 주문 프로빗 포아송
다단계 모델 고정 효과 랜덤 효과 선형 혼합 효과 모형 비선형 혼합효과 모형
비선형 회귀 분석 비모수 세미파라메트릭 로버스트 퀀틸레 동위원소 주성분 최소 각도 국부적 세그먼트화
변수 내 오류
추정
최소 제곱 선형 비선형
보통 가중치 일반화
부분적 합계 비음성 능선 회귀 분석 정규화된
최소 절대 편차 반복적으로 다시 가중치 부여 베이시안 베이시안 다변량
배경
회귀 유효성 검사 평균 및 예측 반응 오차 및 잔차 적합도 학생화 잔차 가우스-마르코프 정리
수학포털
v t

통계에서 최소각 회귀(LARS)는 브래들리 에프론, 트레버 헤스티, 이아인 존스톤, 로버트 티비라니 등이 개발한 고차원 데이터에 선형 회귀 모형을 적합시키는 알고리즘이다.^[1]

반응 변수가 잠재적 공변량의 부분 집합의 선형 조합에 의해 결정되기를 기대한다고 가정합시다. 그런 다음, LARS 알고리즘은 계수와 함께 포함할 변수의 추정치를 산출하는 방법을 제공한다.

벡터 결과를 주는 대신, LARS 솔루션은 파라미터 벡터의 L1 규범 각 값에 대한 솔루션을 나타내는 곡선으로 구성된다. 알고리즘은 전진 단계적 회귀 분석과 유사하지만 각 단계에서 변수를 포함하지 않고 추정된 모수가 잔차와의 상관관계에 대해 등각형 방향으로 증가한다.

장단점

LARS 방법의 장점은 다음과 같다.

1. 그것은 전진 선택과 마찬가지로 계산적으로 빠르다.
2. 전체 조각으로 구성된 선형 솔루션 경로를 생성하며, 교차 검증 또는 유사한 시도로 모델을 조정할 때 유용하다.
3. 두 변수가 반응과 거의 동일한 상관 관계를 갖는 경우 계수는 거의 동일한 속도로 증가해야 한다. 따라서 알고리즘은 직관이 기대하는 대로 작용하며, 또한 더 안정적이다.
4. 라소 및 전진 단계적 회귀 분석과 같이 유사한 결과를 생성하는 다른 방법에 대한 효율적인 알고리즘을 생성하도록 쉽게 수정된다.
5. p >> n (예: 예측 변수 p의 수가 n 점의 수보다 유의하게 큰 경우)의 맥락에서 효과적이다.^[2]

LARS 방법의 단점은 다음과 같다.

1. 종속변수의 잡음 양과 고차원 다중공선 독립변수의 경우, 선택한 변수가 실제 기저 인과변수일 가능성이 높다고 믿을 이유가 없다. 이 문제는 기본적인 결정론적 요소들을 찾으려고 하는 가변 선택 접근방식의 일반적인 문제이기 때문에 LARS에만 국한되지 않는다. 그러나 LARS는 잔차의 반복적인 재장착에 기초하기 때문에 소음의 영향에 특히 민감한 것으로 보인다. 이 문제는 웨이스버그가 에프론 외 연구소의 토론 섹션에서 상세히 논하고 있다. (2004)통계연보.^[3] Weisberg는 변수 선택이 고도로 상관관계가 있는 변수에 문제가 있는 것으로 보인다는 점을 LARS 검증에 처음 사용된 데이터의 재분석에 근거한 경험적 사례를 제시한다.
2. 실제 세계의 거의 모든 고차원 데이터는 우연히 적어도 일부 변수에 걸쳐 어느 정도 공정한 수준의 공선성을 나타낼 것이기 때문에, LARS가 상관된 변수와 함께 가지고 있는 문제는 그것의 적용을 고차원 데이터로 제한할 수 있다.

알고리즘.

최소각 회귀 알고리즘의 기본 단계는 다음과 같다.

• 모든 계수 $\beta {\displaystyle }$ ${\displaystyle \beta }$을(를) 0으로$$ 시작하십시오.
• $예측{\displaystyle }$ 변수 $x{\displaystyle {}_{}}$ ${\displaystyle j_{}}$ ${\$를 찾으십시오. y$${\$displaystyle y$}
• $계수{\displaystyle }$ $\beta {\displaystyle {}_{}}$ ${\displaystyle j_{}}$ ${\$를 y ${\displaystyle$ y$}$과(와) 상관 기호 방향으로$$ 늘리십시오$.$ 도중에$$ 잔차 $r{\displaystyle }$= ${\displaystyle y}$- ${\displaystyle y\hat{}}$ ${\$ {$y}}$을(를) 취하십시오. 일부 다른 예측 변수 ${\displaystyle x_{}}$ ${\$이(가) ${\displaystyle x_{}}$ j ${\$만큼 $r{\displaystyle }$ ${\displaystyle r}$과(와) 상관 관계가 있을 때$$ 중지하십시오.
• 일부 다른 예측 변수 $x{\displaystyle {}_{}}$ ${\displaystyle m_{}}$ ${\$이(가) $잔존{\displaystyle }$ r$${\displaystyle$$r}과(와)만큼의 상관관계가$$ 있을 때까지(${\displaystyle {}_{}}$ ${\displaystyle j_{}}$ ${\$ $\beta _{k},$$$$\beta {\displaystyle {}_{}}$ ${\displaystyle k_{}}$ ${\$$displaystyle r$$\})$를 결합 최소 제곱 방향으로 늘리십시오$.$
• ${\displaystyle {일부}_{}}$ 다른 예측 변수 $x{\displaystyle {}_{}}$ ${\displaystyle n_{}}$ ${\$$$\$beta_$${$j},$$$\beta {\displaystyle {}_{}}$ ${\displaystyle k_{}}$ ${\$을(를) 잔차 $r{\displaystyle }$ ${\displaystyle x_$${n$$}$과(${\displaystyle {}_{}}$)만큼의 상관 관계가 있을$$ 때까지 공동 최소 제곱 ${\displaystyle {방향}_{}}$으로 증가하십시오$.$
• 다음까지^[4] 계속: 모든 예측 변수가 모형에 있음

소프트웨어 구현

최소각 회귀는 라르스 패키지를 통해 R, 스크키트 학습 패키지를 통해 Python, GLMSELECT 절차를 통해 SAS에서 구현된다.

참고 항목

• 고차원 통계량
• 라소(통계)
• 회귀분석
• 모델 선택

참조