멀티클라스 분류

머신러닝에서 멀티클라스나 다항분류는 인스턴스(instance)를 3개 이상의 클래스(instance) 중 하나로 분류하는 문제(instance를 2개 클래스 중 하나로 분류하는 것을 이진 분류라고 한다)이다.

많은 분류 알고리즘(별도로 다항 로지스틱 회귀)이 자연적으로 세 개 이상의 클래스를 사용할 수 있지만, 일부는 본질적으로 이항 알고리즘에 의해 허용된다. 그러나 이것들은 다양한 전략에 의해 다항 분류자로 바뀔 수 있다.

다중 글라스 분류는 각 인스턴스에 대해 여러 개의 라벨을 예측해야 하는 다중 라벨 분류와 혼동해서는 안 된다.

일반 전략

기존의 멀티 클래스 분류 기법은 (i) 변환에서 (i)이 2진수에서 2진수 (iii) 확장으로 분류할 수 있다.^[1]

이진 변환

이 절에서는 멀티클라스 분류 문제를 복수 이항 분류 문제로 줄이기 위한 전략을 논의한다.1 대 휴식과 1 대 1로 분류할 수 있다.멀티클래스 문제를 복수 이항문제로 축소하여 개발한 기법을 문제 변환 기법이라고도 할 수 있다.

원 vs.-휴식

One-vs.-rest^[2]^{: 182, 338}(OvR 또는 One-vs.all, OvA 또는 One-Against-all, OAA) 전략에는 클래스당 단일 분류기를 양성하고 해당 클래스의 샘플은 양성 샘플로, 다른 모든 샘플은 음성으로 교육하는 것이 포함된다.이 전략에서는 기본 분류자가 단순한 클래스 라벨이 아닌 결정에 대한 실제 가치 신뢰 점수를 생성해야 한다. 이산 클래스 라벨만으로도 단일 표본에 대해 여러 클래스가 예측되는 모호한 부분이 발생할 수 있다.^[2]^{: 182}^{[note 1]}

유사 코드에서, 2진 분류 학습자 $L$ 로 구성된 OvR 학습자의 훈련 알고리즘은 다음과 같다.

입력:

$L$ , 학습자(이항 분류자 교육 알고리즘)
$표본$ X
레이블 $y$ 여기서 y $y i$ {1, … $K$ }은(는) 샘플 $X$ 의_i 레이블이다.

출력:

$k$ ∈ {1, …, $K$ }에 대한 $분류자 k$ f 목록

절차:

{1, …, $K$ }의 각 $k$ 에 대해
- 새 레이블 벡터 $z$ 를 생성하십시오. 여기서 $z i$ = y = $y i i$ = $k$ 및 $i z$ = 0인 경우
- $X$ 에 $L$ 을 $적용$ 하고, z를 적용하여 $f$ 를_k 얻으십시오.

결정을 내리는 것은 모든 분류자를 보이지 않는 표본 $x$ 에 적용하고 해당 분류자가 가장 높은 신뢰 점수를 보고하는 라벨 $k$ 를 예측하는 것을 의미한다.

{\hat {y}={\underset {k\in \{1\ldots K\}{\n1}{\arg \\\max }\;f_{k}(x)}

이 전략은 인기가 있지만 여러 가지 문제로 골머리를 앓는 휴리스틱이다.첫째, 신뢰 값의 척도는 이항 분류자 간에 다를 수 있다.둘째로, 교육 세트에서 학급 분배가 균형을 이루더라도, 전형적으로 그들이 보는 부정적인 집합이 긍정적인 집합보다 훨씬 크기 때문에, 이항 분류 학습자들은 불균형 분포를 본다.^[2]^{: 338}

원-vs.-1

1-vs.-1(OvO) 감소에서 1명은 K-way 멀티클래스 문제에 $대해$ K $(K$ - 1) / $2개$ 의 바이너리 분류기를 훈련시킨다. 각각은 원래 훈련 세트로부터 한 쌍의 클래스 샘플을 받고, 이 두 클래스를 구별하는 법을 배워야 한다.예측시점에는 모든 $K (K$ - $1)/2$ 분류자가 보이지 않는 표본에 적용되고, "+1" 예측이 가장 많이 나온 클래스는 결합 분류자가 예측하는 투표 방식이 적용된다.^[2]^{: 339}

OvR과 마찬가지로, OvO는 입력 공간의 일부 지역이 동일한 수의 표를 받을 수 있다는 점에서 애매모호함을 겪고 있다.^[2]^{: 183}

이진에서 확장

이 절에서는 기존의 이항분류기를 확대하여 다종분류 문제를 해결하는 전략을 논의한다.신경망, 의사결정 나무, k-가장 가까운 이웃, 순진한 베이즈, 지원 벡터 머신, 멀티 클래스 분류 문제를 해결하기 위한 익스트림 학습기 등을 기반으로 여러 알고리즘이 개발되었다.이러한 유형의 기법은 알고리즘 적응기법이라고도 할 수 있다.

신경망

멀티클라스셉트론은 멀티클래스 문제에 자연적인 확장을 제공한다.출력 층에 하나의 뉴런만 있는 것이 아니라, 이진 출력을 가진 N개의 이진 뉴런이 있어 다중 등급 분류를 유도할 수 있다.실제로 신경망의 마지막 층은 대개 소프트맥스 함수층인데, 이것은 N 로지스틱 분류기의 대수적 단순화로서 N-1 다른 로지스틱 분류기의 합계에 의해 클래스당 정규화된 것이다.

익스트림 러닝 머신

익스트림 러닝 머신(ELM)은 입력 가중치와 숨겨진 노드 편향을 임의로 선택할 수 있는 단일 계층 피드-포워드 신경 네트워크(SLFN)의 특수한 경우다.멀티클래스 분류를 위해 ELM에 많은 변형과 개발이 이루어진다.

k-parents 이웃들

k-가장 가까운 이웃 kNN은 가장 오래된 비모수 분류 알고리즘으로 꼽힌다.알 수 없는 예를 분류하기 위해 해당 예에서 다른 모든 훈련 예까지의 거리를 측정한다.k 최소 거리가 식별되며, 가장 가까운 k개 이웃에 의해 가장 많이 표현되는 클래스는 출력 클래스 라벨로 간주된다.

순진한 베이즈

순진한 베이즈는 최대 후미(MAP) 원리에 근거한 성공적인 분류자다.이러한 접근방식은 당연히 세 개 이상의 세분류를 보유하는 경우까지 확장 가능하며, 조건부 독립성에 대한 근본적인 단순화 가정에도 불구하고 좋은 성과를 보인 것으로 나타났다.

의사결정 나무

의사결정 나무 학습은 강력한 분류 기법이다.트리는 이용 가능한 형상의 값을 바탕으로 훈련 데이터의 분할을 유추하여 좋은 일반화를 만들어내려고 한다.알고리즘은 자연스럽게 이진 또는 멀티클라스 분류 문제를 처리할 수 있다.리프 노드는 관련된 K 클래스를 참조할 수 있다.

서포트 벡터 머신

서포트 벡터 기계는 여백을 최대화한다는 개념, 즉 분리 하이퍼플레인에서 가장 가까운 예까지의 최소 거리를 최대화한다는 개념에 기초한다.기본 SVM은 바이너리 분류만 지원하지만 멀티클라스 분류 사례도 처리할 수 있는 확장성이 제안됐다.이러한 확장에서는 다른 등급의 분리를 처리하기 위해 최적화 문제에 추가 매개변수와 제약조건이 추가된다.

계층구분

계층적 분류는 출력 공간, 즉 트리로 나누어 다중 클래스 분류 문제를 다룬다.각 상위 노드는 여러 하위 노드로 나뉘며 각 하위 노드가 하나의 클래스만 나타낼 때까지 프로세스가 계속된다.계층적 분류에 근거한 몇 가지 방법이 제안되었다.

학습 패러다임

학습 패러다임을 바탕으로 기존의 다학급 분류 기법을 일괄학습과 온라인학습으로 분류할 수 있다.일괄 학습 알고리즘은 모든 데이터 샘플을 사전에 이용할 수 있어야 한다.전체 교육 데이터를 사용하여 모델을 교육한 후 발견된 관계를 사용하여 테스트 샘플을 예측한다.반면에 온라인 학습 알고리즘은 순차적 반복으로 모델을 점진적으로 구축한다.반복 t에서 온라인 알고리즘은 샘플 x를_t 받고 현재 모델을 사용하여 라벨 ŷ을_t 예측하며, 알고리즘은 x의_t 참 라벨인 y를_t 수신하고 샘플-라벨 쌍(x, y_t)을_t 기반으로 모델을 업데이트한다.최근 진보적 학습 기법이라는 새로운 학습 패러다임이 개발되고 있다.^[3]진보적인 학습 기법은 새로운 샘플로부터 배울 수 있을 뿐만 아니라 새로운 데이터 클래스를 배울 수 있을 뿐만 아니라 지금까지 배운 지식을 유지할 수 있다.^[4]

참고 항목

메모들

^ 다중 라벨 분류에서 OvR은 이진 관련성으로 알려져 있으며 다중 클래스의 예측은 문제가 아닌 특징으로 간주된다.

참조

^ Mohamed, Aly (2005). "Survey on multiclass classification methods" (PDF). Technical Report, Caltech.
^ ^a ^b ^c ^d ^e Bishop, Christopher M. (2006). Pattern Recognition and Machine Learning. Springer.
^ Venkatesan, Rajasekar; Meng Joo, Er (2016). "A novel progressive learning technique for multi-class classification". Neurocomputing. 207: 310–321. arXiv:1609.00085. doi:10.1016/j.neucom.2016.05.006.
^ Venkatesan, Rajasekar. "Progressive Learning Technique".

[3] 다중 라벨 분류에서 OvR은 이진 관련성으로 알려져 있으며 다중 클래스의 예측은 문제가 아닌 특징으로 간주된다.

[1] Mohamed, Aly (2005). "Survey on multiclass classification methods" (PDF). Technical Report, Caltech.

[bishop-2] Bishop, Christopher M. (2006). Pattern Recognition and Machine Learning. Springer.

[4] Venkatesan, Rajasekar; Meng Joo, Er (2016). "A novel progressive learning technique for multi-class classification". Neurocomputing. 207: 310–321. arXiv:1609.00085. doi:10.1016/j.neucom.2016.05.006.

[5] Venkatesan, Rajasekar. "Progressive Learning Technique".

[1]

[2]

[note 1]

[3]

[4]

Search