분류자 체인

분류자 체인은 다중 라벨 분류에서 문제 변환을 위한 기계 학습 방법입니다.이는 분류를 ^[1]위해 라벨 의존성을 고려할 수 있는 동시에 바이너리 관련성 방법의 계산 효율을 결합합니다.

문제의 변환

몇 가지 문제 변환 방법이 있습니다.그 중 하나가 이진 관련성 방법(BR)입니다. ${\mathit {L}}\,$ 세트 L $displaystyle {L}})$ 및 ${\mathit {L}}\,$ ${\mathit {(x,Y)}}\,$ 형식 인스턴스( ${\mathit {(x,Y)}}\,$ $Y) {(x,Y$ $)}}}})$ 가 ${\mathit {(x,Y)}}\,$ 포함된 데이터 세트가 ${\mathit {x}}\,$ 되면 $Y\subseteq L$ ${\mathit {x}}\,$ displaystyle { $x})$ 는 ${\mathit {x}}\,$ 피쳐 $Y\subseteq L$ 이고 Y $({displaystyle$ Y\ $subseteQ)$ 는 $Y\subseteq L$ 라벨 세트에 할당됩니다.BR은 데이터 세트를 L $(\$ L\ $right\$ vert $)$ 데이터 $\left\vert L\right\vert$ 세트로 $\left\vert L\right\vert$ 하고 L(\ $displaystyle$ $\$ $left$ $\vert$ L $\$ $H:X\rightarrow \{l,\neg l\}$ $\vert$ L $\$ vert $)$ 이진 $\left\vert L\right\vert$ 분류기 H: $\left\vert L\right\vert$ $H:X\rightarrow \{l,\neg l\}$ { $l$ , $}(\displaystyle H:$ X\ $rightarrow \{l$ , $neg})$ 를 $H:X\rightarrow \{l,\neg l\}$ $\left\vert L\right\vert$ 합니다 $l\in L$ 라벨간의 bout 의존성은 유지되지 않습니다.이로 인해 데이터 세트에서 라벨이 함께 발생하는 일은 없지만 라벨 세트가 인스턴스에 할당되는 상황이 발생할 수 있습니다.따라서 라벨 공존에 대한 정보는 올바른 라벨 조합을 할당하는 데 도움이 됩니다.이러한 정보가 손실되면 분류 ^[2]성능이 저하될 수 있습니다.

라벨의 상관관계를 고려하는 또 하나의 접근방식은 Label Powerset 방식(LP)입니다.데이터 세트의 각 레이블 조합은 단일 레이블로 간주됩니다.변환 후 단일 라벨 $H:X\rightarrow {\mathcal {P}}(L)$ H : $H:X\rightarrow {\mathcal {P}}(L)$ $H:X\rightarrow {\mathcal {P}}(L)$ ( $H:X\rightarrow {\mathcal {P}}(L)$ ) { $displaystyle$ H : $X$ \ $rightarrow$ { $P }$ （ L ）。 ${\mathcal {P}}(L)$ 서 ${\mathcal {P}}(L)$ P ( ${\mathcal {P}}(L)$ ) { $displaystyle$ { $P$ ${\mathcal {P}}(L)$ } ( $L$ )는 $H:X\rightarrow {\mathcal {P}}(L)$ ${\mathcal {P}}(L)$ ${\mathit {L}}$ 이 L \ $display style$ { P ${\mathit {L}}$ main ${\mathit {L}}$ the the the the the the the the the의 모든 라벨의 멱집합이다.라벨의 수에 따라 기하급수적으로 증가합니다.예를 들어, 10개의 라벨이 있는 다중 라벨 데이터 세트는 $2^{10}=1024$ $2^{10}=1024$ 의 10 $=$ $2^{10}=1024$ { $displaystyle$ 2 $^{10}=label$ 조합을 $2^{10}=1024$ 가질 수 있습니다.그러면 분류 실행 시간이 늘어납니다.

Classifier Chains 방식은 BR 방식을 기반으로 하며 다수의 라벨에서도 효율적입니다.또한 라벨 간의 의존성을 고려합니다.

방법 설명

특정 ${\mathit {L}}\,$ 세트 L $displaystyle\mathit$ { $L}})$ 에 ${\mathit {L}}\,$ 대해 분류자 체인 모델(CC)은 이진 관련성 메서드와 같이 L $(\$ L $\right\vert}$ 분류자를 $\left\vert L\right\vert$ 합니다.모든 분류자는 피쳐 공간을 통해 체인으로 연결됩니다.

$i$ $\style$ i-instance가 $i$ $형식$ $,$ $Yi)$ 인 데이터 세트를 지정하면 $,$ $Y_{i}}}},},},$ ${\mathit {Y_{i}}}\,$ 서 ${\mathit {(x_{{i}},Y_{{i}})}}\,$ $Yi(\displaystyle$ { $Y_{i}},}$ 는 ${\mathit {Y_{{i}}}}\,$ 라벨의 서브셋, $displaystyle {x_{i}})$ 는 ${\mathit {x_{{i}}}}\,$ 기능 세트입니다.데이터 세트는 L $\left\vert L\right\vert$ {\ $displaystyle \left\vert$ L $\right\vert}$ 데이터 $\left\vert L\right\vert$ 세트로 $\left\vert L\right\vert$ 됩니다. $((x_{i},l_{1},...,l_{j-1}),l_{j}),l_{j}\in \{0,1\}$ 서j {\ $displaystyle$ j $}$ -th $j$ 데이터 세트의 인스턴스는 $((x_{i},l_{1},...,l_{j-1}),l_{j}),l_{j}\in \{0,1\}$ ( $((x_{i},l_{1},...,l_{j-1}),l_{j}),l_{j}\in \{0,1\}$ i , $((x_{i},l_{1},...,l_{j-1}),l_{j}),l_{j}\in \{0,1\}$ , $((x_{i},l_{1},...,l_{j-1}),l_{j}),l_{j}\in \{0,1\}$ . , $((x_{i},l_{1},...,l_{j-1}),l_{j}),l_{j}\in \{0,1\}$ - $((x_{i},l_{1},...,l_{j-1}),l_{j}),l_{j}\in \{0,1\}$ ) $((x_{i},l_{1},...,l_{j-1}),l_{j}),l_{j}\in \{0,1\}$ , $((x_{i},l_{1},...,l_{j-1}),l_{j}),l_{j}\in \{0,1\}$ j ) , $((x_{i},l_{1},...,l_{j-1}),l_{j}),l_{j}\in \{0,1\}$ j $((x_{i},l_{1},...,l_{j-1}),l_{j}),l_{j}\in \{0,1\}$ { $((x_{i},l_{1},...,l_{j-1}),l_{j}),l_{j}\in \{0,1\}$ 0 , 1 $}$ { $display$ style ( $x$ _ { $i$ , $l$ _ { i , l _ { l _ 1 } ) } , { l _ { l _ 1 } , { l _ 1 } , { 1 } ) }, { $((x_{i},l_{1},...,l_{j-1}),l_{j}),l_{j}\in \{0,1\}$ $},$ { $1$ }, { }, { $isplaystyle$ j $}$ -th $j$ 라벨이 인스턴스에 할당되어 있는 경우 ${\mathit {l_{j}}}\,$ j ${\mathit {l_{j}}}\,$ {\ $displaystyle {l_{j}},}$ 는 ${\mathit {l_{{j}}}}\,$ 1 {\ $displaystyle$ 1 $1$ 그 이외의 경우0 {\ $displaystyle$ 0 $0$ 입니다.따라서 분류자는 각각 단일 라벨의 이진 분류를 학습하는 체인을 구축합니다.각 분류자에 지정된 기능은 인스턴스에 할당된 이전 레이블을 나타내는 이진 값으로 확장됩니다.

새로운 인스턴스를 분류함으로써 분류자 체인을 구축함으로써 라벨이 다시 예측됩니다.분류는 첫 번째 ${\mathit {C_{1}}}\,$ $C1$ 로 ${\mathit {C_{{1}}}}\,$ 시작하여 피처 공간을 통해 분류기 간의 라벨 정보를 전달함으로써 마지막 ${\mathit {C_{|L|}}}\,$ L(\ $displaystyle$ { $C_{$ L ${\mathit {C_{|L|}}}\,$ }},})로 ${\mathit {C_{|L|}}}\,$ 진행됩니다.따라서 라벨 간 의존성은 유지됩니다.그러나 결과는 체인의 순서에 따라 다를 수 있습니다.예를 들어, 라벨이 다른 라벨과 공존하고 있는 경우가 많은 경우 체인의 후반부에 있는 라벨 인스턴스만이 다른 라벨에 대한 정보를 피쳐 벡터에 포함합니다.이 문제를 해결하고 정확도를 높이기 위해 분류기 ^[3]앙상블을 사용할 수 있습니다.

Ensemble of Classifier Chains(ECC; 분류기 체인 앙상블)에서 여러 CC 분류기는 데이터 세트의 임의 하위 집합에서 사슬의 임의 순서(즉, 라벨의 임의 순서)로 훈련될 수 있다.새 인스턴스의 라벨은 각 분류자에 의해 개별적으로 예측됩니다.그런 다음 각 라벨에 대해 예측 또는 "투표"의 총 수가 카운트됩니다.라벨이 일부 임계값보다 큰 분류자의 퍼센티지로 예측된 경우 허용됩니다.

레퍼런스

^ Read, Jesse; Bernhard Pfahringer; Geoff Holmes; Eibe Frank (2009). "Classifier Chains for Multi-label Classification" (PDF). Proc 13th European Conference on Principles and Practice of Knowledge Discovery in Databases and 20th European Conference on Machine Learning. 2009.
^ Dembczynski, Krzysztof; Willem Waegeman; Weiwei Cheng; Eyke Hüllermeier (2010). "On label dependence in multi-label classification" (PDF). Workshop Proceedings of Learning from Multi-Label Data. 2010: 5–12.
^ Rokach, Lior (2010). "Ensemble-based classifiers" (PDF). Artif. Intell. Rev. Norwell, MA, USA: ACM. 33 (1–2): 1–39. doi:10.1007/s10462-009-9124-7.

외부 링크

Jesse Read 및 Fernando Pérez Cruz에 의한 분류기 체인에서의 다중 라벨 분류 프레젠테이션에 적합한 분류기 체인

[1] Read, Jesse; Bernhard Pfahringer; Geoff Holmes; Eibe Frank (2009). "Classifier Chains for Multi-label Classification" (PDF). Proc 13th European Conference on Principles and Practice of Knowledge Discovery in Databases and 20th European Conference on Machine Learning. 2009.

[2] Dembczynski, Krzysztof; Willem Waegeman; Weiwei Cheng; Eyke Hüllermeier (2010). "On label dependence in multi-label classification" (PDF). Workshop Proceedings of Learning from Multi-Label Data. 2010: 5–12.

[3] Rokach, Lior (2010). "Ensemble-based classifiers" (PDF). Artif. Intell. Rev. Norwell, MA, USA: ACM. 33 (1–2): 1–39. doi:10.1007/s10462-009-9124-7.

[1]

[2]

[3]

Search

분류자 체인

네임스페이스

더

목차

문제의 변환

방법 설명

레퍼런스

외부 링크