머신러닝

에 관한 시리즈의 일부
머신러닝 데이터 마이닝
패러다임 지도학습 비지도 학습 온라인 학습 일괄 학습 메타학습 준지도학습 자기 지도 학습 강화학습 규칙 기반 학습 양자 기계 학습
문제 분류 생성 모델링 회귀 클러스터링 차원 축소 밀도추정 이상 탐지 데이터클리닝 자동ML 결사규칙 시맨틱 분석 구조화 예측 특징공학 특징 학습 순위 정하기 배우기 문법 귀납법 온톨로지 학습 멀티모달 학습
지도학습 (분류 • 회귀) 도제식 학습 의사결정나무 앙상블 배깅 부스팅 랜덤 포레스트 k-NN 선형 회귀 나이브 베이즈 인공신경망 로지스틱 회귀 분석 퍼셉트론 관련성 벡터 머신(RVM) SVM(Support Vector Machine)
클러스터링 버치 치유하다 계층적 k- means 퍼지 기대-최대화(EM) DBSCAN 광학 장치 평균 이동
차원 축소 요인분석 CCA ICA LDA NMF PCA PGD t-SNE SDL
구조화 예측 그래픽 모델 베이즈넷 조건부 랜덤 필드 히든 마르코프
이상 탐지 RANSAC k-NN 국소이상치인자 격리림
인공신경망 오토인코더 인지 컴퓨팅 딥러닝 딥드림 피드포워드 신경망 순환신경망 LSTM GRU ESN 저장소 계산 제한 볼츠만 기계 간 확산모델 SOM 합성곱 신경망 유넷 변압기 비전. 맘바 스파이킹 신경망 멤트랜지스터 전기화학램(ECRAM)
강화학습 Q-러닝 사스 시간차(TD) 다중 에이전트 셀프플레이
인간과 함께 배우기 능동학습 크라우드소싱 휴먼 인 더 루프 RLHF
모델 진단 결정계수 혼동행렬 학습곡선 ROC 곡선
수학적 기초 커널 머신 편향-분산 트레이드오프 계산학습이론 경험적 리스크 최소화 오캠학습 PAC 학습 통계학습 VC이론
기계 학습 장소 ECML PKDD 뉴립스 ICML ICLR 아이제이카이 ML JMLR
관련기사 인공지능 용어집 기계 학습 연구를 위한 데이터 세트 목록 컴퓨터 비전 및 이미지 처리 분야의 데이터 세트 목록 기계 학습의 개요
v t

에 관한 시리즈의 일부
인공지능
주요목표 인공일반지능 재귀적 자기계발 계획. 컴퓨터 비전 일반적인 게임 플레이 지식추론 머신러닝 자연어 처리 로보틱스 AI 안전성
접근방법 기호 딥러닝 베이지안 네트워크 진화 알고리즘 위치 접근법 하이브리드 지능형 시스템 시스템 통합
적용들 프로젝트 딥페이크 기계번역 제너레이티브 AI 예체능 오디오 음악 헬스케어 정신건강 정부 산업 지구과학 생물정보학 물리학
철학 중실 친절한 AI 제어 문제/인수 윤리 실존적 위험 튜링 테스트 규정
역사 타임라인 진보. AI겨울 AI 붐 AI시대
용어집 용어집
v t

머신 러닝(ML)은 데이터에서 학습하고 보이지 않는 데이터로 일반화하여 명시적인 지시 없이 작업을 수행할 수 있는 통계 알고리즘의 개발 및 연구와 관련된 인공 지능 연구 분야입니다.^[1] 최근 인공 신경망은 성능 면에서 이전의 많은 접근 방식을 능가할 수 있었습니다.^[2][3]

기계 학습 접근 방식은 자연어 처리, 컴퓨터 비전, 음성 인식, 이메일 필터링, 농업 및 의학을 포함한 많은 분야에 적용되었습니다.^[4][5] ML은 예측 분석이라는 이름으로 비즈니스 문제 전반에 걸쳐 응용 프로그램에 알려져 있습니다. 모든 기계 학습이 통계적 기반은 아니지만 계산 통계는 현장 방법의 중요한 원천입니다.

ML의 수학적 기초는 수학적 최적화(수학적 프로그래밍) 방법에 의해 제공됩니다. 데이터 마이닝은 비지도 학습을 통한 탐색적 데이터 분석(EDA)에 중점을 둔 관련(병행) 연구 분야입니다.^[7][8]

이론적 관점에서 볼 때, 아마도 대략적으로 정확한(PAC) 학습은 기계 학습을 설명하기 위한 프레임워크를 제공합니다.

역사

머신 러닝이라는 용어는 IBM 직원이자 컴퓨터 게임 및 인공 지능 분야의 선구자인 아서 사무엘(Arthur Samuel)이 1959년에 만들었습니다.^[9][10] 이 시기에는 자기 지도 컴퓨터라는 동의어도 사용되었습니다.^[11][12]

1950년대에 아서 사무엘(Arthur Samuel)이 각 측의 체커에서 승리 확률을 계산하는 프로그램을 개발하면서 최초의 기계 학습 모델이 도입되었지만, 기계 학습의 역사는 인간의 인지 과정을 연구하려는 수십 년 동안의 인간의 열망과 노력으로 거슬러 올라갑니다.^[13] 1949년 캐나다의 심리학자 도날드 헵(Donald Hebb)은 행동의 조직(The Organization of Behavior)이라는 책을 출판하여 신경 세포들 사이의 특정한 상호작용에 의해 형성되는 이론적인 신경 구조를 소개했습니다.^[14] Hebb의 뉴런 상호작용 모델은 AI와 머신러닝 알고리즘이 노드, 즉 컴퓨터가 데이터를 전달하는 데 사용하는 인공 뉴런에서 어떻게 작동하는지에 대한 기초를 마련했습니다.^[13] 인간의 인지 시스템을 연구해온 다른 연구자들도 현대 기계 학습 기술에 기여했는데, 논리학자 월터 피츠버그와 워렌 맥컬록은 인간의 사고 과정을 반영하는 알고리즘을 고안하기 위해 신경망의 초기 수학 모델을 제안했습니다.^[13]

1960년대 초까지 Raytheon Company는 초보적인 강화 학습을 사용하여 음파 신호, 심전도 및 음성 패턴을 분석하기 위해 천공 테이프 메모리를 가진 실험적인 "학습 기계"를 개발했습니다. 인간 오퍼레이터/교사가 패턴을 인식하기 위해 반복적으로 "훈련"하고 잘못된 결정을 재평가하도록 "구프" 버튼을 장착했습니다.^[15] 1960년대 머신러닝 연구에 관한 대표적인 책은 Nilsson의 Learning Machine에 관한 책으로, 패턴 분류를 위한 머신러닝을 주로 다루고 있습니다.^[16] 패턴 인식과 관련된 관심은 1973년 두다와 하트가 설명한 바와 같이 1970년대까지 계속되었습니다.^[17] 1981년에는 인공 신경망이 컴퓨터 단말기에서 40자(26자, 10자리, 4개의 특수 기호)를 인식하는 법을 배우도록 교육 전략을 사용하는 것에 대한 보고서가 발표되었습니다.^[18]

톰 M. 미첼(Tom M. Mitchell)은 기계 학습 분야에서 연구된 알고리즘에 대한 광범위하고 공식적인 정의를 제공했습니다. "컴퓨터 프로그램은 일부 작업 T와 관련하여 경험 E에서 학습하고 P로 측정된 T의 작업에서 성능이 경험 E로 향상되면 성능 측정 P를 측정한다고 합니다."^[19] 기계 학습과 관련된 작업에 대한 이러한 정의는 인지적 측면에서 필드를 정의하기보다는 근본적으로 작동하는 정의를 제공합니다. 이것은 앨런 튜링이 그의 논문 "컴퓨터 기계와 지능"에서 제안한 것을 따르는 것인데, "기계가 생각할 수 있는가?"라는 질문은 "우리가 (생각하는 실체로서) 할 수 있는 것을 기계가 할 수 있는가?"^[20]라는 질문으로 대체됩니다.

현대 기계 학습에는 두 가지 목표가 있습니다. 하나는 개발된 모델을 기반으로 데이터를 분류하는 것이고, 다른 하나는 이러한 모델을 기반으로 미래의 결과를 예측하는 것입니다. 데이터를 분류하기 위한 가상 알고리즘은 암성 두더지를 분류하도록 훈련시키기 위해 지도 학습과 결합된 두더지의 컴퓨터 비전을 사용할 수 있습니다. 주식 거래를 위한 기계 학습 알고리즘은 거래자에게 미래의 잠재적 예측을 알릴 수 있습니다.^[21]

다른 분야와의 관계

인공지능

기계 학습은 과학적 노력으로 인공 지능(AI)에 대한 탐구에서 성장했습니다. 학문 분야로서 AI의 초기에는 일부 연구자들이 기계가 데이터로부터 학습하도록 하는 데 관심이 있었습니다. 그들은 당시 "신경망"이라고 불렸던 것뿐만 아니라 다양한 상징적인 방법으로 문제에 접근하려고 시도했습니다. 이것들은 대부분 퍼셉트론과 나중에 통계의 일반화된 선형 모델을 재창조한 것으로 밝혀진 다른 모델이었습니다.^[23] 확률론적 추론도 특히 자동화된 의료 진단에 사용되었습니다.^{[24]: 488}

그러나 논리적 지식 기반 접근 방식에 대한 강조가 늘어남에 따라 AI와 머신 러닝 사이에 불화가 생겼습니다. 확률적 시스템은 데이터 획득 및 표현의 이론적 및 실제적 문제로 어려움을 겪었습니다.^{[24]: 488} 1980년이 되자 전문가 시스템이 AI를 지배하게 되었고 통계는 인기가 없었습니다.^[25] 기호/지식 기반 학습에 대한 작업은 AI 내에서 계속되어 귀납적 논리 프로그래밍(ILP)으로 이어졌지만, 더 통계적인 연구 라인은 이제 패턴 인식 및 정보 검색에서 AI 고유 분야 밖에 있었습니다.^{[24]: 708–710, 755} 신경망 연구는 거의 비슷한 시기에 AI와 컴퓨터 과학에 의해 버려졌습니다. 이 노선 역시 Hopfield, Rumelhart 및 Hinton을 포함한 다른 학문 분야의 연구자들에 의해 AI/CS 분야 외부에서 "연결주의"로 계속되었습니다. 그들의 주요 성공은 1980년대 중반 역전파의 재창조와 함께 이루어졌습니다.^{[24]: 25}

기계학습(ML)은 1990년대부터 재편되어 독자적인 분야로 인식되기 시작했습니다. 이 분야는 인공 지능을 달성하는 것에서 실질적인 성격의 해결 가능한 문제를 해결하는 것으로 목표를 변경했습니다. AI로부터 물려받은 상징적인 접근 방식에서 벗어나 통계, 퍼지 논리, 확률 이론에서 차용한 방법과 모델로 초점을 옮겼습니다.^[25]

데이터 압축

데이터 마이닝

기계 학습과 데이터 마이닝은 동일한 방법을 사용하고 상당히 중복되는 경우가 많지만, 기계 학습은 학습 데이터에서 학습한 알려진 속성을 기반으로 예측에 초점을 맞추는 반면, 데이터 마이닝은 데이터에서 (이전에) 알려지지 않은 속성을 발견하는 데 초점을 맞춥니다(이것은 데이터베이스에서 지식 발견의 분석 단계입니다). 데이터 마이닝은 많은 기계 학습 방법을 사용하지만 목표는 다릅니다. 반면 기계 학습은 학습자 정확도를 향상시키기 위해 "비지도 학습" 또는 전처리 단계로 데이터 마이닝 방법을 사용하기도 합니다. 이 두 연구 커뮤니티 간의 혼란은 대부분 (종종 별도의 회의와 별도의 저널이 있는 경우가 많으며, ECML PKDD는 주요 예외임) 이들이 작업하는 기본 가정에서 비롯됩니다. 기계 학습에서 성능은 일반적으로 알려진 지식을 재현하는 능력과 관련하여 평가됩니다. 지식 발견 및 데이터 마이닝(KDD)에서 핵심 작업은 이전에 알려지지 않은 지식을 발견하는 것입니다. 알려진 지식과 관련하여 평가된 비정보(비감독) 방법은 다른 감독 방법보다 쉽게 능가하는 반면, 일반적인 KDD 작업에서는 훈련 데이터를 사용할 수 없기 때문에 감독 방법을 사용할 수 없습니다.

기계 학습은 또한 최적화와 밀접한 관련이 있습니다. 많은 학습 문제는 훈련 예제 세트에서 일부 손실 함수를 최소화하는 것으로 공식화됩니다. 손실 함수는 훈련 중인 모델의 예측과 실제 문제 인스턴스 간의 불일치를 표현합니다(예를 들어, 분류에서는 인스턴스에 레이블을 할당하려고 하고 모델은 예제 집합의 미리 할당된 레이블을 올바르게 예측하도록 훈련됨).^[35]

일반화

최적화와 기계 학습의 차이는 일반화의 목표에서 발생합니다. 최적화 알고리즘은 훈련 세트의 손실을 최소화할 수 있지만 기계 학습은 보이지 않는 샘플의 손실을 최소화하는 것과 관련이 있습니다. 다양한 학습 알고리즘의 일반화를 특성화하는 것은 특히 딥러닝 알고리즘에 대한 현재 연구의 활발한 주제입니다.

통계

기계 학습과 통계는 방법 측면에서 밀접하게 관련된 분야이지만 주요 목표는 통계가 표본에서 모집단 추론을 이끌어내는 반면 기계 학습은 일반화 가능한 예측 패턴을 찾는다는 점입니다.^[36] 마이클 조단(Michael I. Jordan)에 따르면, 방법론적 원리에서 이론적 도구에 이르기까지 기계 학습의 개념은 통계학에서 오랜 선사시대를 가지고 있습니다.^[37] 그는 또한 전반적인 분야를 부르는 자리주로서 데이터 과학이라는 용어를 제안했습니다.^[37]

기존의 통계 분석에서는 연구 데이터 세트에 가장 적합한 모형을 선험적으로 선택해야 합니다. 또한, 이전 경험을 바탕으로 유의하거나 이론적으로 관련성이 있는 변수만 포함하여 분석합니다. 대조적으로, 기계 학습은 사전 구조화된 모델을 기반으로 구축되지 않으며, 오히려 데이터는 기본 패턴을 감지하여 모델을 형성합니다. 모형을 훈련하는 데 사용되는 변수(입력)가 많을수록 궁극적인 모형의 정확도가 높아집니다.^[38]

Leo Breiman은 데이터 모델과 알고리즘 모델이라는 두 가지 통계 모델링 패러다임을 구분했는데,^[39] "알고리즘 모델"은 Random Forest와 같은 기계 학습 알고리즘을 어느 정도 의미합니다.

일부 통계학자들은 기계 학습에서 방법을 채택하여 통계 학습이라고 부르는 결합된 분야로 이어졌습니다.^[40]

통계물리학

무질서한 시스템의 뿌리 깊은 물리학에서 파생된 분석 및 계산 기술은 심층 신경망의 가중치 공간을 분석하기 위해 기계 학습을 포함한 대규모 문제로 확장될 수 있습니다.^[41] 따라서 통계 물리학은 의료 진단 분야에서 응용 분야를 찾고 있습니다.^[42]

이론

학습자의 핵심 목표는 경험에서 일반화하는 것입니다.^[6][43] 이러한 맥락에서 일반화는 학습 데이터 세트를 경험한 후 보이지 않는 새로운 예제/작업을 정확하게 수행하는 학습 기계의 능력입니다. 훈련 예제는 일반적으로 알려지지 않은 확률 분포(발생 공간을 대표하는 것으로 간주됨)에서 비롯되며 학습자는 이 공간에 대한 일반적인 모델을 구축하여 새로운 경우에 충분히 정확한 예측을 생성할 수 있어야 합니다.

기계 학습 알고리즘과 그 성능에 대한 계산 분석은 PAC(Pamber Proximate Correct Learning) 모델을 통한 계산 학습 이론으로 알려진 이론 컴퓨터 과학의 한 분야입니다. 훈련 세트는 유한하고 미래가 불확실하기 때문에 학습 이론은 일반적으로 알고리즘의 성능을 보장하지 않습니다. 대신 성능에 대한 확률론적 한계는 매우 일반적입니다. 편향-분산 분해는 일반화 오차를 정량화하는 한 가지 방법입니다.

일반화 맥락에서 최상의 성능을 발휘하려면 가설의 복잡성이 데이터의 기초가 되는 함수의 복잡성과 일치해야 합니다. 가설이 함수보다 덜 복잡하면 모형이 데이터를 과소 적합한 것입니다. 이에 대응하여 모형의 복잡성이 증가하면 훈련 오차가 감소합니다. 그러나 가설이 너무 복잡하면 모형이 과적합될 수 있으며 일반화가 더 어려워집니다.^[44]

성능 한계 외에도 학습 이론가들은 학습의 시간 복잡성과 실현 가능성을 연구합니다. 계산 학습 이론에서 계산은 다항식 시간 내에 수행할 수 있다면 실행 가능한 것으로 간주됩니다. 시간 복잡도 결과에는 두 가지가 있습니다: 긍정적인 결과는 특정 클래스의 함수를 다항식 시간 내에 학습할 수 있음을 보여줍니다. 부정적인 결과는 특정 클래스가 다항식 시간에 학습될 수 없음을 보여줍니다.

접근방법

기계 학습 접근 방식은 전통적으로 학습 시스템에서 사용할 수 있는 "신호" 또는 "피드백"의 특성에 따라 학습 패러다임에 해당하는 세 가지 광범위한 범주로 나뉩니다.

• 지도 학습: 컴퓨터에는 "교사"가 제공하는 예시 입력과 원하는 출력이 제시되며, 목표는 입력과 출력을 매핑하는 일반 규칙을 배우는 것입니다.
• 비지도 학습: 학습 알고리즘에 레이블이 부여되지 않으므로 입력에서 구조를 찾을 수 있도록 스스로 남깁니다. 비지도 학습은 그 자체로 목표(데이터의 숨겨진 패턴 발견)가 될 수도 있고, 목적을 향한 수단(특징 학습)이 될 수도 있습니다.
• 강화 학습: 컴퓨터 프로그램은 특정 목표(예: 차량 운전 또는 상대와 게임)를 수행해야 하는 동적 환경과 상호 작용합니다. 문제 공간을 탐색할 때 프로그램에는 보상과 유사한 피드백이 제공되며, 이를 극대화하려고 노력합니다.^[6]

알고리즘마다 장점과 한계가 있지만 모든 문제에 대해 단일 알고리즘이 작동하는 것은 없습니다.^[45][46][47]

지도학습

지도 학습 알고리즘은 입력과 원하는 출력을 모두 포함하는 데이터 세트의 수학적 모델을 구축합니다.^[48] 데이터는 훈련 데이터로 알려져 있으며 일련의 훈련 예제로 구성되어 있습니다. 각 훈련 예제에는 하나 이상의 입력과 원하는 출력(감독 신호라고도 함)이 있습니다. 수학적 모델에서 각 훈련 예제는 배열 또는 벡터로 표현되며, 때로는 특징 벡터라고 하며, 훈련 데이터는 행렬로 표현됩니다. 지도 학습 알고리즘은 목적 함수의 반복적인 최적화를 통해 새로운 입력과 관련된 출력을 예측하는 데 사용할 수 있는 함수를 학습합니다.^[49] 최적의 함수를 사용하면 알고리즘이 훈련 데이터의 일부가 아닌 입력에 대한 출력을 올바르게 결정할 수 있습니다. 시간이 지남에 따라 출력 또는 예측의 정확도를 향상시키는 알고리즘은 해당 작업을 수행하는 방법을 학습했다고 합니다.^[19]

지도 학습 알고리즘의 유형에는 능동 학습, 분류 및 회귀가 포함됩니다.^[50] 분류 알고리즘은 출력이 제한된 값 집합으로 제한될 때 사용되며, 회귀 알고리즘은 출력이 범위 내에서 임의의 수치 값을 가질 수 있는 경우 사용됩니다. 예를 들어, 전자 메일을 필터링하는 분류 알고리즘의 경우 입력은 들어오는 전자 메일이고 출력은 전자 메일을 파일할 폴더의 이름입니다.

유사성 학습은 회귀 및 분류와 밀접한 관련이 있는 지도 기계 학습의 한 영역이지만, 두 객체가 얼마나 유사하거나 관련이 있는지 측정하는 유사성 함수를 사용하여 예제에서 학습하는 것이 목표입니다. 순위, 추천 시스템, 시각적 신원 추적, 얼굴 확인 및 화자 확인에 적용됩니다.

비지도 학습

비지도 학습 알고리즘은 레이블, 분류 또는 분류되지 않은 데이터에서 구조를 찾습니다. 비지도 학습 알고리즘은 피드백에 응답하는 대신 데이터에서 공통점을 식별하고 각 새로운 데이터에서 이러한 공통점의 유무에 따라 반응합니다. 비지도 머신 러닝의 중앙 응용 분야에는 클러스터링, 차원 축소 ^[8]및 밀도 추정이 포함됩니다.^[51] 비지도 학습 알고리즘은 또한 범 게놈에서 관심 유전자의 큰 인델 기반 일배체형을 식별하는 프로세스를 간소화했습니다.^[52]

군집 분석은 동일한 군집 내의 관측치가 하나 이상의 미리 지정된 기준에 따라 유사한 반면 다른 군집에서 추출한 관측치는 유사하지 않도록 하위 집합(클러스터라고 함)에 일련의 관측치를 할당하는 것입니다. 서로 다른 클러스터링 기술은 데이터의 구조에 대해 서로 다른 가정을 하며, 종종 일부 유사성 메트릭에 의해 정의되며, 예를 들어 내부 압축 또는 동일한 클러스터 구성원 간의 유사성, 클러스터 간의 차이, 분리에 의해 평가됩니다. 다른 방법은 추정된 밀도와 그래프 연결을 기반으로 합니다.

준지도학습

준지도 학습은 비지도 학습(레이블된 학습 데이터 없음)과 지도 학습(완전히 레이블이 지정된 학습 데이터 있음) 사이에 속합니다. 훈련 예제 중 일부에는 훈련 레이블이 누락되어 있지만, 많은 기계 학습 연구자들은 레이블이 지정되지 않은 데이터를 소량의 레이블이 지정된 데이터와 함께 사용하면 학습 정확도가 크게 향상될 수 있음을 발견했습니다.

약한 지도 학습에서는 훈련 레이블이 노이즈가 많거나 제한적이거나 부정확하지만 이러한 레이블을 얻는 것이 더 저렴하여 효과적인 훈련 세트가 더 큽니다.^[53]

강화학습

강화 학습은 누적 보상 개념을 극대화하기 위해 소프트웨어 에이전트가 환경에서 조치를 취해야 하는 방법과 관련된 기계 학습 분야입니다. 이 분야는 일반성으로 인해 게임 이론, 제어 이론, 운영 연구, 정보 이론, 시뮬레이션 기반 최적화, 다중 에이전트 시스템, 군집 지능, 통계 및 유전 알고리즘과 같은 많은 다른 분야에서 연구되고 있습니다. 강화 학습에서 환경은 일반적으로 MDP(Markov Decision Process)로 표현됩니다. 많은 강화 학습 알고리즘은 동적 프로그래밍 기술을 사용합니다.^[54] 강화 학습 알고리즘은 MDP의 정확한 수학적 모델에 대한 지식을 가정하지 않으며 정확한 모델이 실행 불가능할 때 사용됩니다. 강화 학습 알고리즘은 자율 주행 차량이나 인간 상대와 게임을 하는 학습에 사용됩니다.

차원 축소

차원 축소는 일련의 주요 변수를 구하여 고려 중인 임의 변수의 수를 줄이는 과정입니다.^[55] 즉, "피처 수"라고도 불리는 특징 집합의 차원을 줄이는 과정입니다. 대부분의 차원 축소 기법은 특징 제거 또는 추출로 간주할 수 있습니다. 차원 축소의 인기 있는 방법 중 하나는 주성분 분석(PCA)입니다. PCA는 고차원 데이터(예: 3D)를 더 작은 공간(예: 2D)으로 변경하는 것을 포함합니다. 이렇게 하면 데이터 크기가 작아지는 반면(3D 대신 2D), 데이터를 변경하지 않고 모형에 있는 모든 원래 변수를 유지할 수 있습니다.^[56] 매니폴드 가설은 고차원 데이터 세트가 저차원 매니폴드를 따라 놓여 있다고 제안하며, 많은 차원 축소 기술이 이러한 가정을 이루어 매니폴드 학습 및 매니폴드 정규화 영역으로 이어집니다.

기타유형

이 세 가지 분류에 깔끔하게 맞지 않는 다른 접근 방식이 개발되었으며, 때로는 동일한 기계 학습 시스템에서 하나 이상 사용되는 경우도 있습니다. 예를 들어, 토픽 모델링, 메타 학습.^[57]

자율학습

머신 러닝 패러다임으로서의 셀프 러닝은 1982년 크로스바 적응형 어레이(CAA)라는 이름의 셀프 러닝이 가능한 신경망과 함께 도입되었습니다.^[58] 외부의 보상과 외부 교사의 조언이 없는 학습입니다. CAA 자체 학습 알고리즘은 행동에 대한 결정과 결과 상황에 대한 감정(감정)을 크로스바 방식으로 계산합니다. 시스템은 인지와 감정 사이의 상호 작용에 의해 주도됩니다.^[59] 자가 학습 알고리즘은 각 반복에서 다음과 같은 기계 학습 루틴을 실행하도록 메모리 매트릭스 W = w(a,s)를 업데이트합니다.

1. 상황에 따라 행동을 실행합니다.
2. 결과적인 상황을 받아들입니다.
3. 결과적인 상황에 있는 것의 감정을 계산하다.
4. 크로스바 메모리 업데이트 w'(a,s) = w(a,s) + v(s)

하나의 입력, 상황, 하나의 출력, 하나의 동작(또는 행동) a를 갖는 시스템입니다. 별도의 강화 입력도, 환경으로부터의 조언 입력도 없습니다. 역전파된 값(2차 강화)은 결과 상황에 대한 감정입니다. CAA는 두 가지 환경으로 존재하는데, 하나는 행동하는 행동 환경이고, 다른 하나는 유전 환경으로, 여기서 처음과 한 번만 행동 환경에서 마주칠 상황에 대한 초기 감정을 받습니다. 유전 환경으로부터 게놈(종) 벡터를 받은 후, CAA는 바람직한 상황과 바람직하지 않은 상황을 모두 포함하는 환경에서 목표 추구 행동을 학습합니다.^[60]

특징 학습

여러 학습 알고리즘은 학습 중에 제공되는 입력의 더 나은 표현을 발견하는 것을 목표로 합니다.^[61] 대표적인 예로는 주성분 분석과 클러스터 분석이 있습니다. 표현 학습 알고리즘이라고도 하는 특징 학습 알고리즘은 종종 입력된 정보를 보존하려고 시도하지만 분류 또는 예측을 수행하기 전에 사전 처리 단계로 유용하게 만드는 방식으로 변환하기도 합니다. 이 기법을 사용하면 알 수 없는 데이터 생성 분포에서 오는 입력을 재구성할 수 있지만, 반드시 해당 분포에서 신뢰할 수 없는 구성에 충실할 수는 없습니다. 이것은 수동 기능 엔지니어링을 대체하고 기계가 기능을 학습하고 특정 작업을 수행하는 데 사용할 수 있도록 합니다.

기능 학습은 감독 또는 감독되지 않을 수 있습니다. 지도 기능 학습에서는 레이블이 지정된 입력 데이터를 사용하여 기능을 학습합니다. 인공 신경망, 다층 퍼셉트론, 지도형 사전 학습 등이 대표적입니다. 비지도 특징 학습에서는 레이블이 지정되지 않은 입력 데이터로 특징을 학습합니다. 사전 학습, 독립 성분 분석, 자동 인코더, 행렬 인수분해^[62] 및 다양한 형태의 클러스터링이 그 예입니다.^[63][64][65]

다양체 학습 알고리즘은 학습된 표현이 저차원이라는 제약 조건 하에서 그렇게 하려고 시도합니다. 희소 코딩 알고리즘은 학습된 표현이 희소하다는 제약 하에서 그렇게 하려고 시도하며, 이는 수학적 모델이 많은 0을 가지고 있음을 의미합니다. 다중 선형 하위 공간 학습 알고리즘은 다차원 데이터에 대한 텐서 표현에서 저차원 표현을 고차원 벡터로 재구성하지 않고 직접 학습하는 것을 목표로 합니다.^[66] 딥 러닝 알고리즘은 하위 수준의 특징의 측면에서 정의된 더 높은 수준의 추상적인 특징을 통해 여러 수준의 표현, 즉 특징의 계층을 발견합니다. 지능형 기계는 관찰된 데이터를 설명하는 기본 변동 요인을 분리하는 표현을 학습하는 기계라는 주장이 제기되었습니다.^[67]

특징 학습은 분류와 같은 기계 학습 작업이 종종 수학적이고 계산적으로 처리하기 편리한 입력을 필요로 한다는 사실에 의해 동기가 부여됩니다. 그러나 이미지, 비디오 및 감각 데이터와 같은 실제 데이터는 특정 특징을 알고리즘적으로 정의하려는 시도를 산출하지 못했습니다. 대안은 명시적 알고리즘에 의존하지 않고 검사를 통해 이러한 특징이나 표현을 발견하는 것입니다.

희소사전학습

희소 사전 학습은 훈련 예제를 기저 함수의 선형 조합으로 표현하고 희소 행렬로 가정하는 특징 학습 방법입니다. 이 방법은 NP-hard가 강하고 대략적으로 풀기 어렵습니다.^[68] 희소 사전 학습을 위한 인기 있는 휴리스틱 방법은 K-SVD 알고리즘입니다. 희소 사전 학습은 여러 맥락에서 적용되었습니다. 분류에서 문제는 이전에 볼 수 없었던 훈련 예제가 속한 클래스를 결정하는 것입니다. 각 클래스가 이미 구축된 사전의 경우 해당 사전에 의해 가장 잘 희소하게 표현되는 클래스와 새로운 훈련 예제가 연결됩니다. 희소 사전 학습은 이미지 노이즈 제거에도 적용되었습니다. 핵심 아이디어는 깨끗한 이미지 패치는 이미지 사전으로 드물게 표현할 수 있지만 노이즈는 표현할 수 없다는 것입니다.^[69]

이상 탐지

데이터 마이닝에서 이상치 탐지라고도 하는 이상치 탐지는 대부분의 데이터와 크게 달라 의심을 불러일으키는 희귀 항목, 이벤트 또는 관찰을 식별하는 것입니다.^[70] 일반적으로 비정상적인 항목은 은행 사기, 구조적 결함, 의료 문제 또는 텍스트 오류와 같은 문제를 나타냅니다. 이상치, 신기성, 소음, 편차 및 예외를 이상치, 이상치, 이상치라고 합니다.^[71]

특히 남용 및 네트워크 침입 탐지의 맥락에서 흥미로운 개체는 드문 개체가 아니라 예기치 않은 비활성 폭발인 경우가 많습니다. 이 패턴은 특이치를 희귀 개체로 정의하는 일반적인 통계적 정의를 따르지 않습니다. 많은 이상치 탐지 방법(특히 감독되지 않은 알고리즘)은 적절하게 집계되지 않으면 이러한 데이터에서 실패합니다. 대신 클러스터 분석 알고리즘은 이러한 패턴에 의해 형성된 마이크로 클러스터를 감지할 수 있습니다.^[72]

이상 탐지 기술에는 크게 세 가지 범주가 있습니다.^[73] 비지도 이상 탐지 기술은 데이터 세트의 나머지 부분에 가장 적게 맞는 것으로 보이는 인스턴스를 찾아 데이터 세트의 대부분의 인스턴스가 정상이라는 가정 하에 레이블이 지정되지 않은 테스트 데이터 세트의 이상을 탐지합니다. 지도 이상 탐지 기술에는 "정상" 및 "이상" 레이블이 지정된 데이터 세트가 필요하며 분류기를 훈련해야 합니다(다른 많은 통계 분류 문제의 핵심 차이점은 이상치 탐지의 본질적으로 불균형한 특성입니다). 준지도 이상 탐지 기법은 주어진 정상적인 훈련 데이터 세트에서 정상적인 행동을 나타내는 모델을 구성한 다음 모델에 의해 생성될 테스트 인스턴스의 가능성을 테스트합니다.

로봇학습

로봇 학습은 지도 학습, 강화 학습,^[74][75] 마지막으로 메타 학습(예: MAML)에서 시작하여 다양한 기계 학습 방법에서 영감을 얻었습니다.

결사규칙

연관 규칙 학습은 대규모 데이터베이스에서 변수 간의 관계를 발견하기 위한 규칙 기반 기계 학습 방법입니다. 이는 데이터베이스에서 발견된 강력한 규칙을 "흥미성"의 일부 척도를 사용하여 식별하기 위한 것입니다.^[76]

규칙 기반 기계 학습은 지식을 저장, 조작 또는 적용하기 위해 "규칙"을 식별, 학습 또는 진화시키는 모든 기계 학습 방법의 일반적인 용어입니다. 규칙 기반 기계 학습 알고리즘의 정의 특성은 시스템에 의해 캡처된 지식을 집합적으로 나타내는 관계형 규칙 집합을 식별하고 활용하는 것입니다. 이는 일반적으로 예측을 위해 모든 인스턴스에 보편적으로 적용할 수 있는 단일 모델을 식별하는 다른 기계 학습 알고리즘과 대조적입니다.^[77] 규칙 기반 기계 학습 접근 방식에는 학습 분류기 시스템, 연관 규칙 학습 및 인공 면역 시스템이 포함됩니다.

Rakesh Agrawal, Tomasz Imieli ński, Arun Swami는 강력한 규칙이라는 개념을 바탕으로 슈퍼마켓의 POS(Point of Sale) 시스템이 기록한 대규모 거래 데이터에서 제품 간 규칙성을 발견하기 위한 연관 규칙을 소개했습니다. ${\displaystyle \mathrm{예}}$를 들어$,$ {${\displaystyle \mathrm{양파},}$ ${\displaystyle \mathrm{감자}}$} ⇒ {$}$ ${\displaystyle \{\mathrm {양파, 감자$} \}\$mathrm${버거$} \}$ 오른쪽$화살표$는 고객이 양파와 감자를 함께 구매할 경우 햄버거 고기도 구매할 가능성이 있음을 나타냅니다. 이러한 정보는 프로모션 가격 또는 제품 배치와 같은 마케팅 활동에 대한 결정의 기초로 사용될 수 있습니다. 오늘날 연관 규칙은 시장 바스켓 분석 외에도 웹 사용 마이닝, 침입 탐지, 지속적인 생산 및 생물 정보학을 포함한 응용 분야에서 사용됩니다. 시퀀스 마이닝과 달리 연관 규칙 학습은 일반적으로 트랜잭션 내 또는 트랜잭션 간 항목 순서를 고려하지 않습니다.

학습 분류기 시스템(LCS)은 발견 구성 요소, 일반적으로 유전자 알고리즘을 학습 구성 요소와 결합하여 지도 학습, 강화 학습 또는 비지도 학습을 수행하는 규칙 기반 기계 학습 알고리즘 제품군입니다. 그들은 예측을 하기 위해 지식을 단편적인 방식으로 집합적으로 저장하고 적용하는 일련의 상황 의존적 규칙을 식별하려고 합니다.^[79]

귀납적 논리 프로그래밍(ILP)은 논리 프로그래밍을 입력 예제, 배경 지식 및 가설에 대한 균일한 표현으로 사용하여 규칙 학습을 수행하는 접근 방식입니다. 알려진 배경 지식의 인코딩과 사실의 논리 데이터베이스로 표현되는 일련의 예들이 주어지면, ILP 시스템은 모든 긍정적인 예와 부정적인 예를 수반하지 않는 가설화된 논리 프로그램을 도출할 것입니다. 귀납적 프로그래밍은 함수형 프로그램과 같이 가설을 표현하기 위한 모든 종류의 프로그래밍 언어를 고려하는 관련 분야입니다(논리 프로그래밍뿐만 아니라).

귀납적 논리 프로그래밍은 생물정보학 및 자연어 처리 분야에서 특히 유용합니다. 고든 플로트킨과 에후드 샤피로는 논리적 환경에서 귀납적 기계 학습을 위한 초기 이론적 토대를 마련했습니다.^[80][81][82] 샤피로는 1981년에 첫 번째 구현(모델 추론 시스템)을 구축했는데, 이는 긍정적인 예와 부정적인 예로부터 논리 프로그램을 귀납적으로 추론하는 프롤로그 프로그램입니다.^[83] 여기서 귀납적이라는 용어는 철학적 귀납법을 말하며, 수학적 귀납법이 아닌 관찰된 사실을 설명하는 이론을 제안하여 잘 배열된 집합의 모든 구성원에게 속성을 증명합니다.

모델

기계 학습 분야에서 모델은 주어진 데이터 세트에 대해 "학습"된 후 새로운 데이터에 대한 예측 또는 분류를 수행하는 데 사용할 수 있는 수학 공식입니다. 학습 알고리즘은 학습 중에 예측의 오류를 최소화하기 위해 모델의 내부 매개 변수를 반복적으로 조정합니다.^[84] 모델이라는 용어는 일반적인 모델 클래스와 관련 학습 알고리즘에서 모든 내부 매개 변수가 조정된 완전히 훈련된 모델에 이르기까지 여러 수준의 구체성을 나타낼 수 있습니다.^[85]

기계 학습 시스템에 다양한 유형의 모델이 사용되고 연구되어 왔으며, 작업에 가장 적합한 모델을 선택하는 것을 모델 선택이라고 합니다.

인공신경망

인공 신경망(ANN), 즉 연결주의 시스템은 동물의 뇌를 구성하는 생물학적 신경망에서 막연하게 영감을 얻은 컴퓨팅 시스템입니다. 이러한 시스템은 일반적으로 작업별 규칙을 프로그래밍하지 않고 예제를 고려하여 작업을 수행하는 방법을 "학습"합니다.

ANN은 생물학적 뇌에서 뉴런을 느슨하게 모델링하는 "인공 뉴런"이라고 불리는 연결된 단위 또는 노드의 집합에 기반한 모델입니다. 생물학적 뇌의 시냅스와 같은 각각의 연결은 한 인공 뉴런에서 다른 뉴런으로 "신호"라는 정보를 전송할 수 있습니다. 신호를 받은 인공 뉴런이 이를 처리한 다음 이에 연결된 추가 인공 뉴런에 신호를 보낼 수 있습니다. 일반적인 ANN 구현에서 인공 뉴런 사이의 연결에서 신호는 실수이며 각 인공 뉴런의 출력은 입력의 합에 대한 일부 비선형 함수에 의해 계산됩니다. 인공 뉴런 사이의 연결을 "엣지"라고 합니다. 인공 뉴런과 가장자리는 일반적으로 학습이 진행됨에 따라 조정되는 가중치를 가지고 있습니다. 무게는 연결 시 신호의 강도를 증가시키거나 감소시킵니다. 인공 뉴런은 집계 신호가 해당 임계값을 초과하는 경우에만 신호가 전송되도록 임계값을 가질 수 있습니다. 일반적으로 인공 뉴런은 층으로 응집됩니다. 서로 다른 레이어는 입력에 대해 서로 다른 종류의 변환을 수행할 수 있습니다. 신호는 첫 번째 레이어(입력 레이어)에서 마지막 레이어(출력 레이어)로 이동하며, 여러 번 레이어를 통과한 후에 발생할 수 있습니다.

ANN 접근법의 원래 목표는 인간의 뇌와 같은 방식으로 문제를 해결하는 것이었습니다. 하지만 시간이 지나면서 특정 업무를 수행하는 것으로 관심이 옮겨지면서 생물학과의 편차가 발생했습니다. 인공 신경망은 컴퓨터 비전, 음성 인식, 기계 번역, 소셜 네트워크 필터링, 보드 및 비디오 게임, 의료 진단 등 다양한 작업에 사용되었습니다.

딥 러닝은 인공 신경망의 여러 개의 숨겨진 레이어로 구성됩니다. 이 접근법은 인간의 뇌가 빛과 소리를 시각과 청각으로 처리하는 방법을 모델링하려고 합니다. 딥 러닝의 성공적인 응용 분야로는 컴퓨터 비전과 음성 인식이 있습니다.^[86]

의사결정나무

의사 결정 트리 학습은 의사 결정 트리를 예측 모델로 사용하여 항목에 대한 관찰(가지에 표시)에서 항목의 목표 값에 대한 결론(잎에 표시)으로 이동합니다. 통계, 데이터 마이닝 및 기계 학습에 사용되는 예측 모델링 접근 방식 중 하나입니다. 대상 변수가 개별 값 집합을 취할 수 있는 트리 모델을 분류 트리라고 하며, 이러한 트리 구조에서 잎은 클래스 레이블을 나타내고 가지는 해당 클래스 레이블로 이어지는 기능의 결합을 나타냅니다. 대상 변수가 연속적인 값(일반적으로 실수)을 취할 수 있는 의사 결정 트리를 회귀 트리라고 합니다. 의사 결정 분석에서 의사 결정 트리는 의사 결정과 의사 결정을 시각적으로 명시적으로 표현하는 데 사용될 수 있습니다. 데이터 마이닝에서 의사결정 트리는 데이터를 설명하지만 결과 분류 트리는 의사결정을 위한 입력이 될 수 있습니다.

서포트 벡터 머신

지원 벡터 네트워크라고도 하는 지원 벡터 머신(SVM)은 분류 및 회귀에 사용되는 일련의 관련 지도 학습 방법입니다. 각각 두 범주 중 하나에 속하는 것으로 표시된 일련의 훈련 예제가 주어지면 SVM 훈련 알고리즘은 새 예제가 하나의 범주에 속하는지 여부를 예측하는 모델을 구축합니다.^[87] 확률적 분류 설정에서 SVM을 사용하기 위해 Platt 스케일링과 같은 방법이 존재하지만 SVM 훈련 알고리즘은 비확률적 이진 선형 분류기입니다. SVM은 선형 분류를 수행하는 것 외에도 커널 트릭이라고 하는 것을 사용하여 비선형 분류를 효율적으로 수행하여 입력을 고차원 특징 공간에 암시적으로 매핑할 수 있습니다.

회귀분석

회귀 분석은 입력 변수와 관련 특징 사이의 관계를 추정하기 위한 매우 다양한 통계 방법을 포함합니다. 가장 일반적인 형태는 선형 회귀이며, 일반 최소 제곱과 같은 수학적 기준에 따라 주어진 데이터에 가장 적합하도록 단일 선을 그립니다. 후자는 종종 능선 회귀에서와 같이 과적합과 편향을 완화하기 위해 정규화 방법으로 확장됩니다. 비선형 문제를 다룰 때, 이동 모델에는 다항식 회귀(예: Microsoft Excel의^[88] 추세선 피팅에 사용됨), 로지스틱 회귀(통계 분류에 자주 사용됨) 또는 커널 회귀가 포함됩니다. 커널 트릭을 활용하여 입력 변수를 고차원 공간에 암시적으로 매핑하여 비선형성을 도입합니다.

베이지안 네트워크

베이지안 네트워크, 믿음 네트워크 또는 방향성 비순환 그래픽 모델은 방향성 비순환 그래프(DAG)를 사용하여 무작위 변수 집합과 조건부 독립성을 나타내는 확률론적 그래픽 모델입니다. 예를 들어, 베이지안 네트워크는 질병과 증상 사이의 확률적 관계를 나타낼 수 있습니다. 증상이 주어지면 네트워크를 사용하여 다양한 질병의 존재 확률을 계산할 수 있습니다. 추론과 학습을 수행하는 효율적인 알고리즘이 존재합니다. 음성 신호나 단백질 시퀀스와 같은 변수 시퀀스를 모델링하는 베이지안 네트워크를 동적 베이지안 네트워크라고 합니다. 불확실성 하에서 의사 결정 문제를 표현하고 해결할 수 있는 베이지안 네트워크의 일반화를 영향력 다이어그램이라고 합니다.

가우시안 프로세스

가우시안 프로세스는 프로세스에서 무작위 변수의 모든 유한 집합이 다변량 정규 분포를 가지며 위치에 따라 점 쌍이 서로 관련이 있는지 모델링하는 미리 정의된 공분산 함수 또는 커널에 의존하는 확률적 프로세스입니다.

일련의 관측점 또는 입력-출력 예제가 주어지면, 입력 데이터의 함수로서 새로운 점의 (관측되지 않은) 출력 분포는 관측점과 해당 점과 관측되지 않은 새로운 점 사이의 공분산처럼 보임으로써 직접 계산할 수 있습니다.

가우시안 프로세스는 하이퍼파라미터 최적화를 수행하는 데 사용되는 베이지안 최적화에서 인기 있는 대리 모델입니다.

유전자 알고리즘

유전 알고리즘(GA)은 주어진 문제에 대한 좋은 해결책을 찾기 위해 돌연변이와 교차와 같은 방법을 사용하여 새로운 유전자형을 생성하는 자연 선택 과정을 모방하는 검색 알고리즘이자 휴리스틱 기법입니다. 기계 학습에서 유전자 알고리즘은 1980년대와 1990년대에 사용되었습니다.^[90][91] 반대로, 기계 학습 기술은 유전 및 진화 알고리즘의 성능을 향상시키기 위해 사용되어 왔습니다.^[92]

믿음함수

믿음 함수 이론은 증거 이론 또는 뎀스터-쉐이퍼 이론이라고도 하며, 불확실성이 있는 추론을 위한 일반적인 프레임워크이며, 확률, 가능성 및 부정확한 확률 이론과 같은 다른 프레임워크와의 이해된 연결이 있습니다. 이러한 이론적 프레임워크는 일종의 학습자로 생각할 수 있으며 pmf 기반 베이지안 접근^{[clarification needed]} 방식에서 확률을 결합하는 방식과 마찬가지로 증거가 결합되는 방식에 대한 몇 가지 유사한 속성(예: 뎀스터의 결합 규칙)을 가지고 있습니다. 그러나 무지와 불확실성 정량화를 통합하기 위해 베이지안 접근 방식과 비교할 때 이러한 신념 함수에는 많은 주의 사항이 있습니다. 기계 학습 영역 내에서 구현되는 이러한 신념 함수 접근법은 일반적으로 다양한 앙상블 방법의 융합 접근법을 활용하여 학습자의 의사 결정 경계, 낮은 샘플 및 표준 기계 학습 접근법이 해결하기 어려운 모호한 수업 문제를 더 잘 처리합니다.^[3][5][10] 그러나 이러한 알고리즘의 계산 복잡성은 명제(클래스)의 수에 따라 다르며 다른 기계 학습 접근 방식과 비교할 때 훨씬 더 높은 계산 시간을 초래할 수 있습니다.

교육 모델

일반적으로 기계 학습 모델은 모델이 정확한 예측을 수행하기 위해 많은 양의 신뢰할 수 있는 데이터가 필요합니다. 기계 학습 모델을 훈련할 때 기계 학습 엔지니어는 대규모의 대표적인 데이터 샘플을 대상으로 하고 수집해야 합니다. 교육 세트의 데이터는 텍스트 말뭉치, 이미지 모음, 센서 데이터 및 서비스의 개별 사용자로부터 수집된 데이터와 같이 다양할 수 있습니다. 과적합은 기계 학습 모델을 훈련할 때 주의해야 할 사항입니다. 편향되거나 평가되지 않은 데이터에서 파생된 훈련된 모델은 편향되거나 원하지 않는 예측을 초래할 수 있습니다. 편향 모델은 해로운 결과를 초래하여 사회나 목표에 부정적인 영향을 미칠 수 있습니다. 알고리즘 편향은 데이터가 훈련을 위해 완전히 준비되지 않은 잠재적 결과입니다. 기계 학습 윤리는 연구 분야가 되고 있으며 특히 기계 학습 엔지니어링 팀 내에 통합되고 있습니다.

연합학습

연합 학습은 분산 인공 지능을 훈련 머신 러닝 모델에 적응시킨 형태로, 훈련 프로세스를 분산시켜 사용자의 데이터를 중앙 집중식 서버로 보낼 필요가 없어 개인 정보를 유지할 수 있습니다. 또한 교육 프로세스를 많은 장치로 분산하여 효율성을 높입니다. 예를 들어, Gboard는 연합 머신 러닝을 사용하여 개별 검색을 Google로 다시 보낼 필요 없이 사용자의 휴대폰에서 검색 쿼리 예측 모델을 훈련합니다.^[93]

적용들

머신 러닝에는 다음과 같은 많은 응용 프로그램이 있습니다.

2006년 미디어 서비스 제공업체인 넷플릭스는 사용자 선호도를 더 잘 예측하고 기존 시네매치 영화 추천 알고리즘의 정확도를 최소 10% 이상 향상시키기 위한 프로그램을 찾기 위해 제1회 "넷플릭스 프라이즈" 대회를 개최했습니다. AT&T Labs-Research의 연구원들로 구성된 공동 팀은 Big Chaos 및 Pragimatic Theory 팀과 공동으로 앙상블 모델을 구축하여 2009년 100만 달러에 대상을 수상했습니다.^[96] 수상 직후 넷플릭스는 시청자들의 시청률이 시청 패턴("모든 것이 추천")을 나타내는 최고의 지표가 아니라는 것을 깨닫고 그에 따라 추천 엔진을 변경했습니다.^[97] 2010년 월스트리트 저널은 Rebellion Research라는 회사와 금융 위기를 예측하기 위한 기계 학습의 사용에 대해 썼습니다.^[98] 2012년 Sun Microsystems의 공동 설립자인 Vinod Khosla는 자동화된 기계 학습 의료 진단 소프트웨어로 인해 향후 20년 동안 의사 일자리의 80%가 사라질 것이라고 예측했습니다.^[99] 2014년 미술사 분야에서 머신러닝 알고리즘을 적용해 미술가들 사이에서 이전에 인식하지 못했던 영향력을 드러냈을 수 있다는 보도가 나왔습니다.^[100] 2019년 스프링어 네이처는 머신러닝을 활용해 만든 최초의 연구서를 출간했습니다.^[101] 2020년에는 기계 학습 기술을 사용하여 진단을 내리고 연구자들이 코로나19 치료법을 개발하는 데 도움을 주었습니다.^[102] 머신 러닝은 최근 여행자의 친환경 행동을 예측하기 위해 적용되었습니다.^[103] 최근에는 사용자의 전화와의 상호 작용을 기반으로 스마트폰의 성능과 열 거동을 최적화하는 기계 학습 기술도 적용되었습니다.^{[104][105][106]} 머신러닝 알고리즘(MLA)을 올바르게 적용하면 다양한 회사 특성을 활용하여 과적합 없이 주식 수익률을 예측할 수 있습니다. MLA는 효과적인 특징 엔지니어링을 사용하고 예측을 결합함으로써 OLS와 같은 기본 선형 기법에서 얻은 결과를 훨씬 능가하는 결과를 생성할 수 있습니다.^[107]

한계

기계 학습은 일부 분야에서 혁신적이었지만 기계 학습 프로그램은 종종 기대한 결과를 제공하지 못합니다.^{[108][109][110]} 그 이유로는 (적합한) 데이터 부족, 데이터에 대한 액세스 부족, 데이터 편향, 개인 정보 보호 문제, 잘못 선택된 작업 및 알고리즘, 잘못된 도구 및 사람, 리소스 부족, 평가 문제 등이 있습니다.^[111]

"블랙박스 이론"은 또 다른 중요한 도전을 제기합니다. 블랙박스는 알고리즘이나 출력물을 만드는 과정이 완전히 불투명한 상황을 말하는데, 알고리즘의 코더도 기계가 데이터에서 추출한 패턴을 감사할 수 없다는 뜻입니다.^[112] "개인의 삶에 실질적인 영향을 미칠 수 있는" 그러한 "정보 시스템"은 그것이 내리는 "결정에 대한 완전하고 만족스러운 설명"을 제공하지 않는 한 허용되지 않을 것이라고 주장한 상원 선정 위원회.^[112]

2018년 우버의 자율주행차가 보행자를 감지하지 못했는데, 보행자는 충돌 후 사망했습니다.^[113] IBM Watson 시스템으로 의료 분야에서 머신 러닝을 사용하려는 시도는 수년의 시간과 수십억 달러를 투자하고도 실현되지 못했습니다.^[114][115] 마이크로소프트의 빙챗 챗봇은 사용자들에게 적대적이고 공격적인 반응을 일으킨다고 보고되었습니다.^[116]

기계 학습은 체계적인 검토와 관련된 증거를 업데이트하고 생물 의학 문헌의 성장과 관련된 리뷰어 부담을 증가시키는 전략으로 사용되었습니다. 교육 세트로 개선되었지만, 결과 연구 자체에 필요한 민감도를 제한하지 않고 워크로드 부담을 줄일 수 있을 만큼 아직 충분히 발전하지 못했습니다.^[117]

편향

특히 기계 학습 접근 방식은 다양한 데이터 편향으로 인해 어려움을 겪을 수 있습니다. 현재 고객에 대해 특별히 훈련된 기계 학습 시스템은 훈련 데이터에 표현되지 않는 새로운 고객 그룹의 요구를 예측할 수 없을 수 있습니다. 인간이 만든 데이터로 훈련하면 머신 러닝은 이미 사회에 존재하는 체질적, 무의식적 편견을 집어낼 가능성이 높습니다.^[118]

데이터에서 학습한 언어 모델에는 인간과 유사한 편향이 포함된 것으로 나타났습니다.^[119][120] 탐사 저널리즘 단체인 프로퍼블리카(ProPublica)가 실시한 실험에서 죄수들의 재범률에 대한 머신 러닝 알고리즘의 통찰력은 "흑인 피고인이 백인 피고인보다 두 배 더 높은 위험"을 거짓으로 표시했습니다.^[121] 2015년에는 구글 사진에 흑인을 고릴라로 태그하는 경우가 많았고,^[121] 2018년에는 여전히 이 문제가 잘 해결되지 않았지만, 구글은 여전히 해결책을 사용하여 훈련 데이터에서 모든 고릴라를 제거하고 있었기 때문에 실제 고릴라를 전혀 인식할 수 없었던 것으로 알려졌습니다.^[122] 백인이 아닌 사람을 인식하는 것과 유사한 문제가 다른 많은 시스템에서 발견되었습니다.^[123] 2016년, 마이크로소프트는 트위터에서 배운 챗봇인 Tay를 테스트했고, 빠르게 인종차별적이고 성차별적인 언어를 습득했습니다.^[124]

이러한 문제로 인해 기계 학습의 효과적인 사용은 다른 영역에서 채택되는 데 더 오래 걸릴 수 있습니다.^[125] 기계 학습의 공정성, 즉 기계 학습의 편향성을 줄이고 인간의 이익을 위해 기계 학습의 사용을 촉진하는 것에 대한 우려는 엔지니어들에게 "인공지능은 아무것도 아니다..."라고 상기시키는 페이페이 리(Fei-Fei Li)를 포함한 인공지능 과학자들에 의해 점점 더 많이 표현되고 있습니다.그것은 사람들에 의해 영감을 받고, 사람들에 의해 만들어지며, 가장 중요한 것은 사람들에게 영향을 미칩니다. 그것은 우리가 이제 막 이해하기 시작한 강력한 도구이며, 그것은 중대한 책임입니다."^[126]

설명가능성

설명 가능한 AI(XAI) 또는 해석 가능한 AI(Explicable AI) 또는 설명 가능한 머신 러닝(XML)은 인간이 AI에 의해 결정되거나 예측되는 것을 이해할 수 있는 인공 지능(AI)입니다.^[127] 인공지능이 특정 결정에 도달한 이유를 설계자조차 설명할 수 없는 기계 학습의 "블랙박스" 개념과 대조됩니다.^[128] AI 기반 시스템 사용자의 정신 모델을 개선하고 잘못된 개념을 해체함으로써 XAI는 사용자가 더 효과적으로 작업을 수행할 수 있도록 도울 것을 약속합니다. XAI는 사회적 설명권의 구현일 수 있습니다.

과적합

과거의 모든 훈련 데이터에 적합하도록 조작된 나쁘고 지나치게 복잡한 이론 게리에 정착하는 것을 과적합이라고 합니다. 많은 시스템은 이론이 데이터에 얼마나 잘 맞는지에 따라 보상을 주지만 이론이 얼마나 복잡한지에 따라 이론에 불이익을 줌으로써 과적합을 줄이려고 시도합니다.^[129]

기타 제한 및 취약성

학습자들은 또한 "잘못된 교훈"을 얻음으로써 실망할 수 있습니다. 장난감 예는 갈색 말과 검은 고양이 사진에만 훈련된 이미지 분류기가 모든 갈색 패치가 말일 가능성이 높다고 결론 내릴 수 있다는 것입니다.^[130] 실제 사례는 인간과 달리 현재의 이미지 분류기는 주로 사진의 구성 요소 간의 공간적 관계에서 판단을 내리지 않으며, 인간이 인식하지 못하는 픽셀 간의 관계를 학습하지만 여전히 특정 유형의 실제 물체의 이미지와 상관 관계가 있다는 것입니다. 합법적인 이미지에서 이러한 패턴을 수정하면 시스템이 잘못 분류하는 "적대적" 이미지가 발생할 수 있습니다.^[131][132]

적대적 취약성은 비선형 시스템 또는 비패턴 섭동으로 인해 발생할 수도 있습니다. 일부 시스템의 경우 적대적으로 선택된 단일 픽셀만 변경하여 출력을 변경할 수 있습니다.^[133] 기계 학습 모델은 종종 적대적 기계 학습을 통한 조작 및/또는 회피에 취약합니다.^[134]

연구자들은 백도어가 제3자에 의해 자주 개발되고 훈련되는 (예: 게시물의 "스팸" 카테고리 및 잘 보이는 "스팸이 아닌" 카테고리의 경우) 기계 학습 모델을 감지할 수 없게 분류하는 방법을 입증했습니다. 당사자는 화이트박스 액세스를 포함하여 데이터/소프트웨어 투명성 유형이 제공되는 경우를 포함하여 모든 입력의 분류를 변경할 수 있습니다.^{[135][136][137]}

모델 평가

기계 학습 모델의 분류는 훈련 및 테스트 세트(종래적으로 2/3 훈련 세트 및 1/3 테스트 세트 지정)에서 데이터를 분할하고 테스트 세트에 대한 훈련 모델의 성능을 평가하는 홀드아웃 방법과 같은 정확도 추정 기법으로 검증할 수 있습니다. 이에 비해 K-폴드 교차 검증 방법은 데이터를 무작위로 K개의 하위 집합으로 분할한 다음 평가를 위한 1개의 하위 집합과 모델 학습을 위한 나머지 K-1 하위 집합을 고려하여 각각 K개의 실험을 수행합니다. 홀드아웃 및 교차 검증 방법 외에도 데이터 세트에서 대체하여 n개의 인스턴스를 샘플링하는 부트스트랩을 사용하여 모델 정확도를 평가할 수 있습니다.^[138]

전반적인 정확도 외에도 조사자들은 민감도와 특이도를 보고하는데, 이는 각각 TPR(True Positive Rate)과 TNR(True Negative Rate)을 의미합니다. 마찬가지로, 조사관들은 때때로 거짓 양성 비율(FPR)과 거짓 음성 비율(FNR)을 보고합니다. 그러나 이 비율은 분자와 분모를 밝히지 못하는 비율입니다. 총 작동 특성(TOC)은 모델의 진단 능력을 표현하는 효과적인 방법입니다. TOC는 앞서 언급한 속도의 분자와 분모를 보여주기 때문에 TOC는 일반적으로 사용되는 수신기 작동 특성(ROC) 및 곡선 아래 ROC의 관련 영역(AUC)보다 더 많은 정보를 제공합니다.^[139]

윤리

기계 학습은 많은 윤리적 질문을 제기합니다. 편향으로 수집된 데이터 세트에 대해 훈련된 시스템은 사용 시 이러한 편향(알고리즘 편향)을 나타낼 수 있으므로 문화적 편견을 디지털화할 수 있습니다.^[140] 예를 들어, 1988년 영국의 인종 평등 위원회는 세인트루이스를 발견했습니다. George's Medical School은 이전 입학 직원들의 데이터로 훈련된 컴퓨터 프로그램을 사용해 왔으며, 이 프로그램은 여성이거나 비유럽권의 소리 나는 이름을 가진 거의 60명의 지원자들을 거부했습니다.^[118] 인종 차별적인 고용 정책을 가진 회사의 채용 데이터를 사용하면 이전의 합격자와 유사성으로 입사 지원자에게 점수를 매김으로써 편견을 복제하는 기계 학습 시스템이 발생할 수 있습니다.^[141][142] 또 다른 예로는 과거 범죄 데이터로 훈련을 받은 후 "저소득자와 소수자 지역 사회에서 과도하게 높은 수준의 치안 유지"를 초래한 예측 치안 회사 지오리티카(Geolitica)의 예측 알고리즘이 있습니다.^[121]

책임 있는 데이터 수집과 시스템에서 사용하는 알고리즘 규칙 문서화는 기계 학습의 중요한 부분으로 간주되지만, 일부 연구자들은 기계 학습의 편향에 대한 취약성을 AI 분야에 대한 참여와 소수 집단의 대표성 부족 탓으로 돌립니다.^[143] 실제로 2021년 미국 컴퓨팅연구협회(CRA)의 조사에 따르면 전 세계 여러 대학 중 AI에 초점을 맞춘 교수진 중 '여성 교수진'은 16.1%에 불과합니다.^[144] 게다가, "새로운 미국 거주 AI PhD 졸업생" 그룹 중 45%는 백인, 22.4%는 아시아인, 3.2%는 히스패닉, 2.4%는 아프리카계 미국인으로 확인되었는데, 이는 AI 분야에서 다양성이 부족함을 더욱 보여줍니다.^[144]

AI는 데이터와 과거 정보에 크게 의존하는 기술 분야에서 의사 결정을 내릴 수 있는 장비를 잘 갖출 수 있습니다. 이러한 결정은 객관성과 논리적 추론에 의존합니다.^[145] 인간의 언어에는 편향이 포함되어 있기 때문에 언어 말뭉치에 대해 훈련된 기계도 이러한 편향을 학습할 것입니다.^[146][147]

개인적 편견과 관련이 없는 다른 형태의 윤리적 도전은 의료 서비스에서 볼 수 있습니다. 의료 전문가들 사이에서는 이러한 시스템이 대중의 이익을 위해 설계된 것이 아니라 소득 창출 기계로 설계된 것이 아니냐는 우려가 나오고 있습니다.^[148] 특히 건강관리를 개선하되 수익을 증대해야 한다는 오랜 윤리적 딜레마가 존재하는 미국에서는 더욱 그렇습니다. 예를 들어, 알고리즘은 환자에게 알고리즘의 독점 소유자가 지분을 보유하는 불필요한 테스트 또는 약물을 제공하도록 설계될 수 있습니다. 의료 분야에서 기계 학습은 전문가에게 환자를 진단하고, 약물을 투여하고, 회복 경로를 계획하는 추가 도구를 제공할 가능성이 있지만, 이를 위해서는 이러한 편견을 완화해야 합니다.^[149]

하드웨어

2010년대 이후 기계 학습 알고리즘과 컴퓨터 하드웨어의 발전으로 비선형 은닉 단위의 많은 계층을 포함하는 심층 신경망(기계 학습의 특히 좁은 하위 도메인)을 훈련하는 방법이 더 효율적으로 만들어졌습니다.^[150] 2019년까지 그래픽 처리 장치(GPU)는 종종 AI에 특화된 기능을 통해 CPU를 대체하여 대규모 상용 클라우드 AI를 훈련하는 주요 방법이 되었습니다.^[151] OpenAI는 AlexNet(2012년)부터 AlphaZero(2017년)까지 가장 큰 딥러닝 프로젝트에 사용된 하드웨어 컴퓨팅을 추정한 결과, 필요한 컴퓨팅 양이 30만 배 증가했으며, 추세선은 3.4개월로 두 배 증가했습니다.

뉴로모픽/물리 신경망

물리적 신경망 또는 뉴로모픽 컴퓨터는 전기적으로 조정 가능한 물질이 신경 시냅스의 기능을 모방하는 데 사용되는 인공 신경망의 일종입니다. "물리적" 신경망은 소프트웨어 기반 접근 방식이 아닌 뉴런을 에뮬레이션하는 데 사용되는 물리적 하드웨어에 대한 의존성을 강조하는 데 사용됩니다. 보다 일반적으로 이 용어는 멤리스터 또는 기타 전기적으로 조정 가능한 저항 물질이 신경 시냅스를 에뮬레이션하는 데 사용되는 다른 인공 신경망에 적용할 수 있습니다.^[154][155]

임베디드 머신 러닝

임베디드 머신 러닝은 머신 러닝의 하위 분야로, 머신 러닝 모델은 웨어러블 컴퓨터, 엣지 디바이스 및 마이크로 컨트롤러와 같은 컴퓨팅 리소스가 제한된 임베디드 시스템에서 실행됩니다.^{[156][157][158]} 임베디드 장치에서 머신 러닝 모델을 실행하면 추가 처리를 위해 클라우드 서버에 데이터를 전송하고 저장할 필요가 없어지며, 따라서 데이터 전송으로 인해 발생하는 데이터 침해 및 개인 정보 유출을 줄일 수 있으며, 지적 재산, 개인 데이터 및 비즈니스 기밀의 도난도 최소화할 수 있습니다. 임베디드 머신 러닝은 하드웨어 가속,^[159][160] 근사 컴퓨팅 사용,^[161] 머신 러닝 모델 최적화 등 여러 기술을 통해 적용될 수 있습니다.^[162][163] 가지치기, 양자화, 지식 증류, 낮은 순위 인수분해, 네트워크 아키텍처 검색(NAS) 및 매개변수 공유는 기계 학습 모델의 최적화에 사용되는 몇 가지 기술입니다.

소프트웨어

다양한 기계 학습 알고리즘을 포함하는 소프트웨어 제품군은 다음과 같습니다.

자유 및 오픈 소스 소프트웨어

무료 및 오픈 소스 에디션이 포함된 독점 소프트웨어

• 크나임
• 래피드마이너

독점 소프트웨어

저널

• 기계학습연구학회지
• 머신 러닝
• 네이처 머신 인텔리전스
• 뉴럴 연산
• 패턴분석과 기계지능에 관한 IEEE 트랜잭션

회의

• 인공지능에 관한 AAAI 컨퍼런스
• 컴퓨터 언어학 협회(ACL)
• European Conference on Machine Learning and Principle of Knowledge Discovery in Database (ECML PKDD)
• 국제 생물정보학 및 생물통계학을 위한 컴퓨터지능 방법 회의(CIBB)
• ICML(International Conference on Machine Learning)
• 국제 학습 표현 회의(ICLR)
• 지능형 로봇 및 시스템에 관한 국제회의(IROS)
• KDD(Knowledge Discovery and Data Mining) 컨퍼런스
• NeurIPS(Neural Information Processing Systems) 컨퍼런스

참고 항목

• 자동화된 기계 학습 – 기계 학습의 적용을 자동화하는 프로세스
• 빅 데이터 – 매우 크거나 복잡한 데이터 세트
• 차별화 프로그래밍 – 프로그래밍 패러다임
• 포스컨트롤
• 기계 학습의 중요한 출판물 목록
• 기계 학습 연구를 위한 데이터 세트 목록

참고문헌

원천

• Domingos, Pedro (September 22, 2015). The Master Algorithm: How the Quest for the Ultimate Learning Machine Will Remake Our World. Basic Books. ISBN 978-0465065707.
• Nilsson, Nils (1998). Artificial Intelligence: A New Synthesis. Morgan Kaufmann. ISBN 978-1-55860-467-4. Archived from the original on 26 July 2020. Retrieved 18 November 2019.
• Russell, Stuart J.; Norvig, Peter (2003), Artificial Intelligence: A Modern Approach (2nd ed.), Upper Saddle River, New Jersey: Prentice Hall, ISBN 0-13-790395-2.
• Poole, David; Mackworth, Alan; Goebel, Randy (1998). Computational Intelligence: A Logical Approach. New York: Oxford University Press. ISBN 978-0-19-510270-3. Archived from the original on 26 July 2020. Retrieved 22 August 2020.

추가읽기

외부 링크

• 위키인용 기계학습 관련 인용문
• 국제기계학습학회
• mloss는 오픈 소스 머신 러닝 소프트웨어의 학술 데이터베이스입니다.