상태-행동-보상-상태-행동

시리즈의 일부
기계 학습 및 데이터 마이닝
문제 분류 클러스터링 회귀 이상 검출 데이터 클리닝 자동 ML 어소시에이션 규칙 강화 학습 구조화된 예측 기능 엔지니어링 기능 학습 온라인 학습 준지도 학습 비지도 학습 순위 매기기 학습 문법 유도
지도 학습 (분류 • 회귀) 의사결정 트리 앙상블 배깅 부스팅 랜덤 포레스트 k-NN 선형 회귀 네이비 베이즈 인공신경망 로지스틱 회귀 분석 퍼셉트론 관련 벡터 머신(RVM) 서포트 벡터 머신(SVM)
클러스터링 버치 치유하다 계층적 k자형 기대 최대화(EM) DBSCAN 광학 평균 이동
치수 축소 인자 분석 CCA ICA LDA NMF PCA PGD t-SNE
구조화된 예측 그래픽 모델 베이즈 네트 조건부 랜덤 필드 히든 마르코프
이상 검출 k-NN 국소 특이치 계수
인공신경망 자동 인코더 인지 컴퓨팅 딥 러닝 딥 드림 다층 퍼셉트론 RNN LSTM GRU ESN 저장고 계산 제한 볼츠만 기계 GAN somerset. 컨볼루션 뉴럴 네트워크 유넷 트랜스포머 비전. 스파이킹 뉴럴 네트워크 메모리 트랜지스터 전기화학 RAM(ECRAM)
강화 학습 Q-러닝 사사 시간차(TD) 멀티 에이전트 셀프 플레이
인간과의 학습 액티브 러닝 크라우드 소싱 휴먼 인 더 루프
모델 진단 학습 곡선
이론. 커널 머신 바이어스-분산 트레이드오프 컴퓨터 학습 이론 경험적 리스크 최소화 오컴 러닝 PAC 학습 통계학 학습 VC 이론
기계학습장 NeurolIPS ICML ML JMLR ArXiv:cs.LG
관련 기사 인공지능 용어집 기계 학습 연구를 위한 데이터 세트 목록 기계학습의 개요
v t

상태-행동-보상-상태-행동(SARSA)은 마르코프 의사결정 과정 정책을 학습하기 위한 알고리즘으로, 기계 학습의 강화 영역에 사용된다.Rummery와 Niranjan이 "Modified Connectist Q-Learning"(MCQ-L)이라는 이름의 기술 노트를^[1] 통해 제안했습니다.리치 서튼이 제안한 SARSA라는 다른 이름은 ^[2]각주로만 언급되었다.

이 이름은 Q-값을 업데이트하는 주요 기능이 에이전트의 현재 상태 "S₁", 에이전트가 선택한 작업 "A₁", 에이전트가 이 작업을 선택한 데 대해 받는 보상 "R", 에이전트가 해당 작업을 수행한 후 시작하는 상태 "S₂", 마지막으로 에이전트가 새 상태에서 선택한 다음 작업 "A₂"에 따라 다르다는 사실을 나타냅니다.5배수(s_tt, a_t, r_t+1, s_t+1, a)의 약자는 SARSA이다.^[3] 일부 저자는 보상이 공식적으로 할당된 단계에 따라 약간 다른 규칙을 사용하여 5배수(s_t, a_t, r_t+1, s_t+1, a_t+1)를 쓴다.기사의 나머지 부분은 이전의 관례를 사용한다.

알고리즘.

${\displaystyle Q^{new}(s_{t},a_{t})\left 화살표 Q(s_{t})+\alpha \,[r_{t}+\gamma \,Q(s_{t+1}-Q(s_{t},a_{t})})}$

SARSA 에이전트는 환경과 상호 작용하여 수행된 액션을 기반으로 정책을 업데이트하므로 이를 정책 학습 알고리즘이라고 합니다.상태 액션의 Q 값은 학습 속도 알파에 의해 조정된 오류에 의해 업데이트됩니다.Q 값은 상태 s에서 조치 a를 취하기 위해 다음 단계에서 받을 수 있는 가능한 보상과 다음 상태-조치 관찰에서 받을 할인된 미래 보상을 나타낸다.

Watkin의 Q-learning은 사용 가능한 조치의 최대 보상을 기반으로 최적의 상태-행동 값 $함수{\displaystyle {}^{}}$ Q ${\$ {\$displaystyle$ Q$^{*}$의 추정치를 업데이트합니다.SARSA는 스스로 따르는 정책을 취하는 것과 관련된 Q값을 학습하는 반면, Watkin의 Q-learning은 탐사/착취 정책을 따르면서 최적의 정책을 취하는 것과 관련된 Q값을 학습합니다.

왓킨의 Q-러닝의 최적화는 SARSA에 ^[4]적용될 수 있다.

하이퍼파라미터

학습률(알파)

학습률은 새로 취득한 정보가 오래된 정보보다 어느 정도 우선하는지를 결정합니다.계수가 0인 경우 에이전트는 아무것도 학습하지 않으며, 계수 1인 경우 에이전트는 최신 정보만 고려합니다.

할인율(감마)

할인율은 미래 보상의 중요성을 결정한다.할인율이 0인 경우, 예를 들어 현재의 보수만을 고려하는 것으로써, 에이전트는 「기회적」, 즉 「근시안적」이 됩니다.한편, 1에 가까워지면, 장기적인 고액의 보수를 얻으려고 노력하게 됩니다.할인율이 1을 충족하거나 초과할 경우 Q$(\displaystyle$ Q$)$ $값$이 분산될 수 있습니다.

초기 조건(Q(s₀, a₀))

SARSA는 반복 알고리즘이기 때문에 첫 번째 업데이트가 발생하기 전에 암묵적으로 초기 상태를 가정합니다."낙관적인 초기 조건"^[6]이라고도 하는 낮은(무한) 초기 값은 탐색을 촉진할 수 있습니다. 즉, 어떤 작업이 수행되든 업데이트 규칙에 따라 다른 대안보다 높은 값이 지정되므로 선택 확률이 높아집니다.2013년에는 첫 번째 $보상{\displaystyle }$ r$\displaystyle$r을 사용하여$$ 초기 조건을 재설정할 수 있다고 제안되었다.이 아이디어에 따르면 첫 번째 조치를 취했을 때 보상을 사용하여$$Q(\$displaystyle$ Q$)$의 값을 설정합니다.이것에 의해, 확정적인 보상이 있는 경우, 즉시 학습할 수 있습니다.이 RIC(Reset-of-Initial-Conditions) 접근법은 반복적인 바이너리 선택 ^[7]실험에서의 인간의 행동과 일치하는 것으로 보입니다.

「 」를 참조해 주세요.

• 전전두피질 기저신경절 작업기억
• Sammon 매핑
• 스킬 트리 구축
• Q-러닝
• 시간차 학습
• 강화 학습

레퍼런스