트랜스포머(딥러닝 아키텍처)

이 기사는 주요 출처에 대한 언급에 지나치게 의존합니다. 2차 또는 3차 출처를 추가하여 이 기사를 개선해 주시기 바랍니다. 출처: "Transformer" 딥러닝 아키텍처 – 뉴스·신문·도서·학자·JSTOR(2023년 2월) (이 템플릿 메시지를 제거하는 방법과 시기 알아보기)

에 관한 시리즈의 일부
머신러닝 데이터 마이닝
패러다임 지도학습 비지도 학습 온라인 학습 일괄 학습 메타학습 준지도학습 자기 지도 학습 강화학습 규칙 기반 학습 양자 기계 학습
문제 분류 생성모델 회귀 클러스터링 치수 축소 밀도 추정 이상 탐지 데이터 정리 자동ML 결사규칙 시맨틱 분석 구조화 예측 특징공학 특징 학습 순위 정하기 배우기 문법 귀납법 온톨로지 학습 멀티모달 학습
지도학습 (분류 • 회귀) 도제식 학습 의사결정나무 앙상블 배깅 부스팅 랜덤 포레스트 k-NN 선형 회귀 나이브 베이즈 인공신경망 로지스틱 회귀 분석 퍼셉트론 관련성 벡터 머신(RVM) SVM(Support Vector Machine)
클러스터링 버치 치유하다 계층적 k- means 퍼지 기대-최대화(EM) DBSCAN 광학 장치 평균 이동
차원 축소 요인분석 CCA ICA LDA NMF PCA PGD t-SNE SDL
구조화 예측 그래픽 모델 베이즈넷 조건부 랜덤 필드 히든 마르코프
이상 탐지 RANSAC k-NN 국소이상치인자 격리림
인공신경망 오토인코더 인지 컴퓨팅 딥러닝 딥드림 피드포워드 신경망 순환신경망 LSTM GRU ESN 저장소 계산 제한 볼츠만 기계 간 확산모델 SOM 합성곱 신경망 유넷 변압기 비전. 맘바 스파이킹 신경망 멤트랜지스터 전기화학램(ECRAM)
강화학습 Q-러닝 사스 시간차(TD) 다중 에이전트 셀프플레이
인간과 함께 배우기 능동학습 크라우드소싱 휴먼 인 더 루프
모델 진단 결정계수 혼동행렬 학습곡선 ROC 곡선
수학적 기초 커널 머신 편향-분산 트레이드오프 계산학습이론 경험적 리스크 최소화 오캠학습 PAC 학습 통계학습 VC이론
기계 학습 장소 ECML PKDD 뉴립스 ICML ICLR 아이제이카이 ML JMLR
관련기사 인공지능 용어집 기계 학습 연구를 위한 데이터 세트 목록 컴퓨터 비전 및 이미지 처리 분야의 데이터 세트 목록 기계 학습의 개요
v t

트랜스포머는 2017년 논문 "Attention Is All You Need"에서 제안된 다중 헤드 어텐션 메커니즘을 기반으로 하는 딥 러닝 아키텍처입니다.^[1] 반복 단위가 없기 때문에 LSTM(Long Short-Term Memory)과 같은 이전의 반복 신경 아키텍처보다 훈련 시간이 적게 필요하며,^[2] 이후의 변형은 위키피디아 말뭉치 및 커먼 크롤과 같은 대규모(언어) 데이터 세트에서 대규모 언어 모델을 훈련하는 데 널리 채택되었습니다.^[3] 입력 텍스트는 토큰으로 인코딩된 n-그램으로 분할되고 각 토큰은 단어 임베딩 테이블에서 조회를 통해 벡터로 변환됩니다. 그런 다음 각 계층에서 각 토큰은 병렬 다중 헤드 어텐션 메커니즘을 통해 컨텍스트 창 범위 내에서 다른 (마스크 미착용) 토큰과 컨텍스트 창에 컨텍스트화되어 키 토큰에 대한 신호가 증폭되고 덜 중요한 토큰이 감소됩니다. 2017년에 발표된 트랜스포머 논문은 소프트맥스 기반 어텐션 메커니즘을 기반으로 Bahdanau 등이 기계 번역을 위해 2014년에 제안했으며,^[4][5] 트랜스포머와 유사한 Fast Weight Controller가 1992년에 제안되었습니다.^[6][7][8]

이 아키텍처는 이제 자연어 처리 및 컴퓨터 비전뿐만 아니라 ^[9]오디오^[10] 및 멀티모달 처리에도 사용됩니다. 또한 생성 사전 훈련된 트랜스포머(^[11]GPT) 및 BERT^[12](트랜스포머에서 양방향 인코더 표현)와 같은 사전 훈련된 시스템의 개발로 이어졌습니다.

타임라인

• 1990년 엘만 네트워크는 순환 신경망을 사용하여 훈련 세트의 각 단어를 벡터로 인코딩하고 단어 임베딩이라고 하는 전체 어휘를 벡터 데이터베이스로 인코딩하여 단순한 다층 퍼셉트론의 힘을 넘어서는 시퀀스 예측과 같은 작업을 수행할 수 있도록 했습니다. 정적 임베딩의 단점은 동일한 철자 단어의 여러 의미를 구별하지 못한다는 것입니다.^[13]
• 1992년에 위르겐 슈미드후버(Jürgen Schmidhuber)에 의해 고속 체중 조절기(Fast Weight Controller)가 출판되었습니다.^[6] FROM과 TO라는 키 벡터와 값 벡터의 외부 곱을 통해 다른 신경망의 주의 가중치를 프로그래밍하여 쿼리에 응답하는 방법을 학습합니다. Fast Weight Controller는 나중에 정규화되지 않은 선형 변환기와 동등한 것으로 나타났습니다.^{[8][7][14][15]} 1993년에 "주의 내부 스포트라이트 학습"이라는 용어가 도입되었습니다.^[16]
• 1993년 IBM 정렬 모델은 통계적 기계 번역에 사용되었습니다.^[17]
• 1997년에는 장기 단기 기억과 같은 순환 신경망을 사용하는 대규모 언어 모델의 전조가 제안되었습니다.
• 2001년, 인터넷에서 긁어낸 10억 단어의 큰 텍스트 말뭉치가 단어의 모호성을 해소하는 데 사용되었습니다.^[18]
• 2012년 알렉스넷은 이미지 인식을 위한 대규모 신경망의 효과를 입증하여 오래된 통계적 접근 방식 대신 대규모 인공 신경망 접근 방식을 장려했습니다.
• 2014년에 Sutskever 등은 두 개의 LSTM 네트워크를 사용한 기계 번역을 위한 380M 매개 변수 seq2seq 모델을 제안했습니다.^[19] 아키텍처는 두 부분으로 구성되어 있습니다. 인코더는 일련의 토큰을 받아 벡터로 변환하는 LSTM입니다. 디코더는 벡터를 토큰 시퀀스로 변환하는 또 다른 LSTM입니다.
• 2014년, 게이팅은 단순화된 게이팅 반복 단위(GRU)를 사용한 130M 매개변수 seq2seq 모델에서 유용한 것으로 입증되었습니다. Bahdanau 등은^[20] GRU가 게이팅된 LSTM보다 낫지도 않고 나쁘지도 않다는 것을 보여주었습니다.^[21][22]
• 2014년 Bahdanau ^[23]등은 두 개의 LSTM 네트워크 사이에 "추가적인" 종류의 주의 메커니즘을 사용하여 이전 seq2seq 모델을 개선했습니다. 그러나 아직 병렬화("점 제품"이라고 불리는) 종류의 관심은 2017년 트랜스포머 논문에서 제안되었습니다.
• 2015년, 글로벌 및 로컬(윈도우) 어텐션 모델 아키텍처의 상대적 성능은 Bahdanau 아키텍처에서 제공하는 번역을 개선한 것으로 밝혀진 혼합 어텐션 아키텍처인 Luong et al. 에 의해 평가되었으며, 로컬 어텐션 아키텍처를 사용하면 번역 시간이 단축되었습니다.^[24]
• 2016년 Google Translate는 LSTM과 "추가적인" 주의 메커니즘을 결합한 seq2seq 모델을 포함하는 새로운 신경망 기반 접근 방식으로 점차 이전의 통계적 기계 번역 접근 방식을 대체했습니다. 그들은 개발하는 데 10년이 걸렸던 통계적 접근법보다 9개월 만에 더 높은 수준의 성과를 달성했습니다.^[25][26]
• 2017년에는 "Attention is all you ey need" 논문에서 더 빠른(병렬화 가능하거나 분해 가능한) 주의 메커니즘을 갖춘 오리지널(100M 크기) 인코더-디코더 트랜스포머 모델이 제안되었습니다. 모델이 수렴하는 데 어려움이 있었기 때문에 학습률을 0에서 최대 값(즉, 전체 학습 단계 수의 2%)으로 선형적으로 확장해야 한다고 제안했습니다. 트랜스포머 모델의 목적은 seq2seq 모델을 사용하여 반복 신경망을 제거하지만 추가 주의 메커니즘을 보존하는 것입니다.^[1]
• 2018년 ELMo 논문에서는 문장의 각 단어에 임베딩 벡터를 할당하기 전에 전체 문장을 처리했습니다. 양방향 LSTM을 사용하여 각 단어에 대한 심층적이고 맥락화된 임베딩을 계산하여 단어 가방과 word2vec에서 연구 라인을 개선했습니다.
• 2018년에는 인코더 전용 변압기가 (1B 크기 이상) BERT 모델에 사용되어 ELMo를 개선했습니다.^[27]
• 2020년에는 비전 트랜스포머와^[28] 음성 처리 컨볼루션 증강 트랜스포머가^[29] 이전에 비전과 음성에 사용되었던 순환 신경망을 능가했습니다.
• 2020년에는 Xiong 등이 멀티헤드 어텐션 전(후 대신) 레이어를 정규화하여 원래 변압기를 수렴하는 어려움을 해결했습니다. 이것을 pre-LN 트랜스포머라고 합니다.^[30]
• 2023년에 단방향("자기회귀") 변압기가 (100B 이상) GPT-3 및 기타 Open에 사용되었습니다.AI GPT 모델.^[31][32]

이전 버전

트랜스포머 이전에는 데이터 세트를 순차적으로 처리하는 LSTM 및 게이트 반복 단위(GRU)와 같은 게이트 반복 신경망에 주의 메커니즘의 이전 버전이 추가되었습니다. 이전 토큰 계산에 의존하기 때문에 주의 메커니즘을 병렬화할 수 없었습니다. 1992년에는 "내부적인 관심의 스포트라이트"를 학습할 수 있는 순환 신경망의 대안으로 고속 체중 제어기가 제안되었습니다.^[16][6] 이론적으로 하나의 토큰의 정보는 시퀀스 훨씬 아래로 임의로 전파될 수 있지만 실제로 소실 기울기 문제는 이전 토큰에 대한 정확하고 추출 가능한 정보 없이 긴 문장 끝에 모델의 상태를 남깁니다.

이전 모델의 성능은 주의 메커니즘을 추가하여 모델이 시퀀스를 따라 이전 지점에 액세스할 수 있도록 하여 향상되었습니다. 주의 계층은 학습된 관련성 측정에 따라 이전의 모든 상태에 가중치를 부여하여 먼 토큰에 대한 관련 정보를 제공합니다. 이것은 먼 맥락이 문장에서 단어의 의미에 필수적일 수 있는 언어 번역에서 특히 유용하다는 것이 입증되었습니다. 상태 벡터는 예를 들어 LSTM 모델에 의해 프랑스어에서 번역하는 동안 마지막 영어 단어가 처리된 후에만 액세스할 수 있습니다. 이론적으로 이러한 벡터는 전체 원본 문장에 대한 정보를 유지하지만 실제로는 정보가 제대로 보존되지 않습니다. 주의 메커니즘이 추가되면 디코더는 마지막뿐만 아니라 모든 입력 단어의 상태 벡터에 액세스할 수 있으며 각 입력 상태 벡터에 얼마나 주의를 기울여야 하는지를 결정하는 주의 가중치를 학습할 수 있습니다. 주의 메커니즘을 사용한 seq2seq 모델의 증강은 2014년 Bahdanau, Cho 및 Bengio의 기계 번역 맥락에서 처음 구현되었습니다.^[4][5]

분해가능주의

2016년, 고도로 병렬화 가능한 분해 가능한 주의를 피드포워드 네트워크와 성공적으로 결합했습니다.^[33] 이는 주의 메커니즘이 그 자체로 강력했으며 주의를 기울여 반복 신경망의 품질 향상을 달성하기 위해 데이터의 순차적 반복 처리가 필요하지 않다는 것을 나타냅니다. 2017년에 Vaswani 등은 순환 신경망을 자기 주의로 대체할 것을 제안하고 그 아이디어를 평가하기 위한 노력을 시작했습니다.^[1] 주의 메커니즘을 사용하여 모든 토큰을 동시에 처리하는 트랜스포머는 연속된 레이어에서 그들 사이의 "소프트" 가중치를 계산했습니다. 주의 메커니즘은 하위 계층의 다른 토큰에 대한 정보만 사용하기 때문에 모든 토큰에 대해 병렬로 계산할 수 있으므로 훈련 속도가 향상됩니다.

트레이닝

훈련 안정화 방법

일반 변압기 아키텍처는 수렴하는 데 어려움이 있었습니다. 원본 논문에서^[1] 저자들은 학습률 워밍업을 사용할 것을 권장했습니다. 즉, 학습률은 다시 감소하기 전에 훈련의 첫 번째 부분에 대해 0에서 최대값까지 선형적으로 증가해야 합니다(일반적으로 총 훈련 단계 수의 2%로 권장됨).

2020년 논문에 따르면 다중 헤드 주의 및 피드포워드 레이어 이전(이후 대신)에 레이어 정규화를 사용하면 학습 속도 예열이 필요하지 않고 학습이 안정화되는 것으로 나타났습니다.^[30]

GT³ 모델은 자체 적응형 게이트 레이어를 사용하여 CWTE, SWTE 및 TTE를 통합하여 엔드투엔드 텍스트 기반 주식 시장 예측을 위한 세 가지 유형의 기능을 효율적이고 효과적으로 융합할 수 있습니다.^[34]

프리트레인-미세조도

트랜스포머는 일반적으로 감독되지 않은 사전 훈련과 감독된 미세 조정을 포함하는 자체 지도 학습을 거칩니다. 레이블이 지정된 학습 데이터의 가용성이 제한되어 있기 때문에 사전 학습은 일반적으로 미세 조정보다 더 큰 데이터 세트에서 수행됩니다. 사전 교육 및 미세 조정 작업은 일반적으로 다음과 같습니다.

• 언어 모델링^[12]
• 다음 sentence 예측
• 질의응답^[3]
• 독해력
• 감정 분석^[1]
• 의역^[1]

T5 트랜스포머 페이퍼는^[35] 많은 수의 사전 교육 작업을 문서화합니다. 몇 가지 예는 다음과 같습니다.

• 손상된 텍스트 복원: Thank you <X> me to your party <Y> week. -> <X> for inviting <Y> last <Z> 어디서 <Z> 출력 종료를 의미합니다.
• 번역: translate English to German: That is good. -> Das ist gut..
• 문장의 문법적 허용성 판단: cola sentence: The course is jumping well. -> not acceptable .

적용들

트랜스포머는 기계 번역 및 시계열 예측 작업과 같은 자연어 처리(NLP)에서 큰 성공을 거두었습니다. GPT-2, GPT-3, GPT-4, 클로드, BERT, XLNet, RoBERTa 및 ChatGPT와 같은 많은 대형 언어 모델은 이러한 다양한 NLP 관련 작업을 수행할 수 있는 트랜스포머의 능력을 보여주며 실제 애플리케이션을 찾을 수 있는 잠재력을 가지고 있습니다. 다음을 포함할 수 있습니다.

• 기계번역
• 문서 요약
• 문서 생성
• 명명실체인식(^[36]NER)
• 생물학적 염기서열 분석
• 자연어로 표현된 요구사항을 기반으로 컴퓨터 코드를 작성하는 것.
• 화상 이해.

NLP 애플리케이션 외에도 컴퓨터 비전 또는 단백질 접기 애플리케이션(예: AlphaFold)과 같은 다른 분야에서도 성공을 거두었습니다.

예를 들어 이타카는 3개의 출력 헤드를 가진 인코더 전용 변압기입니다. 문자의 시퀀스와 마찬가지로 입력된 고대 그리스 문자가 필요하지만, 판독 불가능한 문자는 "-"로 대체됩니다. 세 개의 출력 헤드는 각각 그리스 문자에 대한 확률 분포, 비문 위치 및 비문 날짜를 출력합니다.^[37]

구현

트랜스포머 모델은 텐서플로우 및 파이토치와 같은 표준 딥러닝 프레임워크에서 구현되었습니다.

트랜스포머는 허깅페이스가 제작한 라이브러리로 트랜스포머 기반 아키텍처와 사전 훈련된 모델을 공급합니다.^[11]

건축

모든 변압기는 다음과 같은 기본 구성 요소를 갖습니다.

• 텍스트를 토큰으로 변환하는 토큰타이저입니다.
• 토큰과 토큰의 위치를 벡터 표현으로 변환하는 단일 임베딩 계층입니다.
• 벡터 표현에 대해 반복적인 변환을 수행하여 점점 더 많은 언어 정보를 추출하는 트랜스포머 레이어. 이들은 교대로 주의 및 피드포워드 레이어로 구성됩니다.
• (선택사항) 최종 벡터 표현을 토큰에 대한 확률 분포로 다시 변환하는 비매립 계층입니다.

트랜스포머 레이어는 인코더와 디코더의 두 가지 유형 중 하나가 될 수 있습니다. 원래 논문에서는 둘 다 사용되었지만 이후 모델에는 한 가지 유형만 포함되었습니다. BERT는 인코더 전용 모델의 예이며, GPT는 디코더 전용 모델입니다.

입력

입력된 텍스트는 토큰화기, 가장 일반적으로 바이트 쌍 인코딩 토큰화기에 의해 토큰으로 파싱되며, 각 토큰은 단어 임베딩 테이블에서 위를 참조하여 벡터로 변환됩니다. 그런 다음 토큰의 위치 정보가 단어 임베딩에 추가됩니다.

인코더-디코더 아키텍처

이전의 seq2seq 모델과 마찬가지로 원래의 트랜스포머 모델은 인코더-디코더 아키텍처를 사용했습니다. 인코더는 입력 토큰을 하나의 레이어를 반복적으로 처리하는 인코딩 레이어로 구성되며, 디코더는 인코더의 출력과 디코더 출력의 토큰을 반복적으로 처리하는 디코딩 레이어로 구성됩니다.

각 인코더 계층의 기능은 상황에 맞는 토큰 표현을 생성하는 것이며, 각 표현은 셀프 어텐션 메커니즘을 통해 다른 입력 토큰의 정보를 "혼합"하는 토큰에 해당합니다. 각 디코더 계층에는 (1) 인코더의 출력을 통합하기 위한 교차 주의(cross-attention) 및 (2) 디코더에 대한 입력 토큰(즉, 추론 시간 동안 지금까지 생성된 토큰) 중 정보를 "혼합"하기 위한 자기 주의(self-attention)의 두 가지 주의 하위 계층이 포함됩니다.^[38][39]

인코더 및 디코더 계층은 모두 출력의 추가 처리를 위한 피드포워드 신경망을 가지며 잔여 연결 및 계층 정규화 단계를 포함합니다.^[39]

눈금이 표시된 도트 제품 주의

트랜스포머 빌딩 블록은 스케일링된 도트 제품 주의 유닛입니다. 각 주의 단위에 대해 변환기 모델은 쿼리 가중치 ${\displaystyle {WQ}_{}}$ ${\$ 주요 가중치 ${\displaystyle {WK}_{}}$ ${\$ 값 가중치 ${\displaystyle {WV}_{}}$ ${\$의 세 가지 가중치 행렬을 학습합니다$.$ $각{\displaystyle }$ 토큰 i ${\displaystyle$ i$}$에 대해$,$ 입력 토큰 표현 ${\displaystyle {xi}_{}}$ ${\displaystyle x_{i}$를 3개의 가중치 행렬에 각각 곱하여 쿼리 벡터 ${\displaystyle {qi}_{}}$ = ${\displaystyle {xi}_{}}$ ${\displaystyle {WQ}_{}}$ ${\displaystyle q_{i$}=$x_{i}$를 생성합니다.$W_{Q$ 키 벡터 ${\displaystyle {ki}_{}}$ $=$ ${\displaystyle {xi}_{}}$ ${\displaystyle {WK}_{}}$ ${\displaystyle k_{i$} $=$ $x_{i}$$W_{K}$이고$,$ 값 벡터 ${\displaystyle {vi}_{}}$ $=$ ${\displaystyle {xi}_{}}$ ${\displaystyle {WV}_{}}$ ${\displaystyle v_{i$} $=$ $x_{i}$$W_{V}}$. Attention weights are calculated using the query and key vectors: the attention weight ${\displaystyle a_{ij}}$ from token ${\displaystyle i}$ to token ${\displaystyle j}$ is the dot product between ${\displaystyle q_{i}}$ and ${\displaystyle k_{j}}$. 주의 가중치는 훈련 중 그래디언트를 안정화하는$$${\displaystyle \sqrt{{dk}_{}}}$ ${\$의 핵심 벡터 차원의 제곱근으로 나뉘고 가중치를 정규화하는 소프트맥스를 통과합니다. The fact that ${\displaystyle W_{Q}}$ and ${\displaystyle W_{K}}$ are different matrices allows attention to be non-symmetric: if token ${\displaystyle i}$ attends to token ${\displaystyle j}$ (i.e. ${\displaystyle q_{i}\cdot k_{j}}$ is large), 이는 $토큰$ j ${\displaystyle j}$가 토큰 $i$ ${\displaystyle i}($즉, ${\displaystyle q_{}}$ ${\displaystyle j_{}}$ ⋅ $ki$ {\$displaystyle q_{j}\cdot$k_{i}이(가) 작을 수 있음을 의미하지 않습니다. 토큰 $i{\displaystyle }$ ${\displaystyle$ i$}$에 대한 주의 단위의 출력은 모든 토큰의 값 벡터의 가중치 합으로$$, $토큰{\displaystyle }$ i ${\displaystyle a_$${ij$에서 각 토큰에$$ 대한 주의로 가중치가 부여됩니다.

모든 토큰에 대한 주의 계산은 softmax 함수를 사용하여 하나의 큰 행렬 계산으로 표현할 수 있으며, 이는 행렬 연산을 빠르게 계산하는 계산 행렬 연산 최적화로 인해 훈련에 유용합니다. The matrices ${\displaystyle Q}$, ${\displaystyle K}$ and ${\displaystyle V}$ are defined as the matrices where the ${\displaystyle i}$th rows are vectors ${\displaystyle q_{i}}$, ${\displaystyle k_{i}}$, and ${\displaystyle v_{i}}$ respectively. 그러면 우리는 관심을 다음과 같이 나타낼 수 있습니다.

여기서 softmax는 가로축 위에 놓입니다.

멀티 헤드 어텐션

$({\displaystyle {WQ}_{}}$ ${\displaystyle {WK}_{}}$ ${\displaystyle {WV}_{}}$ ${\$ 행렬의$$ 한 세트를 어텐션 헤드라고 하며, 트랜스포머 모델의 각 레이어에는 여러 어텐션 헤드가 있습니다. 각 주의 헤드가 각 토큰과 관련된 토큰에 주의를 기울이는 동안 여러 주의 헤드를 사용하면 모델이 "관련성"에 대한 다양한 정의를 위해 이 작업을 수행할 수 있습니다. 또한 관련성을 나타내는 영향력 필드는 연속적인 레이어에서 점진적으로 확장될 수 있습니다. 많은 트랜스포머 어텐션 헤드는 인간에게 의미 있는 관련성 관계를 인코딩합니다. 예를 들어, 일부 주의 머리는 주로 다음 단어에 집중할 수 있지만, 다른 주의 머리는 주로 동사에서 직접 대상으로 집중할 수 있습니다.^[40] 각 주의 헤드에 대한 계산을 병렬로 수행할 수 있으므로 빠른 처리가 가능합니다. 주의 계층에 대한 출력은 피드포워드 신경망 계층으로 전달되도록 연결됩니다.

구체적으로, 다중 주의 헤드를 $i{\displaystyle }$ ${\displaystyle i}$로 인덱싱하면 다음과 같습니다$.$

여기서 행렬 $X{\displaystyle }$ ${\displaystyle X}$는 단어 임베딩의 연결이고$$, 행렬 ${\displaystyle {}_{}^{}}$ ${\displaystyle {}_{}^{}}$ ${\displaystyle {}_{}^{}}$ ${\$$W_{i}^{K},$$W_{i}^{V}}$는 개별 어텐션 헤드 $i{\displaystyle }$ ${\displaystyle$ i$}$가 소유하는 "프로젝션 행렬"이고$,$ ${\displaystyle {WO}^{}}$ ${\$는 멀티 헤드 어텐션 헤드 전체가 소유하는 최종 프로젝션 행렬입니다.

복면주의

일부 단어 쌍 간의 주의 연결을 끊어야 할 수도 있습니다. 예를 들어 토큰 $위치{\displaystyle }$ t ${\displaystyle t}$에 대한 디코더는 토큰 위치 ${\displaystyle \mathrm{t}}$+ 1 ${\displaystyle t+1}$에 대한 액세스 권한이 없어야$$ 합니다$.$ 주의 링크를 $잘라내야$ 하는 항목에 $마스크$ 행렬 $M$ ${\displaystyle M},$ 즉 ∞ ${\displaystyle$-\infty}을$($를$)$ 추가하고 다른 위치에 0${\displaystyle$ 0}을(를) 추가하여 소프트맥스 단계 전에 이 작업을 수행할 수 있습니다.

인코더

각 인코더는 자기 주의 메커니즘과 피드포워드 신경망의 두 가지 주요 구성 요소로 구성됩니다. 셀프 어텐션 메커니즘은 이전 인코더의 입력 인코딩을 수락하고 출력 인코딩을 생성하기 위해 서로의 관련성을 가중치를 부여합니다. 피드포워드 신경망은 각 출력 인코딩을 개별적으로 추가로 처리합니다. 그런 다음 이러한 출력 인코딩은 입력으로 다음 인코더와 디코더로 전달됩니다.

첫 번째 인코더는 인코딩이 아닌 입력 시퀀스의 위치 정보와 임베딩을 입력으로 받습니다. 트랜스포머가 시퀀스의 순서를 사용하려면 위치 정보가 필요한데, 트랜스포머의 다른 부분에서는 이를 사용하지 않기 때문입니다.^[1]

인코더는 양방향입니다. 현재 토큰 전후로 토큰에 관심을 둘 수 있습니다. 단어 대신 토큰을 사용하여 다의성을 설명합니다.

위치 부호화

위치 인코딩은 대상 시퀀스 내에서 토큰의 상대적 위치를 캡슐화하는 고정 크기 벡터 표현으로, 입력 시퀀스에서 단어가 어디에 있는지에 대한 정보를 트랜스포머 모델에 제공합니다.

위치 인코딩은 f R → ∈ ,d > 0${\displaystyle f:\mathbb${R} \$to \mathbb {R}$ ^{d$};$d\$in \mathbb {Z$d> $0$의 함수로 정의되며$,$ 여기서 d${\displaystyle$ d}는 양의 짝수 정수입니다. 전체 위치 인코딩은 원래 논문에서 정의한 대로 다음과 같은 식으로 제공됩니다.

여기서 θ =${\displaystyle \frac{{}^{}}{}\mathrm{trk}}$, ${\displaystyle r^{}}$ = ${\displaystyle {N2}^{}}$ $/$ d${\displaystyle$ \$theta$ =${\frac {t}$ {r^{k}}, r = N$^\{$2/d}입니다.

$여기$서 N ${\displaystyle N}$은 위치 인코딩 함수에 입력되는$$ 가장 $큰{\displaystyle }$ k ${\displaystyle k}$보다 훨씬 커야 하는 자유 매개 변수입니다. 저자들은 원래 논문에서 $N$ = ${\displaystyle 10000}$ ${\displaystyle$ N = $10000}$을 선택했습니다$.$

함수는 유형 $f$의 복소 ${\displaystyle 함수}$로 쓸 때 더 간단한 형태입니다${\displaystyle :}$ R → C ${\displaystyle d^{}}$/ 2 ${\displaystyle f:\mathbb {R} \to \mathbb {C} ^{d/2}$

여기서 $r$ = ${\displaystyle {N2}^{}}$/ ${\displaystyle d^{}}$ ${\displaystyle$r = N$^{2$

저자들이 이것을 위치 인코딩 함수로 선택한 주된 이유는 선형 변환으로 시프트를 수행할 수 있기 때문입니다.

여기서$$δ t ∈ R${\displaystyle$ \$Delta t\$in \mathbb {R}은(는) 이동하려는 거리입니다. 이를 통해 트랜스포머는 임의의 인코딩된 위치를 취할 수 있으며 행렬 곱셈을 통해 n단계 앞서거나 n단계 뒤에 있는 위치의 인코딩을 찾을 수 있습니다.

선형 합을 취하면 모든 컨볼루션을 선형 변환으로 구현할 수도 있습니다.

임의의 상수 ${\displaystyle {cj}_{}}$ ${\$$j}}$에 대해. 이를 통해 트랜스포머는 임의의 인코딩된 위치를 취하고 이웃의 인코딩된 위치의 선형 합을 찾을 수 있습니다. 이 인코딩된 위치의 합은 주의 메커니즘에 입력될 때 컨볼루션 신경망 언어 모델에서 발생하는 것과 매우 유사하게 이웃에 주의 가중치를 생성합니다. 저자의 말에 따르면, "우리는 모델이 상대적인 위치에 따라 참석하는 법을 쉽게 배울 수 있을 것이라고 가정했습니다."

일반적인 구현에서 모든 연산은 복소수가 아닌 실수를 통해 수행되지만 복소수 곱셈은 실수 2x2 행렬 곱셈으로 구현될 수 있기 때문에 이는 단지 표기법 차이일 뿐입니다.

디코더

각 디코더는 자기 주의 메커니즘, 인코딩에 대한 주의 메커니즘, 피드포워드 신경망의 세 가지 주요 구성 요소로 구성됩니다. 디코더는 인코더와 유사한 방식으로 작동하지만 대신 인코더에서 생성된 인코딩에서 관련 정보를 끌어내는 추가 주의 메커니즘이 삽입됩니다. 이 메커니즘은 인코더-디코더 주의라고도 할 수 있습니다.^[1][39]

첫 번째 인코더와 마찬가지로 첫 번째 디코더는 인코딩이 아닌 출력 시퀀스의 위치 정보와 임베딩을 입력으로 받습니다. 트랜스포머는 출력을 예측하기 위해 현재 또는 미래의 출력을 사용해서는 안 되므로 출력 시퀀스를 부분적으로 마스킹하여 이러한 역방향 정보 흐름을 방지해야 합니다.^[1] 이를 통해 자동 회귀 텍스트를 생성할 수 있습니다. 모든 관심 헤드의 경우 다음 토큰에 관심을 둘 수 없습니다. 마지막 디코더에는 최종 선형 변환 및 소프트맥스 계층이 뒤따르며, 이는 어휘에 대한 출력 확률을 생성합니다.

오픈 멤버 전원AI의 GPT 시리즈는 디코더 전용 아키텍처를 갖추고 있습니다.

용어.

대규모 언어 모델에서 용어는 원래 Transformer 논문에서 사용된 용어와 다소 다릅니다.^[41]

• "encoder 전용": 전체 인코더, 전체 디코더.

• "encoder-decoder": 완전 인코더, 자동 회귀 디코더.
• "decoder 전용": 자동 회귀 인코더, 자동 회귀 디코더.

여기서 "자동 회귀"는 "마스크된 주의" 섹션에 설명된 바와 같이 주의 헤드에 마스크를 삽입하여 하나의 토큰에서 그 이후의 모든 토큰까지 모든 주의를 제로화하는 것을 의미합니다.

일반적으로 트랜스포머 기반 언어 모델은 인과 관계(또는 "자동 회귀")와 마스킹된 두 가지 유형입니다. GPT 시리즈는 인과 및 디코더일 뿐입니다. BERT는 마스크되고 인코더만 사용됩니다.^[42][43] T5 시리즈는 인코더-디코더이며 전체 인코더와 자동 회귀 디코더가 있습니다.^[35]

후속작업

대체 활성화 기능

오리지널 트랜스포머는 ReLU 활성화 기능을 사용합니다. SwiGLU와 같은 다른 활성화 기능이 개발되었습니다.^[44]

대체 위치 인코딩

트랜스포머는 정현파가 아닌 다른 위치 인코딩 방법을 사용할 수 있습니다.^[45]

RoPE (rotary positional embedding),^[46] is best explained by considering a list of 2-dimensional vectors ${\displaystyle [(x_{1}^{(1)},x_{1}^{(2)}),(x_{2}^{(1)},x_{2}^{(2)}),(x_{3}^{(1)},x_{3}^{(2)}),...]}$. 이제 각도$$θ${\displaystyle$\theta$\}$를 선택합니다. 그러면 RoPE 인코딩은

마찬가지로 2차원 벡터를 복소수 ${\displaystyle z_{}}$ m : = ${\displaystyle x_{}^{}}$ ${\displaystyle {}_{}^{}}$(${\displaystyle {1)}_{}^{}}$+ ${\displaystyle x_{}^{}}$ m${\displaystyle {}_{}^{}}$(${\displaystyle {2)}_{}^{}}$ ${\displaystyle z_{m:$$=x_{m}^{(1)}+ix_{m}^{(2)}},$RoPE 인코딩은 각도를 곱한 것입니다.${\displaystyle \mathrm{2n개}}$의 ${\displaystyle 2n}$차원 벡터 목록에 대해 RoPE 인코더는 각도${\displaystyle {}^{}}$θ${\displaystyle (1^{}),}$ ${\displaystyle {...,}^{}}$θ(n)${\displaystyle \theta$ ^{($1)},$ $...,\backslash$theta ^{(n)}의 시퀀스로 정의됩니다. 그런 다음 RoPE 인코딩이 각 좌표 쌍에 적용됩니다.

RoPE의 장점은 두 벡터 사이의 점 곱이 상대적인 위치에만 의존한다는 것입니다.

$임의$의 정수 k ${\displaystyle$ k$\}$에 대하여

ALiBi(^[47]선형 바이어스에 대한 주의)는 원래 트랜스포머의 위치 인코더를 대체할 수 없습니다. 대신 주의 메커니즘에 직접 연결되는 추가 위치 인코더입니다. 구체적으로, ALiBi 주의 메커니즘은

$여기$서 ${\displaystyle s}$는 실수("스칼라")이고, $B{\displaystyle }$ ${\displaystyle B}$는 다음과 같이 정의되는 선형 바이어스 행렬입니다.즉, ${\displaystyle {Bi,j}_{}}$ = ${\displaystyle j\mathrm{-i}}$ ${\displaystyle B_{i,j$}=$j-i}$입니다$.$

ALiBi를 사용하면 짧은 컨텍스트 창에서 사전 학습한 다음 더 긴 컨텍스트 창에서 미세 조정할 수 있습니다. 주의 메커니즘에 직접 연결되어 있기 때문에 전체 네트워크의 "아래"에 연결된 모든 위치 인코더와 결합할 수 있습니다(원래 트랜스포머의 정현파 인코더와 RoPE 및 기타 많은 장치가 위치한 곳).

상대 위치 인코딩은^[48] ALiBi와 비슷하지만 더 일반적입니다.

여기서 $B$ ${\displaystyle B}$는 토플리츠 행렬, 즉 ${\displaystyle {Bi,j}_{}}$ = ${\displaystyle {Bi\text{'},{\text{'}}^{}}_{}}$ ${\displaystyle B_{i,j$} =${\displaystyle \mathrm{B\_}}$${i',j'}$일 $때$마다 i${\displaystyle }$- j =${\displaystyle {\text{'}}^{}}$- ${\displaystyle {\text{'}}^{}}$ ${\displaystyle i-j$ =$i'-j'}$입니다$.$

효율적인 구현

플래시 어텐션

FlashAttention은^[49] GPU에서 트랜스포머 어텐션 메커니즘을 효율적으로 구현하는 알고리즘입니다. 각 블록이 GPU의 캐시 내에 맞도록 블록 단위로 행렬 곱셈을 수행하고, 블록을 신중하게 관리하여 GPU 캐시 간의 데이터 복사를 최소화합니다(데이터 이동이 느리기 때문).

향상된 버전인 Flash Attention-2는 ^[50][51][52]더 긴 컨텍스트 길이를 처리할 수 있는 언어 모델에 대한 증가하는 수요를 충족시키기 위해 개발되었습니다. 작업 파티셔닝 및 병렬화 기능이 향상되어 A100 GPU(FP16/BF16)에서 최대 230 TFLOP/s를 달성할 수 있으며, 이는 기존 FlashAttention 대비 2배 빠른 속도입니다.

FlashAttention-2의 주요 발전은 비매멀 FLOP의 감소, 시퀀스 길이 차원에 대한 병렬성 향상, GPU 워프 간의 더 나은 작업 파티셔닝, 최대 256개의 헤드 차원 및 MQA(Multi-query Attention) 및 그룹화된 쿼리 Attention(GQA)에 대한 추가 지원을 포함합니다.

벤치마크를 통해 FlashAttention-2는 FlashAttention보다 최대 2배, PyTorch의 표준 Attention 구현보다 최대 9배 빠른 것으로 나타났습니다. 향후 개발에는 H100 GPU와 같은 새로운 하드웨어와 FP8과 같은 새로운 데이터 유형에 대한 최적화가 포함됩니다.

멀티쿼리 어텐션

멀티쿼리 어텐션은 멀티헤드 어텐션 메커니즘을 바꿉니다.^[53] 반면에 보통은.

Multi-Query Attention을 사용하면 ${\displaystyle {WK}^{}}$ ${\displaystyle {WV}^{}}$ ${\$$W^{V}$가 하나만 있으므로 다음과 같습니다.

이는 모델 품질과 훈련 속도에는 중립적인 영향을 미치지만 추론 속도를 높입니다.

사변복호

트랜스포머는 텍스트 스트림을 한 번에 하나씩 생성하는 자동 회귀 시퀀스 생성을 위해 대규모 언어 모델에 사용됩니다. 그러나 대부분의 설정에서 언어 모델의 디코딩은 메모리 바인딩되어 있으므로 여분의 컴퓨팅 성능을 사용할 수 있습니다. 투기적^[54][55] 해독은 여러 토큰을 병렬로 계산하여 이 여분의 계산 능력을 사용합니다. CPU에서의 추측 실행과 마찬가지로 미래 토큰은 이전 토큰의 값을 추측하여 동시에 계산되며 나중에 추측이 잘못된 것으로 판명되면 폐기됩니다.

구체적으로 컨텍스트 윈도우 크기가 512인 GPT-3와 같은 트랜스포머 모델을 고려해 보겠습니다. 그리디 디코딩으로 전체 컨텍스트 창을 자동 회귀적으로 생성하려면 512번 실행해야 하며, 매번 x ${\displaystyle {1\mathrm{}}_{}}$ x ${\displaystyle {2\mathrm{}}_{}\dots ,}$ x ${\displaystyle {512}_{}}$ ${\$}, $..., x_{512}}$를 생성합니다$.$ 그러나 이러한 토큰의 값에 대해 어느 정도 교육된 추측이 있다면 모든 토큰을 병렬로 검증할 수 있습니다. 모델의 한 실행에서 각 x ${\displaystyle t_{}}$ ${\$가 $실제로{\displaystyle }$ t ${\displaystyle t}$번째$$ 출력에서 로그 가능성이 가장 큰 토큰인지 확인합니다.

추측 디코딩에서는 더 작은 모델 또는 다른 간단한 휴리스틱을 사용하여 더 큰 모델에 의해 후속적으로 검증되는 몇 가지 추측 토큰을 생성합니다. 예를 들어, 작은 모델이 $x{\displaystyle \stackrel{}{{}_{}}}$ ${\displaystyle \stackrel{}{{1\mathrm{}}_{}}~,}$ ${\displaystyle x\stackrel{}{{}_{}}}$ ${\displaystyle \stackrel{}{{2\mathrm{}}_{}}~,}$ x ${\displaystyle \stackrel{}{{3\mathrm{}}_{}}}$ ${\displaystyle ~,}$ ${\displaystyle x\stackrel{}{{}_{}}}$ ${\displaystyle \stackrel{}{{4\mathrm{}}_{}}}$~ ${\$ {\$tilde {x_{2}},$ {\$tilde {x_{3}},$ {\$tilde {x_{4}}$의 네 가지 추측 토큰을 생성했다고 가정합니다$.$ $이러한{\displaystyle \stackrel{}{{}_{}}}$ 토큰은 더 큰 모델을 통해 실행되며 x ${\displaystyle \stackrel{}{{1\mathrm{}}_{}}}$~ ${\$ 및 ${\displaystyle \stackrel{}{x_{}}}$ 2${\displaystyle \stackrel{}{{}_{}}}$~ ${\$만 허용됩니다$$. 대형 모델의 동일한 실행이 $이미{\displaystyle \stackrel{}{{}_{}}}$ x ${\displaystyle \stackrel{}{{3\mathrm{}}_{}}}$~ ${\tilde {x_{3}}}$을(를) 대체할$$ 새 토큰 $x{\displaystyle {}_{}}$ ${\displaystyle {3\mathrm{}}_{}}$ ${\$을(를) 생성했으며$,$ ${\displaystyle \stackrel{}{{x\mathrm{}}_{}}}$ 4${\displaystyle \stackrel{}{{}_{}}}$~ ${\$은(는) 완전히 폐기됩니다$$. 그런 다음 모든 토큰이 생성될 때까지 프로세스가 반복됩니다(4번째 토큰부터 시작).

탐욕스럽지 않은 디코딩의 경우, 투기적 토큰이 확률적으로 승인되거나 거부되는 것을 제외하고, 투기적 디코딩이 사용되지 않은 것과 동일한 최종 출력 분포를 보장하는 방식으로 유사한 아이디어가 적용됩니다.^[54][56]

2차 변환기

특히 긴 입력의 경우 트랜스포머 기반 아키텍처를 훈련하는 데 비용이 많이 들 수 있습니다.^[57] Alternative architectures include the Reformer (which reduces the computational load from ${\displaystyle O(N^{2})}$ to ${\displaystyle O(N\ln N)}$^[57]), or models like ETC/BigBird (which can reduce it to ${\displaystyle O(N)}$)^[58] where ${\displaystyle N}$ is the length of the sequence. 이는 지역에 민감한 해싱 및 가역 레이어를 사용하여 수행됩니다.^[59][60]

일반적인 트랜스포머는 컨텍스트 창 크기에서 2차 메모리 크기가 필요합니다. 주의가 필요 없는 트랜스포머는^[61] 키를 값에 연결하여 트랜스포머의 장점을 유지하면서 선형 의존성으로 이를 줄입니다.

롱 레인지 아레나(2020)^[62]는 긴 입력에 대한 트랜스포머 아키텍처의 동작을 비교하기 위한 표준 벤치마크입니다.

랜덤 피처 어텐션(2021)^[63]은 푸리에 랜덤 피처를 사용합니다.

여기서 $w$ ${\displaystyle 1_{},...,}$ w ${\displaystyle D_{}}$ ${\displaystyle w_{1},..., w_{D}}$는 정규 분포 N${\displaystyle (0,}$σ 2 I) ${\displaystyle$N($0,\sigma$2}I)}에서 독립적인 표본입니다. 이 매개변수 선택은 $E{\displaystyle }$[⟨ φ ${\displaystyle (x),}$ φ (y) ⟩]${\displaystyle {\frac{{}^{}}{}}^{}}$= e ‖ x - y ‖$22$σ$$2 ${\displaystyle \mathbbb$ {E} [\lang le $\varphi (x),\varphi$ (y$rangle$ ] = e^{\frac {\x-y\ ^{2}}}를 만족합니다. 결과적으로, 하나의 질의와 함께 한 머리 주의를 다음과 같이 쓸 수 있습니다. 여기서 σ =${\displaystyle {}_{}^{}}$d ${\displaystyle K_{}^{}}$1 / 4${\displaystyle$ \sigma =$$d_$\{$K}^{1/4}}. 마찬가지로 여러 쿼리 및 다중 헤드 주의에 대해서도 마찬가지입니다.

이 근사치는 먼저 T ${\displaystyle \varphi(k_{$i})$v_{$i}^{T}}에서 행렬${\displaystyle {}_{}}$φ($)$를 계산한 다음 쿼리와 곱할 수 있기 때문에 선형 시간으로 계산할 수 있습니다. 본질적으로, 우리는 더 정확한 버전을 얻을 수 있었습니다.

수행자(2022)는 동일한 랜덤 특징 주의(Random Feature Attention)를 사용하지만 w ${\displaystyle 1_{},...,}$ ${\displaystyle w_{}}$ D ${\displaystyle w_{1},..., w_{D}}$는 먼저 $정규$ 분포 N${\displaystyle (0,}$σ 2 I) ${\displaystyle$N($0,\sigma$2}I)}에서 독립적으로 샘플링된 다음 그램 슈미트 처리됩니다.

멀티모달리티

트랜스포머는 일반적으로 모달리티를 "토큰화"하는 방법을 찾음으로써 텍스트를 넘어 모달리티(입력 또는 출력)에 사용/적응할 수도 있습니다.

비전 트랜스포머는^[28] 입력 이미지를 일련의 패치로 분해하여 벡터로 변환하고 표준 트랜스포머에서 토큰처럼 취급하여 트랜스포머를 컴퓨터 비전에 맞게 조정합니다.

Conformer와^[29] 나중에 Whisper는^[65] 음성 인식을 위해 동일한 패턴을 따르며, 먼저 음성 신호를 스펙트로그램으로 변환한 다음 이미지처럼 처리됩니다. 즉, 일련의 패치로 분해되어 벡터로 변환되고 표준 변압기에서 토큰처럼 처리됩니다.

Andrew Jaegle et al.(2021)^[66][67]의 인식자는 대량의 이기종 데이터를 통해 학습할 수 있습니다.

이미지 출력과 관련하여 피블스 등은 확산 기반 이미지 생성을 위해 트랜스포머 아키텍처를 쉽게 사용할 수 있는 확산 트랜스포머(DiT)를 도입했습니다.^[68] 또한, 구글은 병렬 디코딩과 마스킹된 생성 변압기 기술을 기반으로 한 변압기 중심의 이미지 생성기 "뮤즈"를 출시했습니다.^[69] (변압기들은 비록 여전히 중요한 기술이긴 하지만,^[70] 이전의 이미지 생성 기술들로는 덜 중심적인 역할을 했습니다.)^[71]

참고 항목

• 인식기 – 비문자 데이터에 대한 기계 학습 알고리즘
• BERT(언어 모델) – Google이 개발한 언어 모델
• GPT-3 – 2020 텍스트 생성 언어 모델
• GPT-4 – 2023 텍스트 생성 언어 모델
• ChatGPT – OpenAI가 개발한 AI 챗봇
• 우다오 – 중국의 멀티모달 인공지능 프로그램
• 비전 트랜스포머 – 비전 처리를 위한 기계 학습 알고리즘
• BLOM(언어 모델) – 개방형 다국어 언어 모델

참고문헌

추가읽기