엘모
ELMo |
ELMo("Language Model"의 Embedding from Language Model")는 해당 벡터의 시퀀스로서 단어의 시퀀스를 나타내는 단어 내장 방법이다.[1]문자 수준 토큰은 단어 수준 임베딩을 생성하는 양방향 LSTM에 대한 입력으로 간주된다.BERT(그러나 "Bag of Words" 접근법에 의해 생성된 단어 임베딩, Word2Vec, GloVeve와 같은 초기 벡터 접근법과 달리 ELMo 임베딩은 문맥에 민감하여 철자는 동일하지만 "리버 뱅크"나 "뱅크"와 같은 의미(동음이의어)는 다른 표현을 만들어 낸다.
그것은 앨런 인공 지능[2] 연구소와 워싱턴 대학의 연구자들에 의해 만들어졌다.
참조
- ^ Peters ME, Neumann M, Iyyer M, Gardner M, Clark C, Lee K, Zettlemoyer L (2018). "Deep contextualized word representations". arXiv:1802.05365 [cs.CL].
- ^ "AllenNLP - ELMo — Allen Institute for AI".
