[Language Model] ELMo

ELMo (Embeddings from Language Models)

2018년 6월에 “Deep contextualized word representations” 논문을 통해 발표된 임베딩 모델

 

Pre-trained word representations

• A key component in many neural language understating models

High quality representations should ideally model

• Complex characteristics of word use
• how these uses vary across linguistic contexts

 

좋은 단어 표현의 조건으로 두 가지를 제시

첫 번째는 단어의 구조(Syntax)적 특성과 의미(Semantic)적 특성을 모두 만족시키는 표현이어야 한다.

두 번째는 언어학적으로 문맥에 맞는 표현을 할 수 있어야 한다.

출처: https://jalammar.github.io/illustrated-bert/

 

bi-directional LSTM을 이용해서 전체 문장에 대해서 Forward와 Backward Language model을 생성한다.

출처: https://jalammar.github.io/illustrated-bert/

 

출처: https://jalammar.github.io/illustrated-bert/

 

 

---

References

• https://jalammar.github.io/illustrated-bert/
• https://yngie-c.github.io/nlp/2020/07/03/nlp_elmo/