Generative AI/Language Model

[Language Model] ELMo

데이터 세상 2022. 5. 9. 11:37
728x90
반응형

ELMo (Embeddings from Language Models)

2018년 6월에 “Deep contextualized word representations” 논문을 통해 발표된 임베딩 모델

 

Pre-trained word representations

  • A key component in many neural language understating models

High quality representations should ideally model

  • Complex characteristics of word use
  • how these uses vary across linguistic contexts

 

좋은 단어 표현의 조건으로 두 가지를 제시

첫 번째는 단어의 구조(Syntax)적 특성과 의미(Semantic)적 특성을 모두 만족시키는 표현이어야 한다.

두 번째는 언어학적으로 문맥에 맞는 표현을 할 수 있어야 한다.

출처: https://jalammar.github.io/illustrated-bert/

 

bi-directional LSTM을 이용해서 전체 문장에 대해서 Forward와 Backward Language model을 생성한다.

출처: https://jalammar.github.io/illustrated-bert/

 

출처: https://jalammar.github.io/illustrated-bert/

 

 


References

 

728x90
반응형

'Generative AI > Language Model' 카테고리의 다른 글

[Language Model] GPT  (0) 2022.05.09
Language Model 종류  (0) 2022.05.09
[Language Model] Transformer Model  (0) 2022.05.04
[Language Model] Attention Model  (0) 2022.05.04
[Language Model] BERTopic  (0) 2021.06.14