Language Model 종류

고려대학교 온라인 강의 내용을 참고하여 Text 분석과 관련된 언어 모델을 정리하였다.

https://youtube.com/playlist?list=PLetSlH8YjIfVzHuSXtG4jAC2zbEAErXWm 

[Korea University] Unstructured Data Analysis (Text Analytics)

 

 

 

Seq2Seq (Sequence to Sequence)

Seq2Seq Model

순서 정보를 활용해서 텍스트를 분석하기 위해 사용한 모델

시퀀스 형태의 입력값을 시퀀스 형태의 출력으로 만들 수 있게 하는 모델

 

Attention + Seq2Seq

Attention Model

Seq2Seq 모델에서 시퀀스의 길이가 너무 길어져 버리면 상태 벡터에 충분한 정보를 담기 어려워지는 문제점 존재

Seq2Seq의 단점을 보완하기 위해 Attention 개념을 도입

 

Transformer Model

Transformer Model

Self-Attention, Multi-Head Attention

Input text를 입력받아, 기본적으로 Attention 매커니즘을 통해 인코딩, 디코딩하는 방식의 모델

 

ELMo

ELMo

Embeddings from Language Models

 

GP1

GPT

OpenAI에서 발표한 Language model

Generative Pre-Trained for a Language Model

 

BERT

BERT

Google에서 발표한 Language model

Bidirectional Encoder Representations for Transformers

 

T5

T5

Text-to-Text Transfer Transformer

---

References

• https://youtube.com/playlist?list=PLetSlH8YjIfVzHuSXtG4jAC2zbEAErXWm 
• https://jalammar.github.io/