[Large Language Model] MT-NLG

MT-NLG (Megatron-Turing Nature Language Generation) (2021.10)

Nvidia / Microsoft, 530 billion parameters, API Access by application

 

Transformer-based Megatron의 아키텍처를 사용하였습니다.

완료 예측, 독해, 상식 추론, 자연 언어 추론, 단어 의미 명확화가 가능합니다.

 

---

References

• https://vectara.com/top-large-language-models-llms-gpt-4-llama-gato-bloom-and-when-to-choose-one-over-the-other/