[Large Language Model] PaLM (Pathways Language Model)

PaLM (Pathways Language Model) (2022.04)

Google, 540 billion parameters, available via API

 

As the scale of the model increases, the performance improves across tasks while also unlocking new capabilities.

 

다양한 작업을 처리하고 새로운 작업을 빠르게 학습할 수 있는 모델을 구축하는 것을 목표로 하는 Google의 Pathways AI architecture를 기반으로 합니다.

PaLM은 경로 시스템으로 훈련된 5,400억 개의 매개변수 모델로, 수백 가지 언어 관련 작업을 수행할 수 있으며 (출시 당시) 많은 작업에서 최첨단 성능을 달성했습니다.

PaLM의 놀라운 기능 중 하나는 농담 설명과 같은 여러 복잡한 논리적 단계가 필요한 시나리오에 대한 설명을 생성하는 것이었습니다.

 

---

References

• https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html
• https://dataconomy.com/2022/04/28/google-ai-pathways-language-model/
• https://vectara.com/top-large-language-models-llms-gpt-4-llama-gato-bloom-and-when-to-choose-one-over-the-other/