데이터와 인공지능 훑어보기

LaMDA (Language Model for Dialogue Applications) (2021.05) Google, 173 billion parameters, Not Open Source, No API or Downloads 약 1370억개의 파라미터, 약 30억개의 문서, 11억개의 대화를 사전학습 데이터로 사용 사용자와 보다 자연스럽고 매력적인 대화를 할 수 있도록 설계된 모델입니다. LaMDA가 다른 언어 모델과 차별화되는 점은 LaMDA가 대화에 대해 훈련되었고 모델이 다른 유형의 언어와 구분되는 개방형 토론(open-ended discussions)을 설정하는 다양한 미묘함을 식별할 수 있다는 사실입니다. LaMDA의 잠재적 사용 사례는 고객 서비스 및 챗봇에서 개인 비서 등에 이르기까지 다..

ChatGPT (2022.11.30) OpenAI, 20 billion parameters, Not Open Source, API Access Only 대규모 언어모델(LLM, Large Language Model)에 기반한 대화형 인공지능 서비스 ChatGPT는 텍스트 전용 모델이며 2022년 11월 Open AI에서 출시했습니다. 일반적으로 GPT-4가 더 나은 성능을 나타내지만 GPT-4가 할 수 있는 많은 텍스트 기반 기능을 수행할 수 있습니다. ChatGPT는 InstructGPT의 형제 모델입니다. InstructGPT 자체는 프롬프트를 수신하고 특정 지침을 따르는 자세한 응답을 제공하도록 특별히 훈련되었으며 ChatGPT는 자연어 대화에 참여하도록 설계되었습니다. OpenAI는 더 많은 LL..

Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks논문: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks Retrieval-Augmented Generation for Knowledge-Intensive NLP TasksLarge pre-trained language models have been shown to store factual knowledge in their parameters, and achieve state-of-the-art results when fine-tuned on downstream NLP tasks. However, their ability to..

Large Language Models (LLMs), 대규모 언어 모델 대규모 언어 모델(LLM, Large Language Models)은 방대한 양의 텍스트를 처리하고 정확한 결과를 생성하는 기능으로 인해 자연어 처리(NLP) 세계에서 관심을 끌고 있습니다. 이러한 모델은 수억에서 수십억 단어가 포함된 대규모 데이터 세트에서 학습됩니다. 알려진 바와 같이 LLM은 대규모 데이터 세트를 통해 이동하고 단어 수준에서 패턴을 인식하는 Transformer 아키텍처를 포함한 복잡한 알고리즘에 의존합니다. 이 데이터는 모델이 자연어와 컨텍스트에서 사용되는 방식을 더 잘 이해하고 텍스트 생성, 텍스트 분류 등과 관련된 예측을 수행하는 데 도움이 됩니다. Large Language Model 이란 a class ..

MPT-7B https://huggingface.co/mosaicml/mpt-7b mosaicml/mpt-7b · Hugging Face MPT-7B MPT-7B is a decoder-style transformer pretrained from scratch on 1T tokens of English text and code. This model was trained by MosaicML. MPT-7B is part of the family of MosaicPretrainedTransformer (MPT) models, which use a modified transformer archi huggingface.co a decoder-style transformer pretrained from scrat..

GPT-NeoX-20B https://huggingface.co/EleutherAI/gpt-neox-20b EleutherAI/gpt-neox-20b · Hugging Face GPT-NeoX-20B is a 20 billion parameter autoregressive language model trained on the Pile using the GPT-NeoX library. Its architecture intentionally resembles that of GPT-3, and is almost identical to that of GPT-J- 6B. Its training dataset contains a multi huggingface.co Transformer(Decoder)-based ..

mT5-xxlhttps://huggingface.co/google/mt5-xxl google/mt5-xxl · Hugging FaceGoogle's mT5 mT5 is pretrained on the mC4 corpus, covering 101 languages: Afrikaans, Albanian, Amharic, Arabic, Armenian, Azerbaijani, Basque, Belarusian, Bengali, Bulgarian, Burmese, Catalan, Cebuano, Chichewa, Chinese, Corsican, Czech, Danish, Dutch, Enghuggingface.co An encoder-decoder model based on the T5  pretrained ..

Flan-UL2 https://huggingface.co/google/flan-ul2 google/flan-ul2 · Hugging Face Flan-UL2 is an encoder decoder model based on the T5 architecture. It uses the same configuration as the UL2 model released earlier last year. It was fine tuned using the "Flan" prompt tuning and dataset collection. You can use the convert_t5x_checkpoint_t huggingface.co Google, 20 billion parameters, downloadable fro..

BLOOMZ & mT0 https://huggingface.co/bigscience/mt0-xxl bigscience/mt0-xxl · Hugging Face Accuracy on Winogrande XL (xl) validation set self-reported 63.380 Accuracy on XWinograd (en) test set self-reported 81.290 Accuracy on XWinograd (fr) test set self-reported 78.310 Accuracy on XWinograd (jp) test set self-reported 78.620 Accuracy on XWinog huggingface.co 논문: https://arxiv.org/abs/2211.01786 ..

BLOOM (2022.11) https://bigscience.huggingface.co/blog/bloom BLOOM Our 176B parameter language model is here. bigscience.huggingface.co 논문: https://arxiv.org/abs/2211.05100 BigScience Large Open-science Open-access Multilingual Language Model 176 billion parameters, Downloadable Model, Hosted API Available BLOOM은 산업 규모의 컴퓨팅 리소스를 사용하여 방대한 양의 텍스트 데이터에 대한 프롬프트에서 텍스트를 계속하도록 훈련된 자동 회귀 대형 언어 모델(autore..

FLAN-T5 https://huggingface.co/docs/transformers/model_doc/flan-t5 FLAN-T5 Reinforcement learning models huggingface.co 논문: https://arxiv.org/pdf/2210.11416.pdf An encoder-decoder model based on the T5 Scaling Instruction – Fine-tuned Language Models 여러 타스크를 통해 fine-tuned된 T5의 향상된 버전 Flan 프롬프팅을 기반으로 하는 사전 교육 방법 FLAN-T5-XL https://huggingface.co/google/flan-t5-x google/flan-t5-xl · Hugging Face I..

Prompt Engineering [Generative AI] Prompt Engineering (프롬프트 엔지니어링) [Generative AI] Prompt Engineering (프롬프트 엔지니어링) Prompt(프롬프트) 사용자가 원하는 출력을 생성하고자 할 때 대규모 언어 모델(LLM, Large Language Model)을 안내하기 위한 특정 입력 텍스트 및 질문 텍스트 모델에 제공하는 광범위한 지침으로, 모델이 yumdata.tistory.com Prompt Engineer (프롬프트 엔지니어) 주요 역할 프롬프트 설계 및 개발(프롬프트 엔지니어링): AI 모델이 이해하고 반응할 수 있는 효과적인 프롬프트를 개발하고 최적화 시스템 통합: 자연어 처리(NLP) 알고리즘과 기존 시스템 및 인터..

Multi-task Prompt Tuning Multitask Prompt Tuning enables Parameter-efficient Transfer Learning https://openreview.net/pdf?id=Nk2pDtuhTq MPT를 활용하면 여러 작업에 적용되는 단일 소프트 프롬프트를 만들 수 있습니다. MPT is a variant of prompt tuning that leverages a transferable shared prompt that has distilled knowledge from multiple tasks. The shared prompt is then tuned with the user’s data. This technique was developed in th..

The Power of Scale for Parameter-Efficient Prompt Tuning Google Research 2019.09 https://arxiv.org/pdf/2104.08691.pdf https://arxiv.org/abs/2104.08691 The Power of Scale for Parameter-Efficient Prompt Tuning In this work, we explore "prompt tuning", a simple yet effective mechanism for learning "soft prompts" to condition frozen language models to perform specific downstream tasks. Unlike the di..

Prompt(프롬프트) 사용자가 원하는 출력을 생성하고자 할 때 대규모 언어 모델(LLM, Large Language Model)을 안내하기 위한 특정 입력 텍스트 및 질문 텍스트 모델에 제공하는 광범위한 지침으로, 모델이 원하는 출력을 이해하는 데 도움이 되는 일련의 입력 문구 텍스트는 사용자와 generative AI 모델 간의 주요 통신 수단 예) 긴 기사를 요약하고 싶으면 "Summarize the above in one sentence" 같은 프롬프트와 기사 텍스트를 LLM(Large Language Model)에 입력 AI 프롬프트는 모델의 사고 과정을 위한 출발점 역할을 하므로 AI 모델과 상호 작용하는 데 필수적입니다. 간단하고 간단한 질문부터 AI가 정보를 합성하고 추론을 도출하거나 창의..