[NLP] Machine Comprehension

Machine Comprehension

기계가 텍스트를 이해하고 논리적 추론을 할 수 있는지 데이터 학습을 통해 보는 것

기계가 어떤 텍스트에 대한 정보를 학습하고 사용자가 질의를 던졌을 때 그에 대해 응답하는 문제

 

Dataset

바비(bAbI)

• 페이스북 AI 연구팀에서 기계가 데이터를 통해 학습해서 텍스트를 이해하고 추론하는 목적으로 만들어진 데이터셋
• 시간 순서대로 나열된 텍스트 문장 정보와 그에 대한 질문으로 구성되어 텍스트 정보에 대해 질문을 던지고 응답하는 형태
• 20가지 분류의 질문 내용으로 구성

SQuAD(Stanford Question Answering Dataset)

• 기계 이해 태스크에서 가장 유명한 데이터셋 중 하나
• 스탠퍼드 자연어 처리 연구실에서 만든 데이터셋
• 위키피디아에 있는 내용을 크라우드 소싱해서 QA 데이터셋으로 만듦
• 46개의 주제에 대해 약 10만 개의 질문 데이터셋으로 구성
• 약 10만 개의 어휘와 짧은 텍스트부터 400단어가 넘는 긴 텍스트까지 다양한 길이의 지문을 포함

Visual Question Answering(VGA)

이미지에 대한 정보와 텍스트 질의를 통해 이미지 컨텍스트에 해당하는 응답을 알려주는 태스크

 

 

 

• Image Embedding(VGGNet)
  • 이미지에 대한 정보를 추출하는 모델
• Question Embedding(LSTM)
  • 질문 텍스트에 대한 정보를 추출하는 모델