히비스서커스의 블로그

BERT모델을 이용하여 질문에 대한 응답하는 인공지능(= 기계독해 - Machine Reading Comprehension, MRC)을 만들어보자. 이를 진행하기 위해 사용한 데이터셋은 KorQuAD2.0로 LG CNS에서 구축한 대규모 질의응답 데이터셋이다. 이는 미국 스탠퍼드 대학에서 구축한 대용량 데이터셋인 SQuAD를 벤치마킹한 것이다. 기계독해 태스크에서는 머신이 자연어의 의미를 정확하게 이해하고 사람의 질문에 정확하게 답변할 수 있는지가 매우 중요한데 SQuAD 데이터셋은 언어 모델의 선능을 측정하는 가장 표준적인 벤치마크로 인정받고 있다. KorQuAD 또한, 딥러닝 기반의 질의응답, 한국어 독해능력을 측정하는 가장 중요한 태스크로 손꼽히고 있다. SQuAD에 관한 정보 rajpurkar.g..