서울대학교 전기·정보공학부 정교민 교수 연구팀 (주성호* 박사과정, 이강일* 박사과정, 민경민* 석사과정, *: 공동기여)이 LG AI Research 팀과의 공동연구를 통해 대화시스템 분야의 세계적인 경진대회인 제 11회 대화시스템기술챌린지(The eleventh Dialogue System Technology Challenge DSTC11)의 주관적 지식을 사용한 목적 지향적 대화 모델 (Task-oriented Conversational Modeling with Subjective Knowledge) 부문에서 정확도 분야 1위 및 종합 사람 평가 (human evaluation)에서 3위를 했다.  

DSTC는 인공지능 대화 시스템 분야의 가장 권위있는 국제 경진대회로, 이번 11번째 DSTC는 Microsoft, IBM, Amazon Alexa AI, 그리고 싱가포르 대학이 공동주최해 지난 12월 데이터셋 공개 이후 약 3개월에 걸쳐 진행되었다. 본 연구팀이 참여한 Track 5는 호텔이나 식당 방문객들의 주관적인 리뷰를 바탕으로 장소와 관련된 질문에 적절하게 대답하는 대화모델을 개발하는 것이 주제였다. 이번에 사용된 대화데이터는 MultiWoz 2.1에서 추가된 것으로, 같은 장소에 대한 리뷰가 서로 다른 의견을 포함하고 있어 이전 챌린지 보다 더욱 까다로웠다.

세부적으로는 지식 턴 인식 (Knowledge turn detection), 지식 선택 (Knowledge Selection), 그리고 응답 생성 (response generation)에서 챌린지 참가자들의 모델이 평가되었다. 본 연구팀은 자동 평 가(automatic evaluation)에서 1위를 차지했고, 사람들이 응답을 직접보고 평가하는 human evaluation 부분에서는 정확도 1위, 종합 3위를 차지하였다. 성능향상을 위해 본 연구팀은 룰 기 반 모델과 신경망 기반의 뉴럴 네트워크를 적절하게 혼합하는 ensemble model을 제안했다. 

이번 연구는 2023년도 9월에 체코에서 개최될 SIGDIAL 대화기술챌린지 워크숍에서 발표될 예정이다.