▲ 왼쪽부터 정상엽 학부생, 나영서 학부생, 정승규 박사과정생, 지도교수 김성은

서울과학기술대학교 인공지능응용학과 김성은 교수 연구팀의 연구가 인간-컴퓨터 상호작용(Human-Computer Interaction, HCI) 분야 세계 최고 권위의 국제학술대회인 ‘CHI 2026 (ACM CHI Conference on Human Factors in Computing Systems)’에 채택되었다. CHI 2026은 4월 13일부터 17일까지 스페인 바르셀로나에서 개최될 예정이다.

이번에 채택된 논문의 제목은 “Reading the Mood Behind Words: Integrating Prosody-Derived Emotional Context into Socially Responsive VR Agents”로, 음성의 운율에서 추출한 감정 정보를 활용해 가상현실(VR) 대화형 에이전트가 사용자의 감정 맥락을 이해하고 반응하도록 하는 기술을 다룬 연구이다. 해당 연구는 김성은 교수의 지도하에 인공지능응용학과의 정상엽-나영서 학부생이 공동 제1저자로 참여해 연구를 주도했으며, 정승규 박사과정생이 연구 수행을 지원했다. 또한 HCI 분야 전문가인 산업공학과 정진우 교수가 공동저자로 참여해 학제적 완성도를 높였다.

연구팀은 가상현실(VR) 환경에서 대화형 인공지능(LLM) 에이전트가 사용자의 음성에서 감정을 추론하고 이를 대화의 맥락에 반영하는 '감정 문맥 인식 VR 상호작용 파이프라인'을 제안했다. 기존의 VR 기반 대화 시스템은 음성을 텍스트로 변환한 뒤 텍스트 정보만을 활용해 응답을 생성하는 방식이 일반적이었다. 이 경우 발화의 의미는 이해할 수 있지만, 목소리의 억양이나 리듬에 담긴 감정 정보가 반영되지 않아 사용자의 실제 감정 상태와 어긋나는 응답이 생성될 수 있다는 한계가 있었다.

연구팀은 특히 텍스트만으로는 감정을 판단하기 어려운 상황에서 음성의 감정 단서를 활용하는 것이 대화 품질에 어떤 영향을 미치는지에 주목했다. 예를 들어 “오늘 아침에 바나나를 먹었어”와 같은 문장은 텍스트만 보면 감정이 거의 드러나지 않는 중립적인 발화에 해당한다. 그러나 실제 사람 간의 대화에서는 같은 문장이라도 말하는 사람의 목소리 톤이나 억양에 따라, 기쁨, 피곤함, 무기력감, 짜증 등 서로 다른 감정이 전달될 수 있다.

이를 해결하기 위해 연구팀은 음성인식(STT)과 음성 감정 인식(Speech Emotion Recognition, SER)을 결합한 VR  상호작용 파이프라인을 설계했다. 사용자의 발화를 텍스트로 변환하는 동시에 음성의 운율(prosody)로부터 감정 정보를 추정하고, 이를 대화형 AI에이전트의 응답 생성 과정에 반영함으로써 사용자의 감정 상태까지 고려한 상호작용이 가능하도록 했다.

사용자 실험 결과, 감정 정보를 반영한 에이전트는 기존 텍스트 기반 에이전트와 비교해대화의 자연스러움, 상호작용 몰입도, 참여도, 라포(rapport), 인간다움 등 주요 사용자 경험 지표에서 통계적으로 유의미한 향상을 보였다. 특히 감정 표현이 명확하지 않은 중립적 발화 상황에서도 사용자 의도를 보다 적절하게 해석하고 공감적인 반응을 제공하는 것으로 나타났다. 또한 전체 참가자의 93.3%가 감정 인식 기반 에이전트를 선호하는 것으로 나타나, 음성 기반 감정 맥락을 활용한 접근 방식이 사람과 대화하는 것과 유사한 상호작용 경험을 제공할 수 있음을 확인했다.

▲ 제안된 감정 인식 VR 상호작용 파이프라인 개요도

김성은 교수는 “이번 연구는 가상현실 환경에서 대화형 에이전트가 단순히 말의 의미를 처리하는 수준을 넘어 사용자의 음성 운율에 담긴 감정적 문맥을 이해하도록 만드는 데 초점을 맞춘 연구”라며, “특히 학부 3학년 학생들이 연구를 주도해 HCI 분야 최고 권위 학회인 CHI에 논문이 채택된 것은 매우 뜻깊은 성과로, 학부생들도 연구참여를 통해 세계 최고 수준의 학술 성과를 만들어 낼 수 있음을 보여준 사례”라고 말했다.

이번 연구 성과는 몰입형 가상환경에서 인간과 보다 자연스럽게 상호작용할 수 있는 소셜 AI 에이전트 설계의 새로운 방향성을 제시했다는 점에서 의미가 크다. 연구팀은 향후 해당 기술을 다양한 XR(확장현실) 환경과 대화형 인공지능 시스템에 적용해 사용자 경험을 향상시키는 연구를 이어갈 계획이다.