• ▲ 왼쪽부터 Kiran 석사과정생, 지도교수 김성은
•  

서울과학기술대학교 인공지능응용학과 김성은 교수 연구팀의 논문이 음성 및 언어처리 분야의 최대 규모 학술대회인 ‘Interspeech 2026’에 채택되었다. 연구팀은 음성 모니터링 경진대회인 ‘Neck Vibe 2026 Challenge’에서 우수한 성적을 거두며, 일상생활 환경에서 활용할 수 있는 웨어러블 기반 음성 건강 모니터링 기술의 가능성을 제시했다.

이번 논문의 제목은 ‘Attention-d Multiple Instance Learning with Tabular Stacking for Ambulatory Detection of PVH and NPVH’이다. 해당 연구는 김성은 교수의 지도하에 인공지능응용학과의 Kiran 석사과정생이 제1저자로 연구를 주도하였다.

발성 과다기능(vocal hyperfunction, VH)은 발성 과정에서 성대 근육이 과도하거나 불균형하게 사용되는 현상으로, 다양한 음성 장애와 관련된다.  발성 과다기능은 성대 결절과 같은 양성 성대 병변이 동반되는 ‘음성외상성 발성 과다기능(PVH)’과 구조적 병변 없이 만성적인 음성 피로와 기능적 긴장 등이 나타나는 ‘비음성외상성 발성 과다기능(NPVH)’으로 구분된다.

기존의 음성 평가는 주로 실험실이나 진료실에서 짧은 음성 샘플을 수집하여 이루어졌다.그러나 제한된 시간 동안 측정한 음성만으로는 일상생활에서 나타나는 개인별 발성 습관과 시간에 따른 변화를 충분히 반영하기 어렵다는 한계가 있었다.

이를 극복하기 위해 연구팀은 사용자의 목 표면에 부착하는 소형 가속도계를 통해 일상생활에서 장시간 수집된 목 표면 진동 데이터를 활용했다. 이 방식은 주변 소음의 영향을 줄일 수 있으며, 알아들을 수 있는 음성 자체를 녹음하지 않아 개인정보 보호 측면에서도 장점이 있다.

연구팀이 제안한 핵심 기술은 두 종류의 인공지능 모델을 결합한 듀얼 브랜치 스태킹 앙상블 아키텍처다. 첫 번째 모델은 일 단위로 집계된 장기적인 통계 특징을 분석하는  CatBoost 기반 모델이다. 두 번째 모델은 50ms 간격으로 추출된 프레임 단위 특징을 분석하여 짧은 시간 동안 나타나는 국소적인 발성 패턴을 포착하는 어텐션 기반 다중 인스턴스 학습(multiple instance learning, MIL) 모델이다. 연구팀은 두 모델의 예측값을 결합함으로써 장기적인 발성 습관과 순간적으로 나타나는 특징을 상호 보완적으로 분석했다.

• ▲ 연구팀이 제안한 듀얼 브랜치 스태킹 앙상블 기반 음성 질환 탐지 파이프라인 개요도

이 모델은 ‘Neck Vibe 2026 Challenge’ 데이터셋을 활용한 공식 평가에서 PVH 탐지 부문 AUC 0.891을 기록하며 3위를 달성했다. 또한 상대적으로 탐지가 까다로운 NPVH 부문에서는 AUC 0.861을 기록하며 1위를 차지하는 쾌거를 이루었다.

▲ Neck Vibe 2026 Challenge 결과

이번 연구는 장기간에 걸쳐 나타나는 발성 특징을 분석하는 통계 기반 모델과 짧은 시간 단위의 국소적인 발성 패턴을 포착하는 어텐션 기반 딥러닝 모델을 결합했다는 점에서 의미가 있다. 이를 통해 환경 조건과 개인별 차이가 큰 일상생활 데이터에서도 발성 과다기능을 효과적으로 탐지할 수 있는 가능성을 보여 주었다.