Can Generic LLMs Help Analyze Child-Adult Interactions Involving Children with Autism in Clinical Observation?
자폐 스펙트럼 장애 진단을 위한 생성형 AI의 새로운 역할
대규모 언어 모델(LLM, Large Language Model)은 인간의 언어와 상호작용을 이해하는 데 탁월한 성능을 보여왔으나, 특히 자폐 스펙트럼 장애(ASD)를 가진 아동과 성인 간 상호작용을 분석하는 데 있어 그 활용 가능성은 상대적으로 적게 탐구되었다.
이번 연구는 임상 환경에서 자폐 아동과 성인이 나누는 대화를 자동으로 분석하는 데 LLM이 얼마나 유용한지를 평가하며, 이 모델들이 ASD 진단과 언어 발달 평가를 지원할 수 있는지를 탐구했다.
언어 모델이 지원할 수 있는 주요 작업
이 연구는 임상 환경에서 아동-성인 대화 분석을 위해 LLM이 수행할 수 있는 네 가지 주요 작업을 정의했다.
첫 번째로, 화자 분류는 대화에서 특정 발화를 성인 혹은 아동이 말했는지를 분류하는 작업이다. 이는 자동으로 아동의 발화를 추출하고, 해당 내용을 중심으로 행동 및 언어 평가를 수행할 수 있는 기반을 마련한다.
두 번째로, 활동 인식은 대화에서 아동이 참여한 활동을 파악하는 작업으로, 아동이 그림 그리기, 조작 놀이, 감각 활동 등 다양한 활동 중 어떤 것에 집중했는지를 분석한다.
세 번째로는 아동의 언어 발달 수준을 추정하는 언어 기술 평가 작업이다. 이를 통해 “초어 단계(preverbal)”에서 “단어 조합(word combinations)”으로 분류하여 아동의 언어 발달 상태를 파악할 수 있다.
마지막으로, 아동 특성 예측은 대화 데이터를 바탕으로 아동의 연령대나 기타 특성을 추정하며, 이는 ASD 진단과 언어 발달 평가에 중요한 정보를 제공한다.
인간 전문가와 비교한 LLM의 성능
연구 결과, LLM은 인간 비전문가와 비교하여 특정 작업에서 우수한 성능을 보여주었다. 화자 분류 작업에서 LLM은 0.693의 F1 점수를 기록하며, 일부 인간 평가자와 비슷한 수준의 정확도를 보였다. 활동 인식에서는 LLM이 다중 라벨 태스크에서도 인간 평가자보다 높은 점수를 얻었다.
특히 언어 기술 예측에서 LLM은 비전문가를 크게 능가하며 1.0의 F1 점수를 기록했다. 그러나, 모델은 여전히 혼동이나 “환각(hallucination)”과 같은 오류를 발생시키는 경향이 있어, 임상에서의 완전한 활용에는 제한이 있다.
LLM의 도전 과제와 개선 가능성
LLM이 자폐 아동의 상호작용 분석에서 새로운 가능성을 열었지만, 여전히 해결해야 할 문제들이 존재한다.
첫째, 모델은 환각(hallucination) 문제로 실제 데이터와 상관없는 내용을 생성하는 경향이 있다. 이는 임상 평가에 부정적인 영향을 미칠 수 있어, 향후 연구에서는 이러한 문제를 줄이기 위한 체계적인 방법이 필요하다.
둘째, 현재 연구는 텍스트 데이터만을 활용했지만, 음성 및 영상 데이터의 통합 분석이 가능하다면 더 정확한 평가를 제공할 수 있을 것이다.
셋째, LLM이 특정 집단에 대해 편향된 출력을 생성할 가능성이 있어 이에 대한 심층 연구와 개선이 필요하다.
결론 및 미래 방향
이번 연구는 LLM이 자폐 아동과 성인 간 상호작용의 분석을 자동화하고, 임상 진단 및 평가에서 유용한 도구가 될 가능성을 시사했다. 특히, 활동 인식과 언어 기술 평가에서 LLM의 성능은 인간 비전문가를 능가했다. 앞으로는 다중 모달 데이터의 활용과 모델의 신뢰성 개선이 이루어진다면, ASD 진단과 관련된 다양한 임상 도구로 LLM이 자리 잡을 가능성이 높다.
기사에 인용된 논문의 원문은 링크에서 확인할 수 있다.
기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다.
관련 콘텐츠 더보기
