뇌파로 문장을 쓴다… 메타 AI, 비침습 방식으로 32% 오류율 달성

Brain-to-Text Decoding: A Non-invasive Approach via Typing

35명 대상 비침습 뇌파 실험으로 입증된 새로운 가능성

메타 AI(Meta AI)가 발표한 연구에 따르면, 수술 없이도 뇌 활동을 읽어 문장으로 변환할 수 있는 혁신적인 기술이 개발됐다. 연구팀은 35명의 건강한 자원자들(남성 23%, 여성 77%)을 대상으로 비침습적 방식의 뇌파 측정을 통해 문장 생성이 가능하다는 것을 입증했다. 참가자들은 평균 31.6세였으며, EEG 세션에서는 17.7시간, MEG 세션에서는 21.5시간에 걸쳐 총 4,000개 이상의 문장과 146,000개의 문자 데이터를 수집했다.

체계적인 실험 설계로 확보한 신뢰성 높은 데이터

연구팀은 스페인 바스크 인지・뇌・언어 센터(BCBL)에서 엄격한 실험 프로토콜에 따라 데이터를 수집했다. MEG 시스템은 306개 채널(102개의 자력계와 204개의 평면 측정계)을 1kHz 샘플링으로 기록했으며, EEG는 64개 채널(61개 EEG 채널과 3개 안구 채널)을 사용했다.

참가자들은 화면에 한 번에 한 단어씩 제시되는 문장을 보고 기억한 후, 시각적 피드백 없이 타이핑하는 방식으로 실험에 참여했다. 각 세션은 128개의 고유한 스페인어 문장으로 구성됐으며, 문장당 5-8개의 단어를 포함했다. 데이터의 품질을 보장하기 위해 80% 이상의 타이핑 정확도를 보이는 참가자만을 선별했으며, MEG 측정 시에는 자기장 간섭을 피하기 위해 특수 제작된 비자성 키보드를 사용했다.

MEG로 32%, EEG로 67%의 오류율 기록한 Brain2Qwerty

메타 AI의 ‘Brain2Qwerty’는 뇌전도(EEG) 또는 뇌자도(MEG) 데이터를 활용하는 새로운 딥러닝 아키텍처다. MEG 사용 시 평균 32%의 문자 오류율(CER)을 기록했으며, 이는 EEG의 67% 오류율과 비교해 현저히 우수했다. 최고 성과자는 19%, 최저 성과자는 45%의 오류율을 기록했다. EEG의 경우 최고 성과자가 61%, 최저 성과자가 71%의 오류율을 보였다.

3단계 AI 모델로 구현한 뇌신호 해독 기술

Brain2Qwerty는 약 4억 개의 매개변수를 가진 3단계 AI 모델이다. 첫 단계인 합성곱 모듈(2억5천8백만 매개변수)이 뇌 신호를 처리하고, 두 번째 단계인 트랜스포머 모듈(1억3천8백만 매개변수)이 문장 수준의 맥락을 이해하며, 마지막으로 스페인어 위키피디아 말뭉치로 사전 학습된 9-gram 문자 수준 언어 모델이 최종 출력을 보정한다. 이 모델은 100에폭 동안 학습되었으며, 32GB 메모리의 NVIDIA Tesla V100 Volta GPU에서 약 12시간이 소요됐다.

오타까지 교정하는 뛰어난 문장 해독 능력

시스템은 실제 타이핑 과정에서 발생하는 심각한 오타도 보정할 수 있었다. 대표적인 예로, “ek benefucui syoera kis ruesgis”라는 오타를 “el beneficio supera los riesgos”로 정확하게 해독했다. 또 다른 예시로는 “las teorias reducen los numeros”를 정확히 해독하는 데 성공했다. 특히 자주 사용되는 단어와 관사의 경우 17% 정도의 매우 낮은 오류율을 보였다.

타이핑 속도와 오류 패턴의 상관관계 발견

참가자들은 평균 분당 152문자를 입력했으며, 한 문장을 완성하는 데 평균 5.7초가 소요됐다. 전체 키스트로크의 3.6%에서 오타가 발생했는데, 정확한 타이핑의 경우 키 입력 간격이 50ms였지만, 오타가 발생할 때는 114ms로 크게 증가했다. 올바르게 입력된 문자는 38%의 오류율을, 잘못 입력된 문자는 65%의 오류율을 보였다.

기존 침습적 BCI와의 성능 비교

현재 최고 수준의 침습적 BCI 기술이 15.2%의 오류율과 분당 79단어의 속도를 보이는 것과 비교하면, Brain2Qwerty의 성능(32% 오류율)은 아직 개선의 여지가 있다. 하지만 수술이 필요 없는 비침습적 방식이라는 점에서 큰 의미를 가진다. 연구팀은 광학적으로 펌핑된 자력계(OPMs) 기반의 새로운 MEG 센서 개발로 이러한 격차를 좁힐 수 있을 것으로 전망했다.

해당 기사에 인용된 논문 원문은 링크에서 확인 가능하다.

기사는 클로드 3.5 Sonnet과 챗GPT를 활용해 작성되었습니다. 

관련 콘텐츠 더보기