美 연구팀 "뇌 신호로 해독한 말과 몸짓, 전신 아바타의 말·행동으로 변환"

(서울=연합뉴스) 이주영 기자 = 뇌졸중이나 근위축성 측삭경화증(ALS) 같은 질환으로 발성 기관과 신체가 마비된 사람의 뇌 표면에 이식한 뇌전도(ECoG) 전극 배열로 뇌 신호를 해독해 의사를 아바타의 말과 몸짓으로 표현하는 기술이 개발됐다.

고밀도 ECoG 임플란트로 해독한 마비 환자의 말과 몸짓 신호에 맞춰 맞춤형 전신 가상 아바타가 말하고 움직이는 모습. [Chang Lab, UCSF 제공. 재판매 및 DB 금지]

미국 샌프란시스코 캘리포니아대(UCSF) 에드워드 장 교수팀은 15일 과학 저널 네이처 뉴로사이언스(Nature Neuroscience)에서 마비 환자 뇌 표면에 이식한 뇌전도(ECoG) 임플란트로 뇌 신호를 측정, 말과 몸짓을 동시에 해독하고 이를 가상 인물의 말과 움직임으로 표현하는 데 성공했다고 밝혔다.

연구팀은 이 연구는 뇌 임플란트 하나로 여러 신체 부위에 관한 신경 정보를 읽어내고 말과 몸짓을 복원할 수 있음을 보여준다며 이는 마비 환자가 더 자연스럽고 풍부하게 의사를 표현할 수 있게 돕는 통합형 신경보철 시스템의 기반이 될 수 있다고 말했다.

말을 하면서 손을 흔들거나 고개를 끄덕이는 것은 일상적인 의사소통에 중요하지만, 뇌졸중·근위축성 측삭경화증(ALS) 같은 질환으로 발성 기관과 신체가 마비된 사람은 말하기는 물론 표정이나 손짓 같은 비언어적 표현도 어려워질 수 있다.

그동안 뇌-컴퓨터 인터페이스(BCI)를 통해 신경 활동을 외부 기기 작동 명령으로 변환해 의사소통 기능을 회복하려는 연구가 진행돼 왔지만 기존 연구는 주로 말하기나 몸짓을 별도로 해독하는 데 초점을 맞췄다.

연구팀은 발성 기관과 팔다리 마비가 있는 참가자 3명의 뇌 감각운동피질 위에 고밀도 뇌전도(ECoG) 전극 배열을 이식하고, 신경 활동을 기록해 임플란트 하나로 입·얼굴, 손·팔, 머리·눈 움직임의 신호를 구별할 수 있는지 시험했다.

참가자들은 실제로 움직이지 못하거나 움직임이 매우 제한된 상태에서 말하거나 몸을 움직이려고 시도했다. 저마다 남아 있는 운동 능력 등이 달라 소리 내어 말하거나 속으로 말하기를 시도했고, 일부 몸짓은 상상으로 수행했다.

연구팀은 이를 통해 세 참가자의 뇌 신호에서 여러 신체 부위의 움직임과 관련된 패턴을 확인했으며, ECoG 임플란트 하나로 여러 신체 부위의 움직임과 관련된 신경정보를 읽어낼 수 있는 것으로 나타났다.

이후 참가자 2명에게 말 해독기와 몸짓 해독기를 함께 작동시키는 실시간 시스템을 적용, 말하려는 내용을 해독하고, 손을 흔들거나 고개를 끄덕이는 등의 몸짓은 전신 아바타가 해당 동작을 하도록 했다.

그러나 말과 몸짓을 따로 학습한 모델은 두 행동을 동시에 시도할 때 해독 오류가 늘거나 말이나 몸짓 신호를 제대로 검출하지 못하는 문제를 보였다.

연구팀은 말과 몸짓을 따로 학습한 자료뿐 아니라 두 행동을 동시에 시도한 자료도 함께 사용해 모델을 학습시킨 결과, 말 해독기와 몸짓 해독기가 잘못된 신호에 반응하는 문제가 줄어드는 등 전반적인 성능이 개선됐다고 밝혔다.

그 결과 10개 몸짓과 10개 발화를 사용한 한 참가자의 동시 과제에서 몸짓 해독 정확도는 66%, 말 해독 정확도는 70%를 기록했다. 대화 형식의 과제에서는 몸짓 해독 평균 정확도가 85%, 말 해독 평균 정확도가 75%였다.

다른 참가자는 세 차례 대화 구간에서 말과 몸짓 해독 정확도 중앙값이 모두 100%를 기록했다. 다만 이 결과는 제한된 어휘와 몸짓을 이용한 소규모 실험의 결과로 모든 상황에서 같은 성능이 보장된다는 뜻은 아니라고 연구팀은 설명했다.

연구팀은 이 결과가 마비 환자가 문자 소통을 넘어 말과 몸짓을 함께 활용하는 소통의 가능성을 보여준다며 실제 대화의 여러 표현 요소를 시스템 하나로 복원하면 의사소통이 더 유연하고 풍부해질 수 있다고 말했다.

다만 이 연구는 참가자가 3명에 불과하고 실시간으로 말과 몸짓을 동시에 해독해 아바타를 조종한 실험은 2명을 대상으로 한 개념 증명 단계라며 앞으로 더 많은 참가자와 다양한 원인·정도의 마비 환자를 대상으로 검증하고, 더 큰 어휘와 몸짓 목록도 적용해야 한다고 덧붙였다.

◆ 출처 : Nature Neuroscience, Edward Chang et al., 'Simultaneous speech and gesture decoding for multimodal communication in paralysis', https://www.nature.com/articles/s41593-026-02446-2

scitech@yna.co.kr

Copyright 연합뉴스 All rights reserved. 무단 전재 및 재배포 금지.