MIT, ‘GPT-4처럼 생각하는’ 범용 로봇 학습법 개발…기존보다 20% 성능↑

MIT 연구진이 범용 로봇 개발을 위한 획기적인 학습 방법을 개발했다. 대규모 언어모델(Large Language Model)에서 영감을 받은 이 기술은 다양한 출처의 데이터를 통합해 로봇에게 새로운 기술을 가르치는 방식이다. 연구진은 시뮬레이션과 실제 로봇, 다양한 센서 데이터 등 이질적인 데이터를 하나의 시스템으로 통합하는 데 성공했다.

지금까지 로봇 학습은 특정 작업과 환경에 맞춘 데이터로 제한적으로 이뤄졌다. 엔지니어들은 통제된 환경에서 특정 로봇과 작업에 맞는 데이터를 수집하고 이를 바탕으로 로봇을 훈련시켰다. 이러한 방식은 비용과 시간이 많이 들고, 로봇이 새로운 환경에 적응하는 데 어려움이 있었다. 더욱이 매번 새로운 작업을 가르칠 때마다 처음부터 학습을 시작해야 하는 비효율도 존재했다.

MIT 연구진은 이러한 한계를 극복하고자 ‘이기종 사전훈련 트랜스포머'(Heterogeneous Pretrained Transformers, HPT)라는 새로운 아키텍처를 개발했다. HPT는 시각 데이터와 로봇 관절 위치 등의 고유감각(proprioception) 입력을 동일한 형태의 토큰으로 변환하여 처리한다. 이는 대규모 언어모델이 다양한 텍스트를 처리하는 방식에서 영감을 받은 것이다.

연구팀이 개발한 HPT의 가장 큰 특징은 데이터 통합 능력이다. 트랜스포머 모델을 아키텍처의 중심에 배치하여 시각 정보와 로봇의 물리적 상태 정보를 처리한다. 이 과정에서 모든 입력은 고정된 수의 토큰으로 변환되어 하나의 공유 공간에서 처리된다.

특히 주목할 만한 점은 고유감각 신호의 처리 방식이다. 연구진은 “고유감각은 정교한 동작을 가능하게 하는 핵심”이라며 “우리의 아키텍처에서는 시각 정보와 동일한 중요도로 고유감각을 처리한다”고 설명했다. 이를 통해 로봇은 더욱 섬세하고 정확한 동작을 수행할 수 있게 되었다.

연구팀은 HPT의 성능을 검증하기 위해 52개의 데이터셋에서 추출한 20만 개 이상의 로봇 궤적 데이터를 활용했다. 이 데이터는 인간 시연 영상, 시뮬레이션 등 4개 카테고리로 구성되었다.

실험 결과는 매우 고무적이었다. HPT는 시뮬레이션과 실제 환경 모두에서 기존 방법 대비 20% 이상 향상된 성능을 보였다. 특히 사전훈련 데이터와 매우 다른 새로운 작업에서도 성능 향상이 관찰되었다. 또한 작업별 데이터 요구량이 크게 줄어 비용과 시간 효율성도 높아졌다.

연구팀은 이 기술의 실용성을 입증하기 위해 다양한 실험을 진행했다. 그 중 하나는 연구진의 반려견 모모에게 먹이를 주는 로봇 팔의 훈련이었다. 이러한 복잡한 작업에서도 HPT는 뛰어난 적응력을 보여주었다.

이 성과는 범용 로봇 개발에 있어 중요한 이정표가 될 것으로 평가받는다. 기존에는 각각의 작업마다 개별적인 훈련이 필요했지만, HPT를 통해 하나의 시스템으로 다양한 작업을 수행할 수 있게 되었기 때문이다.

연구를 주도한 전기공학 및 컴퓨터과학(EECS) 대학원생 리루이 왕은 “로보틱스 분야에서는 훈련 데이터가 부족하다는 주장이 많다. 하지만 우리가 보기에 더 큰 문제는 데이터가 너무 다양한 도메인, 형태, 하드웨어에서 온다는 것이었다. 우리의 연구는 이 모든 데이터를 통합해 학습에 활용할 수 있다는 것을 보여준다”고 설명했다.

연구팀의 궁극적인 목표는 어떠한 추가 훈련 없이도 즉시 사용할 수 있는 ‘범용 로봇 두뇌’를 개발하는 것이다. 왕 연구원은 “우리는 아직 초기 단계에 있지만, 대규모 언어모델이 그랬던 것처럼 규모 확장을 통해 로봇 정책에서도 획기적인 발전이 있을 것으로 기대한다”고 밝혔다.

이 혁신적인 연구는 아마존 그레이터 보스턴 테크 이니셔티브와 도요타 연구소의 지원을 받았으며, 향후 로봇공학 분야의 새로운 지평을 열 것으로 기대된다.

해당 연구 성과에 대한 자세한 내용은 링크에서 확인할 수 있다.

기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다. 

관련 콘텐츠 더보기