“책장 만들어줘” 한마디면 OK… 실제 조립 가능한 레고 설계하는 AI

Generating Physically Stable and Buildable LEGO Designs from Text

문장만 입력하면 물리적으로 안정적인 레고 구조물이 완성된다

카네기멜런대학교(Carnegie Mellon University)의 연구진은 텍스트 입력만으로 물리적으로 안정적인 레고(LEGO) 구조물을 자동으로 생성하는 AI 모델 ‘LEGOGPT’를 공개했다. 이 시스템은 자연어로 주어진 설명을 바탕으로 실제 조립 가능한 레고 모델을 순차적으로 생성한다. 무엇보다 LEGOGPT는 구조적 안정성과 조립 가능성을 중심에 두고 설계된 점이 기존의 텍스트-3D 생성 모델들과 차별된다.

연구진은 이를 위해 4만 7천여 개의 안정적인 레고 구조와 2만 8천 개 이상의 고유한 3D 객체를 포함한 대규모 데이터셋 ‘StableText2Lego’를 구축했다. 이 데이터셋은 GPT-4o를 활용한 상세한 기하학적 설명과 함께, 모든 구조물이 중력, 마찰, 연결력 등을 기반으로 물리적 안정성 분석을 통과하도록 구성됐다.

레고 설계를 위한 ‘다음 브릭 예측’ 모델로 진화한 LLM

LEGOGPT의 핵심은 ‘다음 토큰 예측’ 대신 ‘다음 브릭(brick) 예측’으로 전환한 자동회귀 모델이다. 연구진은 LLaMA-3.2-Instruct-1B라는 사전 학습된 언어 모델을 기반으로, 레고 구조물이 포함된 텍스트 시퀀스를 학습시켰다. 각 레고 브릭은 크기와 위치 정보를 포함하는 텍스트 형식으로 표현되며, 모델은 이를 순차적으로 생성한다.

생성 과정에서 모델은 유효하지 않은 브릭(충돌, 범위 외, 라이브러리에 없음)을 자동으로 걸러내는 ‘브릭별 거부 샘플링’을 적용하고, 최종 디자인이 불안정할 경우 해당 브릭 이후를 되돌리는 ‘physics-aware rollback’을 통해 안정성을 확보한다. 이렇게 생성된 결과물은 실제로 사람이 손으로 조립하거나 로봇이 자동으로 조립할 수 있다.

유효성 100%, 안정성 98.8%… 기존 3D 생성 모델을 압도

LEGOGPT는 다양한 최신 텍스트-3D 생성 모델과 비교 실험에서도 뛰어난 성능을 보였다. 예를 들어, LLaMA-Mesh, LGM, XCube, Hunyuan3D-2 등과 비교한 실험에서 LEGOGPT는 유효한 구조물 생성 비율 100%, 물리적으로 안정적인 구조물 비율 98.8%를 기록했다. 평균 브릭 안정도는 0.996에 달해 모든 지표에서 경쟁 모델을 앞질렀다.

예시로 주어진 “각진 차량”이나 “네 개의 다리가 있는 의자” 등의 텍스트에 대해, LEGOGPT는 기존 모델들이 충돌되거나 불안정한 구조를 출력한 반면, 유효하고 안정적인 구조를 성공적으로 출력했다. 이외에도 외형 묘사 텍스트를 기반으로 UV 텍스처링과 단색 브릭 배치도 가능해, ‘사이버펑크 스타일 의자’, ‘빅토리아풍 책장’ 등 시각적으로도 개성 있는 레고 구조물이 완성된다.

사람도 로봇도 조립 가능… AI 설계가 현실에서 작동한다

LEGOGPT가 생성한 레고 구조물은 단순한 가상 시뮬레이션이 아니라 실제 조립 가능한 수준이라는 점에서 주목받는다. 연구팀은 2개의 로봇 팔로 구성된 시스템을 통해 자동 조립 시연을 성공적으로 수행했으며, 인간 사용자도 설명서 없이 해당 구조물을 직접 조립할 수 있었다.

특히 LEGOGPT는 브릭 단위로 순차적으로 구조를 출력하기 때문에 자연스럽게 조립 설명서 역할까지 수행한다. 단순히 ‘완성된 결과물’을 생성하는 데 그치지 않고, 실제 제조나 교육 현장에서 활용 가능한 수준의 상세성과 안정성을 갖춘 것이다. 향후 더 다양한 브릭 종류와 고해상도 3D 데이터셋을 적용해 확장성을 높일 계획도 제시됐다.

FAQ

Q. LEGOGPT는 어떤 AI인가요?

A: LEGOGPT는 텍스트로 입력된 설명을 기반으로 물리적으로 안정적인 레고 구조물을 생성하는 AI입니다. 실제 조립 가능한 설계를 목표로 하며, 사람이나 로봇이 그대로 조립할 수 있는 형태로 출력됩니다.

Q. 생성된 레고 구조물이 실제로도 조립 가능한가요?

A: 네, LEGOGPT가 생성한 구조물은 자동 물리 안정성 검사를 통과한 후 출력됩니다. 로봇 암이나 사람이 실제로 조립한 사례도 논문에서 확인할 수 있습니다.

Q. 기존 텍스트-3D 생성 AI보다 뭐가 더 뛰어난가요?

A: LEGOGPT는 유효성 100%, 물리 안정성 98.8%라는 높은 수치를 기록했습니다. 기존 모델들이 충돌되거나 붕괴 위험이 있는 구조를 생성한 반면, LEGOGPT는 안정성과 조립 가능성을 모두 만족시킵니다.

해당 기사에서 인용한 논문 원문은 링크에서 확인할 수 있다.

이미지 출처: Generating Physically Stable and Buildable LEGO Designs from Text

기사는 클로드와 챗GPT를 활용해 작성되었습니다.