Choose Your Weapon: Survival Strategies for Depressed AI Academics
AI 학계와 기업의 격차, 더 이상 무시할 수 없는 현실이 되다
대학에서 인공지능(AI) 연구를 하는 것은 더 이상 쉽지 않은 일이 되었다. 구글 딥마인드(Google DeepMind), 오픈AI(OpenAI), 메타AI(Meta AI) 등 거대 기업들이 막대한 자금력과 컴퓨팅 파워를 바탕으로 AI 연구를 주도하고 있기 때문이다.
10년 전만 해도 일반 데스크톱 컴퓨터와 인터넷 연결만 있으면 최고의 연구자들과 경쟁할 수 있었다. 대부분의 혁신적인 논문들은 한두 명의 연구자가 일반 워크스테이션에서 실험을 진행한 결과물이었다. 하지만 이제는 상황이 완전히 달라졌다. 딥러닝이 발전하면서 더 많은 데이터와 컴퓨팅 파워가 필요해졌고, 이는 양적으로뿐만 아니라 질적으로도 더 나은 결과를 만들어내고 있다.
몰타대학교와 뉴욕대학교의 교수진이 최근 발표한 논문에 따르면, 최근 마이크로소프트에서 공개한 AI 에이전트는 마인크래프트(Minecraft)에서 다이아몬드 곡괭이를 만드는 법을 학습하는 데만 720개의 V100 GPU를 9일 동안 사용했다. 이는 수십만 달러의 비용이 소요되는 규모다. 더구나 대부분의 실험은 첫 시도에서 성공하지 않는다. 실제로 성공적인 실험 하나를 위해서는 수개월 또는 수년에 걸친 프로토타입 제작, 개념 증명, 디버깅, 매개변수 조정, 실패한 시도 등이 필요하다. 이런 수준의 컴퓨팅 파워를 지속적으로 활용할 수 있어야 한다.
학계가 선택할 수 있는 다양한 생존 전략들
이러한 상황에서 학계가 선택할 수 있는 전략은 크게 세 가지로 구분된다.
첫째, 규모를 줄이는 전략이다. 복잡한 문제를 단순화하거나 작은 모델에 집중하는 것이다. 예를 들어 최근 발표된 ‘행동 트랜스포머(Behaviour Transformers)’ 논문은 간단한 내비게이션 작업으로 방법의 장점을 입증했다. 같은 접근법이 ‘Behaviour Transformers’ 후속 연구에서도 사용되었다. 두 연구 모두 대규모 모델과 상당한 컴퓨팅 파워가 필요한 벤치마크 문제에서 알고리즘의 우수성을 입증했다.
작은 모델은 특히 실제 응용 분야에서 중요한 의미를 갖는다. 사물인터넷, 자율주행 차량과 같은 엣지 컴퓨팅 환경에서는 작고 효율적인 모델이 필수적이기 때문이다. 신경진화(Neuroevolution), 신경망 구조 탐색(Neural Architecture Search), 지식 증류(Knowledge Distillation) 등의 방법이 이러한 엣지 AI 개발에 활용될 수 있다.
둘째, 기존 모델을 재활용하고 개선하는 전략이다. 비전(Vision) 분야의 ViT나 텍스트 분야의 Llama 패밀리와 같은 사전 학습된 대규모 모델을 활용하면 시간과 노력을 절약할 수 있다. 이러한 모델들을 특정 문제에 맞게 미세 조정하는 방식이다. 다만 이 접근법은 사전 학습된 모델의 표현이 충분히 일반적이어야 하고, 목표로 하는 작업에서도 좋은 성능을 낼 수 있다는 가정이 필요하다.
셋째, 분석에 집중하는 전략이다. 현재 텍스트와 이미지 생성을 위한 훌륭한 모델들이 공개되어 있지만, 우리는 이들을 제대로 이해하지 못하고 있다. 트랜스포머(Transformer)는 그 자체로 직관적이지 않은 구조이며, 이러한 모델들이 학습하는 데이터의 규모는 거의 이해하기 힘들 정도다. 창의적인 방식으로 모델을 조사하고, 시각화하며, 이해를 돕는 개념적 도구를 개발하는 데 많은 연구가 필요하다.
스타트업을 통한 새로운 가능성
또 다른 대안으로 스타트업 창업이 있다. 대학 연구실의 아이디어를 상업화하여 실제 서비스나 제품으로 발전시키는 것이다. 이를 통해 실제 데이터와 컴퓨팅 자원에 접근할 수 있고, 알고리즘을 실제 환경에서 테스트할 수 있다는 장점이 있다.
하지만 이 경로 역시 쉽지는 않다. 모든 연구 아이디어가 비즈니스 모델로 전환될 수 있는 것은 아니며, 실험실에서의 성과가 실제 비즈니스로 이어지기까지는 긴 시간이 필요할 수 있다. 또한 초기 투자금으로는 OpenAI 수준의 실험을 수행하기 어렵다는 한계도 있다.
스타트업과 산업계 협력을 통한 기회
대학 연구실의 아이디어를 스타트업으로 발전시키는 것도 하나의 대안이 될 수 있다. 이를 통해 실제 데이터에 접근하고, 상용 수준의 응용 프로그램에서 AI 알고리즘을 테스트할 수 있으며, 더 많은 컴퓨팅 자원과 인적 자원을 확보할 수 있다.
하지만 이 경로 역시 쉽지는 않다. 모든 연구 아이디어가 스타트업 비즈니스 모델로 전환될 수 있는 것은 아니다. 실험실에서 뛰어난 결과를 얻었더라도 이를 제품화하기까지는 긴 시간이 필요할 수 있다. 대부분의 스타트업은 다음 투자 유치까지 2년 정도의 기간 동안 작동하는 제품을 만들어야 하기 때문에 연구보다는 개발에 집중하게 된다.
산업계와의 협력도 중요한 전략이다. 선도적인 AI 기업들과 지리적으로 가까운 대학들은 현지 네트워크와 대면 미팅을 통해 협력을 더 쉽게 구축할 수 있다. 원격지의 대학들도 연구 방문, 인턴십, 공동 연구 프로젝트를 통해 협력 관계를 맺을 수 있다.
대학과 기업의 역할 변화 필요성
학계의 생존을 위해서는 대학과 기업 모두의 변화가 필요하다. 기업들은 가장 기본적인 수준에서 모델과 학습 스크립트를 공개해야 한다. 이를 통해 학계 연구자들이 학습된 모델을 연구하고, 미세 조정하며, 이를 기반으로 새로운 시스템을 구축할 수 있다. 메타(Meta)는 이미 자사의 최신 모델들을 정기적으로 공개하며 이러한 움직임을 주도하고 있다.
대학은 교수진들이 더 많은 위험을 감수할 수 있도록 지원해야 한다. NeurIPS나 AAAI와 같은 최상위 컨퍼런스에서 꾸준한 논문 발표를 기대하는 것은 더 이상 현실적이지 않다. 잘 갖춰진 산업계 연구소들이 이러한 논문을 작성하는 데 큰 이점을 가지고 있기 때문이다.
또한 연구비 지원 구조도 변화가 필요하다. 현재의 구조는 인기 있는 주제에 대한 안전하고 점진적인 연구를 선호한다. 이는 지원금 신청서 평가 방식의 고유한 특성으로 보이며, 기금 기관이 ‘파괴적’이라는 단어를 자주 사용한다고 해서 바뀔 것 같지 않다.
공동 연구 플랫폼의 가능성
유럽의 ‘AI-on-Demand Platform’과 같이 연구자들이 공동으로 대규모 모델을 구축하고 공유할 수 있는 플랫폼은 하나의 해결책이 될 수 있다. 이는 오픈 액세스 AI 도구를 제공하는 커뮤니티 주도형 채널로서, 이러한 협력적 노력을 주도할 수 있다.
이미 StarCoder와 같은 오픈 사이언스 커뮤니티의 성공 사례가 있다. 이는 대학과 산업계 파트너들이 함께 구축한 대규모 모델이다. 이러한 협력적 오픈소스 프로젝트의 씨앗이 이미 뿌려져 있으며, 더 크고 많은 학계 주도의 모델과 데이터가 공개적으로 공유될 것으로 기대된다.
기사에 인용된 리포트의 원문은 링크에서 확인할 수 있다.
기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다.
관련 콘텐츠 더보기
