실제 인터넷에 접속하지 않고 가상으로만 연습한 AI가 진짜 웹사이트를 탐색하는 능력에서 기존 방식을 크게 앞질렀다. 해당 논문에 따르면, 토론토대학교(University of Toronto)와 AI 스타트업 그라디언트(Gradient)가 공동 개발한 ‘다이나웹(DynaWeb)’은 마치 사람이 머릿속으로 시뮬레이션하듯 AI가 상상만으로 웹 탐색을 배울 수 있음을 증명했다. 이 기술은 AI를 훈련시킬 때 발생하는 높은 비용과 위험을 획기적으로 줄일 수 있는 대안으로 주목받고 있다.
실수로 물건 사고, 계정 바꾸는 AI 훈련의 위험성
AI 웹 비서를 실제 인터넷 환경에서 학습시키는 것은 여러 심각한 문제를 일으킨다. 학습 중인 AI가 실수로 온라인 쇼핑몰에서 물건을 구매하거나, 중요한 계정 설정을 마음대로 바꾸는 등 되돌릴 수 없는 일을 저지를 수 있기 때문이다. 또한 AI가 제대로 배우려면 수만 번의 시행착오가 필요한데, 이를 실제 웹사이트에서 하려면 막대한 비용이 든다. 게다가 웹페이지가 예측 불가능하게 변하거나 일시적으로 작동하지 않는 등의 문제로 학습이 불안정해진다.
다이나웹은 이런 문제를 근본적으로 해결하기 위해 ‘웹 세계 모형’이라는 가상 시뮬레이터를 만들었다. 이 모형은 마치 게임 속 가상 세계처럼, 현재 보고 있는 웹페이지와 AI가 하려는 행동(클릭, 타이핑 등)을 입력받으면 다음에 나타날 웹페이지 모습을 예측해낸다. 연구진은 실제 사람들이 웹사이트를 탐색한 기록을 대량으로 수집해 이 가상 시뮬레이터를 학습시켰다. 웹페이지는 ‘접근성 트리’라는 구조화된 형태로 표현되는데, 이는 웹페이지의 버튼, 텍스트 입력칸, 링크 같은 요소들을 나무 구조로 정리한 것이다.
진짜 경험 40% 섞었더니 성능 최고
다이나웹의 핵심 비결은 완전히 가상의 경험만 사용하지 않는다는 점이다. AI가 가상 환경에서 상상으로 만들어낸 연습 기록과 실제 사람이 웹사이트를 탐색한 진짜 기록을 적절히 섞어서 학습시킨다. 연구진의 실험 결과, 순수하게 가상 경험만으로 훈련하면 시뮬레이터가 잘못된 정보를 만들어내거나 오류가 쌓여 성능이 떨어졌다.
반면 약 40%의 실제 탐색 기록을 섞었을 때 가장 좋은 결과가 나왔다. 기존의 지도학습 방식보다 훨씬 높은 성능을 보였고, 실제 데이터 비율을 40%보다 더 높여도 성능 향상은 미미했다. 이는 적절한 양의 실제 경험이 AI 학습을 안정시키고 잘못된 학습 방향을 바로잡는 역할을 한다는 것을 보여준다. 대부분의 학습은 여전히 비용이 거의 들지 않는 가상 연습으로 할 수 있어, 실제 인터넷 사용을 극적으로 줄이면서도 성능을 유지할 수 있다.
연습 길이는 4~5단계가 최적, 너무 길면 독
연구진은 가상 환경에서 AI가 한 번에 연습하는 길이, 즉 몇 단계의 행동을 연속으로 시뮬레이션하는지가 학습 효과에 큰 영향을 미친다는 것을 발견했다. 평균 4~5단계 정도로 연습했을 때 가장 좋은 성능을 보였다.
이보다 짧으면 웹사이트에서 목표를 달성하는 데 필요한 여러 단계의 행동 순서를 제대로 배우지 못했다. 예를 들어 쇼핑몰에서 물건을 찾으려면 검색하고, 결과를 보고, 원하는 상품을 클릭하는 등 여러 단계가 필요한데, 너무 짧은 연습으로는 이런 연속 동작을 익히지 못한다.
반대로 너무 길게 연습하면 시뮬레이터가 만들어내는 가짜 웹페이지의 오류가 누적돼 오히려 학습에 방해가 됐다. 마치 잘못된 정보가 계속 쌓이면 전체 연습이 무의미해지는 것과 같다. 웹아레나와 웹보이저라는 두 가지 실험 환경 모두에서 이런 경향이 일관되게 나타났다.
쇼핑몰·구글·아마존에서 31~39% 성공
다이나웹은 웹아레나라는 테스트 환경에서 평균 31.0%의 성공률을 기록했다. 이는 기존의 강화학습 방식(26.7%)보다 16.1% 높은 수치다. 웹아레나는 레딧, 깃랩, 지도 서비스, 콘텐츠 관리 시스템, 쇼핑몰 등 5가지 종류의 가상 웹사이트 812개 과제로 구성됐다. 다이나웹은 특히 레딧에서 43.8%, 깃랩에서 28.7%, 쇼핑 부문에서 33.2%의 성공률을 보이며 여러 종류의 웹사이트에서 고르게 좋은 성능을 냈다.
실제 웹사이트를 대상으로 하는 웹보이저 테스트에서는 38.7%의 성공률을 기록했다. 이 테스트는 아마존, 애플, BBC 뉴스, 케임브리지 사전, 온라인 강의 사이트 코세라, 구글 맵, 구글 검색, AI 모델 공유 사이트 허깅페이스 등 실제로 사람들이 자주 쓰는 15개 웹사이트 643개 과제로 구성됐다.
특히 All Recipes라는 요리 레시피 사이트에서는 43.8%의 성공률을 보였고, BBC 뉴스에서는 61.6%, 구글 맵에서는 49.5%의 성공률을 달성했다. 이는 가상 훈련의 효과가 실제 인터넷 환경에서도 유효함을 보여준다. 다만 학술 논문 사이트 아카이브나 코드 공유 사이트 깃허브처럼 복잡한 장기 계획과 빠르게 변하는 페이지 구조가 필요한 곳에서는 아직 개선의 여지가 있다.
제대로 훈련된 시뮬레이터가 필수
연구진은 가상 웹 환경을 제대로 학습시키는 것이 얼마나 중요한지 확인하기 위해 추가 실험을 했다. 웹 탐색을 위해 특별히 훈련시킨 시뮬레이터 대신, 범용 AI 모델(GPT-oss-120b)을 그냥 프롬프트만 줘서 사용해봤다.
결과는 충격적이었다. 웹아레나에서 성공률이 31.0%에서 20.9%로 떨어졌고, 웹보이저에서는 35.4%에서 28.6%로 급락했다. 이는 아무리 똑똑한 범용 AI라도 웹 환경의 특성을 제대로 배우지 않으면 신뢰할 수 있는 가상 훈련장이 될 수 없다는 뜻이다.
이 결과는 다이나웹의 성능 향상이 단순히 더 큰 AI 모델을 쓰거나 영리한 질문 기법을 사용해서 나온 게 아니라, 웹사이트의 작동 방식을 명확히 학습한 전용 시뮬레이터 덕분임을 보여준다. 연구진은 이를 통해 복잡한 웹 환경에서 AI를 훈련시키려면 전문화된 가상 환경이 반드시 필요하다는 것을 입증했다.
FAQ (※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)
Q1. 다이나웹은 실제 인터넷 없이 어떻게 AI를 훈련하나요?
A. 다이나웹은 ‘웹 세계 모형’이라는 가상 시뮬레이터를 사용합니다. 이는 게임처럼 가짜 웹 환경을 만들어, AI가 여기서 수천 번 연습할 수 있게 해줍니다. 현재 웹페이지와 AI의 행동을 입력하면 다음 페이지를 예측해주는 방식이라 실제 인터넷 접속이 필요 없습니다.
Q2. 가상 환경 훈련이 실제 웹 훈련보다 왜 더 좋나요?
A. 실제 웹에서 AI를 훈련하면 실수로 물건을 사버리거나 계정을 잘못 바꾸는 등의 위험이 있고, 수만 번 연습하려면 비용이 엄청납니다. 가상 환경에서는 이런 위험 없이 안전하게 무제한 연습할 수 있어 비용과 위험을 크게 줄입니다.
Q3. 다이나웹은 어떤 웹사이트에서 잘 작동하나요?
A. 아마존, 구글 맵, 뉴스 사이트, 레딧, 쇼핑몰 등 일반적인 웹사이트에서 높은 성공률을 보였습니다. 다만 깃허브나 학술 논문 사이트처럼 매우 복잡하고 빠르게 변하는 페이지에서는 아직 개선이 필요합니다.
기사에 인용된 리포트 원문은 arXiv에서 확인 가능하다.
리포트명: DynaWeb: Model-Based Reinforcement Learning of Web Agents
이미지 출처: 이디오그램 생성
해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.
