클로드(Claude), 사람처럼 컴퓨터 사용 가능한 AI 모델 개발 성공

앤트로픽(Anthropic)이 인공지능 클로드(Claude)의 컴퓨터 사용 기능을 공개했다. 클로드 3.5 소넷(Claude 3.5 Sonnet) 최신 버전은 적절한 소프트웨어 설정을 통해 사용자 명령에 따라 커서를 움직이고 클릭하며, 가상 키보드로 정보를 입력할 수 있게 됐다.

현대 업무의 대부분이 컴퓨터를 통해 이루어진다. AI가 사람처럼 직접 컴퓨터 소프트웨어와 상호작용할 수 있게 되면서, 기존 AI 어시스턴트로는 불가능했던 광범위한 응용이 가능해졌다.

앤트로픽에 따르면 복잡한 논리적 추론 능력과 이미지 인식·이해 능력 등 AI 개발의 중요한 이정표들이 있었지만, 이제 AI가 특별한 도구 없이도 모든 소프트웨어를 사용할 수 있는 컴퓨터 사용이 다음 개척 영역이 됐다.

앤트로픽의 연구진은 도구 사용과 멀티모달리티(Multimodality) 관련 이전 연구를 기반으로 새로운 컴퓨터 사용 기능을 개발했다. 클로드는 화면에 보이는 것을 해석하고 커서를 정확한 위치로 이동시키기 위해 픽셀 수를 계산하는 능력을 갖추게 됐다.

현재 클로드는 컴퓨터를 사용자처럼 다루는 AI 모델 중 최고 수준을 보여주고 있다. OSWorld 평가에서 14.9%의 성능을 기록했는데, 이는 인간 수준(70-75%)에는 미치지 못하지만 동일 카테고리에서 차순위 AI 모델의 7.7%보다 훨씬 높은 수치다.

앤트로픽의 신뢰·안전(Trust & Safety) 팀은 새로운 컴퓨터 사용 모델의 잠재적 취약점을 광범위하게 분석했다. 특히 ‘프롬프트 인젝션(Prompt Injection)’이라는 사이버 공격에 대한 우려가 제기됐다. 이는 악의적인 지시가 AI 모델에 입력되어 기존 방향을 무시하거나 의도하지 않은 작업을 수행하게 만드는 공격이다.

또한 미국 선거를 앞두고 선거 과정에 대한 공공의 신뢰를 훼손할 수 있는 오용 시도에 대해 특별한 경계를 하고 있다. 앤트로픽은 소셜 미디어 콘텐츠 생성, 웹 도메인 등록, 정부 웹사이트 상호작용과 같은 활동을 제한하는 시스템을 구축했다.

현재 클로드의 컴퓨터 사용 능력은 여전히 느리고 오류가 발생하기 쉬우며, 드래그나 확대/축소 등 일상적인 컴퓨터 작업 중 일부는 아직 수행할 수 없다. 하지만 앤트로픽은 이러한 기능이 빠르게 개선되어 더 유용하고 안정적으로 발전할 것으로 전망했다.