Search

미토스 페이블 대신 끝까지 해내는 소넷이 왔다…앤트로픽 ‘클로드 소넷 5’ 공개

끝까지 해내는 소넷이 왔다…앤트로픽 '클로드 소넷 5' 공개
끝까지 해내는 소넷이 왔다…앤트로픽 '클로드 소넷 5' 공개

스스로 계획하고 브라우저·터미널을 부리는, 가장 에이전트다운 소넷. 상위 모델 클로드 오퍼스 4.8에 근접한 성능을 더 낮은 값에 담았다.

앤트로픽(Anthropic)이 6월 30일(현지시간) 새 모델 클로드 소넷 5(Claude Sonnet 5)를 공개했다. 지금까지 나온 소넷 시리즈 가운데 가장 에이전트형에 가까운 모델이다. 스스로 계획을 세우고 브라우저와 터미널 같은 도구를 써서 자율적으로 작업을 수행한다. 앤트로픽은 “몇 달 전만 해도 더 크고 비싼 모델이 필요했던 수준의 자율 실행을 소넷 급에서 해낸다”고 설명했다.

에이전트 시대를 연 소넷, 다시 선두로

많은 개발자에게 에이전트 AI 시대는 소넷 급 모델과 함께 시작됐다. 클로드 소넷 3.5·3.6·3.7이 코딩과 도구 사용에서 처음으로 강한 실력을 선보인 모델이었다. 다만 최근의 눈에 띄는 성능 향상은 상위 오퍼스 급에서 나왔다. 소넷 5는 그 격차를 좁혔다. 성능은 클로드 오퍼스 4.8에 가깝고 가격은 더 낮다.

전작 클로드 소넷 4.6과 비교하면 추론, 도구 사용, 코딩, 지식 업무 등 에이전트 성능의 핵심 영역에서 확연히 개선됐다.

소넷 5를 소넷 4.6·오퍼스 4.8과 비교한 벤치마크 점수. (이미지: 앤트로픽)
소넷 5를 소넷 4.6·오퍼스 4.8과 비교한 벤치마크 점수. (이미지: 앤트로픽)

끝까지 해내고, 스스로 검증한다

가장 두드러진 변화는 복잡한 작업을 끝까지 완수하는 힘이다. 얼리 액세스 파트너들에 따르면, 이전 소넷이 중간에 멈추던 작업을 소넷 5는 끝까지 처리했다. 별도 요청이 없어도 스스로 결과물을 검증했다. 앤트로픽이 공개한 파트너 후기 10건의 반응은 한결같았다.

클로드 소넷 5는 여러 단계에 걸친 소프트웨어 엔지니어링 작업에서 강력한 실행 계층이 돼 준다. 지저분한 기술 맥락에서도 지속적인 코딩·도구 사용·디버깅을 잘 처리한다.

— Zimu Li · Member of Technical Staff

클로드 소넷 5에 ‘세일즈포스 계정 등급을 갱신하고, 기업 연락처에 출시 공지를 보내라’는 두 갈래 작업을 맡겼더니 끝까지 완수했다. 예전엔 중간에 멈추던 일이다. 일상 자동화에는 두말할 것 없다.

— Daniel Shepard · Senior Engineer

클로드 소넷 5는 더 적은 단계로 더 많은 일을 해낸다. 같은 품질의 결과를 더 짧게 낸다. 안전하지 않은 요청은 깔끔하고 일관되게 거부한다. 안 된다고 말할 줄 아는 모델은 만들 줄 아는 모델만큼 중요하다.

— Fabian Hedin · Lovable 공동창업자

버그를 조사해 달라고 했더니, 시키지도 않았는데 재현 테스트를 짜고 수정을 적용한 뒤, 변경을 잠시 되돌려 버그가 다시 나타나는지까지 확인했다. 한 번에 다 해냈다.

— Neel Chotai · Rust·Software Engineer

가장 까다로운 실제 풀 리퀘스트 수십 건을 돌렸더니, 소넷 5가 각각을 테스트·검증된 결과까지 스스로 끌고 갔다. 덕분에 엔지니어는 판단과 최종 승인에 집중할 수 있었다.

— Yusuke Kaji · GM, AI for Business

클로드 소넷 5는 이브의 원고 측 법률 업무에서 파레토 최적점에 있다. 법률 리서치와 분석에서 가장 뚜렷한 개선을 봤고, 가격 대비 성능이 좋아 이전을 쉽게 결정했다.

— Mauricio Wulfovich · Eve, Staff ML Engineer

비용 대비 성능, 그리고 ‘노력’ 조절

앤트로픽은 에이전트 검색 평가 BrowseComp와 컴퓨터 사용 평가 OSWorld-Verified에서 ‘노력(effort)’ 수준을 달리하며 소넷 5, 소넷 4.6, 오퍼스 4.8을 비교했다. 소넷 5는 소넷 4.6을 전 구간에서 앞섰다. 오퍼스 4.8보다 훨씬 넓은 비용·성능 선택지를 제공한다. 중간 노력에서 비용 효율이 크게 좋아졌고, 높은 노력에서는 일부 작업에서 오퍼스 4.8과 맞먹었다.

에이전트 검색(BrowseComp)에서 노력 수준별 비용·성능 곡선. 소넷 5(주황)가 소넷 4.6(회색)을 앞서고, 일부 구간에서 오퍼스 4.8(노랑)과 맞먹는다. (이미지: 앤트로픽)
에이전트 검색(BrowseComp)에서 노력 수준별 비용·성능 곡선. 소넷 5(주황)가 소넷 4.6(회색)을 앞서고, 일부 구간에서 오퍼스 4.8(노랑)과 맞먹는다. (이미지: 앤트로픽)
에이전트 컴퓨터 사용(OSWorld-Verified)에서 노력 수준별 비용·성능 곡선. (이미지: 앤트로픽)
에이전트 컴퓨터 사용(OSWorld-Verified)에서 노력 수준별 비용·성능 곡선. (이미지: 앤트로픽)

사용자는 소넷 5와 오퍼스 4.8 사이에서 노력 수준을 조절해 비용과 성능의 균형점을 잡을 수 있다.

안전성 — 거부·인젝션 저항 강화, 사이버 능력은 낮게

배포 전 안전성 평가에서 소넷 5는 소넷 4.6보다 전반적으로 개선됐다. 악의적 요청 거부와 프롬프트 인젝션(prompt injection) 공격 저항이 좋아졌다. 환각(hallucination)과 아첨(sycophancy) 비율도 낮아졌다.

오용 협조·기만 등 다양한 부정 행동을 측정하는 자동 행동 감사에서 소넷 5는 소넷 4.6보다 낮은, 즉 더 안전한 점수를 냈다. 다만 더 강력한 오퍼스 4.8과 클로드 미토스 프리뷰보다는 부정 행동 비율이 다소 높았다.

자동 행동 감사에서 측정한 오정렬 행동 비율. 소넷 5는 소넷 4.6보다 낮고, 미토스 프리뷰·오퍼스 4.8보다는 다소 높다. (이미지: 앤트로픽)
자동 행동 감사에서 측정한 오정렬 행동 비율. 소넷 5는 소넷 4.6보다 낮고, 미토스 프리뷰·오퍼스 4.8보다는 다소 높다. (이미지: 앤트로픽)

사이버 보안 능력은 의도적으로 훈련하지 않았다. 소프트웨어 취약점 익스플로잇 개발 같은 위험한 작업에서는 오퍼스 4.8이나 미토스 5보다 크게 뒤졌다. 모질라(Mozilla)와 함께 만든 파이어폭스(Firefox) 147 취약점 익스플로잇 평가에서 소넷 5는 완전한 익스플로잇을 만들지 못했다. 소넷 4.6과 함께 0.0%였다. 부분 성공률만 소넷 4.6보다 약간 높았는데, 이는 특정 훈련이 아니라 일반 지능 향상 때문으로 보인다. 해당 취약점은 모두 파이어폭스 148에서 패치됐다.

모질라와 함께 만든 파이어폭스 147 취약점 익스플로잇 개발 평가 점수. 두 소넷 모두 완전한 익스플로잇 개발에 성공하지 못했다(0.0%). (이미지: 앤트로픽)
모질라와 함께 만든 파이어폭스 147 취약점 익스플로잇 개발 평가 점수. 두 소넷 모두 완전한 익스플로잇 개발에 성공하지 못했다(0.0%). (이미지: 앤트로픽)

소넷 5가 전작보다 조금 강해진 만큼, 앤트로픽은 실시간으로 위험한 사이버 사용을 탐지·차단하는 사이버 세이프가드를 기본으로 켜서 출시했다. 클로드 오퍼스 4.7·4.8과 같은 수준이며, 페이블 5보다는 완화된 강도다.

제공 방식과 가격

클로드 소넷 5는 오늘부터 모든 플랜에서 쓸 수 있다. 무료·프로 플랜의 기본 모델이며 맥스(Max)·팀(Team)·엔터프라이즈(Enterprise)에서도 이용할 수 있다. 클로드 코드와 클로드 플랫폼에도 올라간다.

도입가는 8월 31일까지 100만 입력 토큰당 2달러, 100만 출력 토큰당 10달러다. 이후 표준가는 각각 3달러, 15달러가 된다. 참고로 오퍼스 4.8은 100만 토큰당 입력 5달러, 출력 25달러다.

소넷 5는 토크나이저가 바뀌어 같은 입력이 토큰으로 약 1.0~1.35배 더 많이 매핑될 수 있다. 도입가는 소넷 4.6에서 소넷 5로 옮겨도 비용이 대체로 중립이 되도록 책정됐다. 앤트로픽은 높은 노력 수준의 토큰 사용을 감안해 챗·코워크·클로드 코드·클로드 플랫폼의 사용 한도를 올렸다. 개발자는 Claude API에서 claude-sonnet-5로 호출한다.

소넷 5의 전체 평가 결과는 클로드 소넷 5 시스템 카드에 실려 있다. 무료·프로 기본 모델인 만큼 오늘부터 한국을 포함한 전 세계 사용자가 별도 설정 없이 소넷 5를 쓰게 된다.

자세한 내용은 앤트로픽 공식 블로그에서 확인할 수 있다.

이미지 출처: 앤트로픽