[AI 활용팁] 클로드 소넷 5.5 추론 강도 설정하기…작업 중단·과잉 작업 막는 공식 가이드

앤트로픽, 클로드 소넷 5.5 공개…가격은 그대로, 터미널 코딩 점수 10.3%에서 70.6%로
앤트로픽, 클로드 소넷 5.5 공개…가격은 그대로, 터미널 코딩 점수 10.3%에서 70.6%로

앤트로픽이 9월 28일 공개한 클로드 소넷 5.5는 버그 수정과 문서, 슬라이드, 스프레드시트 작성처럼 범위가 정해진 일상 업무에 맞춰진 모델이다. 앤트로픽은 출시와 함께 소넷 5.5 전용 프롬프트 가이드를 공개했다. 가이드에는 추론 강도를 낮췄을 때 작업을 끝내기 전에 멈추는 문제와, 요청하지 않은 테스트나 문서를 추가하는 문제를 줄이는 시스템 프롬프트 문구가 들어 있다. 앤트로픽은 길고 어려운 작업에는 오퍼스 모델을 쓰라고 안내한다.

1. 요금과 이용 경로

소넷 5.5의 API 가격은 입력 100만 토큰당 2달러, 출력 10달러로 소넷 5와 같다. 오퍼스 5.5는 입력 4달러, 출력 20달러다. 앤트로픽은 소넷 5.5가 소넷 5보다 30% 이상 빠르고, 작업당 비용은 최대 30% 낮다고 밝혔다. 맥락창은 100만 토큰, 최대 출력은 12만 8,000토큰이다. 맥락창은 모델이 한 번에 참고하는 텍스트 양을 말한다.

클로드 앱과 클로드 코드, 클로드 API, 아마존 베드록, 구글 클라우드, 마이크로소프트 파운드리에서 쓸 수 있다. API 모델 ID는 아래와 같다.

claude-sonnet-5-5

 

2. 추론 강도 기본값과 권장값

추론 강도는 모델이 답하기 전에 얼마나 길게 생각할지 정하는 설정이다. 소넷 5.5는 low, medium, high, xhigh, max 가운데 하나를 고를 수 있다. 앤트로픽은 소넷 5.5의 추론 강도 단계가 새로 조정돼, 소넷 5에서 쓰던 값을 그대로 옮기지 말고 다시 시험해 보라고 안내한다.

기본값은 사용하는 곳에 따라 다르다. 클로드 앱과 클로드 코드는 medium, 클로드 API는 high가 기본값이다.

작업권장 추론 강도
일반 채팅medium 또는 low
조건이 명확한 코딩 에이전트 작업medium
어렵거나 오래 걸리는 코딩 작업high
API 기본 출발점high

시스템 프롬프트에 “덜 생각하라”고 적어도 추론량은 크게 줄지 않는다. 응답 시간과 비용을 줄이려면 추론 강도 설정을 낮추는 편이 낫다. 코딩 에이전트 작업에는 최대 출력 토큰을 128,000으로 설정하고 스트리밍으로 응답을 받으라고 가이드는 권장한다.

3. 작업 도중 멈추는 문제를 줄이는 문구

추론 강도를 low나 medium으로 낮추면 소넷 5.5가 코딩 작업을 끝내기 전에 이용자에게 확인을 요청하며 멈추는 경우가 있다. 가이드는 아래 문구를 시스템 프롬프트에 넣으라고 권한다. 이용자가 요청한 작업을 모두 마칠 때까지 계속하고, 이용자 없이 진행할 수 없거나 위험한 단계 직전에만 멈추라는 뜻이다.

Keep working until everything the user asked for is done, and only stop to ask when you can't go on without the user or before a risky step.

 

4. 요청하지 않은 테스트와 문서 추가를 막는 문구

소넷 5.5는 추론 강도와 관계없이 테스트나 문서, 보조 파일을 요청 없이 추가하는 경향이 있다. 가이드는 작업을 마치고 확인했으면 멈추고 보고하도록 하는 문구를 제시한다. 요청하지 않은 기능과 테스트, 파일, 문서, 리팩터링을 추가하지 말라는 내용이다.

When the work the user asked for is done and checked, stop and report. Don't add features, tests, files, docs or refactors that weren't asked for.

xhigh와 max에서는 모델이 스스로 검토를 여러 차례 돌리거나 검토용 서브에이전트를 실행하기도 한다. 서브에이전트는 주 에이전트가 작업을 나눠 맡기는 보조 에이전트다. 앤트로픽 시험에서는 이런 추가 검토를 하지 말라는 문구를 넣자 품질 변화 없이 세션 비용이 약 3분의 1 줄었다.

아이디어나 계획만 물었는데 바로 만들기 시작하는 경우에는 아래 문구를 쓴다. 아이디어나 선택지, 계획을 요청받으면 그것만 제시하고 멈추라는 뜻이다.

When the user asks for ideas, options or a plan, give them that and stop.

 

5. 추론 없이 답하는 JSON 작업 설정

결과를 JSON 형식으로 받는 작업에서는 추론 강도가 낮으면 모델이 생각하지 않고 바로 답하는 경우가 있다. JSON은 프로그램이 읽기 쉽게 정리한 데이터 형식이다. 가이드에 따르면 아래 문구를 추가하면 high에서도 xhigh에 가까운 정확도를 얻을 수 있다.

Think the problem through before you answer.

응답에서는 마지막 JSON 값을 읽고, 응답이 최대 토큰 한도에서 끊긴 경우는 실패로 처리하라고 가이드는 안내한다.

6. 검색 대신 기억으로 답하는 문제

소넷 5.5는 검색 도구가 있어도 학습한 지식으로 바로 답하는 경우가 있다. 시스템 프롬프트에 “도구 호출을 최소화하라” 같은 문구가 있으면 먼저 지운다. 그다음 규정이나 요금처럼 학습 이후 바뀌었을 수 있는 내용은 확신이 있어도 검색으로 확인하라는 문구를 넣는다.

Use the search tool to check specifics that may have changed since your training, such as what is allowed, required or charged, even when you feel confident.

차트나 기술 도면처럼 정보가 빽빽한 이미지를 읽힐 때는 이미지를 자르거나 확대하는 도구를 함께 제공하는 편이 낫다. 앤트로픽 시험에서는 도구를 준 high 설정이 도구 없이 max로 설정했을 때보다 차트를 정확하게 읽었다.

7. API 사용 시 바뀐 설정

API로 소넷 5를 쓰던 개발자는 아래 변경 사항을 확인해 보자. 해당 설정을 그대로 보내면 오류가 반환된다.

  • 추론을 끄는 disabled 값은 쓸 수 없다. 도구 호출 사이에서만 추론하는 between_tools 값으로 바꾸며, 이 값은 low·medium·high에서만 사용할 수 있다.
  • 특정 도구 사용을 강제하는 tool_choice 설정(any, tool)은 지원하지 않는다. auto와 strict: true를 함께 쓰거나 구조화된 출력을 사용한다.
  • temperature, top_p, top_k를 기본값이 아닌 값으로 보내면 오류가 반환된다.
  • 이전 대화 기록을 수정해 다시 보내면 오류가 날 수 있어, 대화는 기존 기록 뒤에 새 메시지를 추가하는 방식으로만 관리하는 편이 낫다.

추론을 끄던 설정은 아래처럼 바꾼다.

thinking: {"type": "between_tools"}

답변 안에 추론 과정을 그대로 적어 달라고 요청하면 거절될 수 있다. 추론 요약이 필요하면 요약 표시 설정을 사용한다.

display: "summarized"

소넷 5에서 쓰던 추론 강도와 프롬프트를 그대로 옮기지 말고, medium부터 시험해 결과를 비교해 보자.

자세한 내용은 앤트로픽 소넷 5.5 프롬프트 가이드에서 확인할 수 있다.

이미지 출처: 앤트로픽