앤트로픽, 클로드 AI에 프롬프트 캐싱 기능 추가

앤트로픽(Anthropic)이 자사의 AI 챗봇 클로드(Claude)에 프롬프트 캐싱 기능을 도입했다. 개발자들은 이 기능을 통해 API 호출 사이에 자주 사용되는 컨텍스트를 캐시할 수 있게 됐다.

앤트로픽에 따르면 프롬프트 캐싱을 이용하면 클로드에 더 많은 배경 지식과 예시 출력을 제공할 수 있다. 또한 긴 프롬프트의 경우 비용을 최대 90%, 지연 시간을 최대 85%까지 줄일 수 있다고 밝혔다.

프롬프트 캐싱은 현재 클로드 3.5 소네트(Claude 3.5 Sonnet)와 클로드 3 하이쿠(Claude 3 Haiku)에서 공개 베타로 사용할 수 있으며, 클로드 3 오퍼스(Claude 3 Opus)에 대한 지원도 곧 추가될 예정이다.

앤트로픽은 프롬프트 캐싱이 다음과 같은 상황에서 효과적일 수 있다고 설명했다.

대화형 에이전트: 긴 지시사항이나 업로드된 문서가 포함된 장시간 대화에서 비용과 지연 시간을 줄일 수 있다.
코딩 어시스턴트: 코드베이스의 요약 버전을 프롬프트에 유지하여 자동 완성 및 코드베이스 Q&A를 개선할 수 있다.
대용량 문서 처리: 이미지를 포함한 완전한 장문 자료를 응답 지연 시간 증가 없이 프롬프트에 포함할 수 있다.
상세한 지시 세트: 광범위한 지시사항, 절차, 예시 목록을 공유하여 클로드의 응답을 미세 조정할 수 있다.
에이전트 검색 및 도구 사용: 여러 라운드의 도구 호출과 반복적인 변경이 필요한 시나리오에서 성능을 향상시킬 수 있다.
책, 논문, 문서, 팟캐스트 대본 및 기타 장문 콘텐츠와의 대화: 전체 문서를 프롬프트에 포함시켜 사용자가 질문할 수 있도록 할 수 있다.

앤트로픽은 초기 고객들이 다양한 사용 사례에서 프롬프트 캐싱을 통해 상당한 속도와 비용 개선을 경험했다고 전했다. 예를 들어, 10만 토큰의 캐시된 프롬프트를 사용한 ‘책과의 대화’ 사례에서는 지연 시간이 79% 감소하고 비용이 90% 절감됐다.

프롬프트 캐싱의 가격은 캐시하는 입력 토큰 수와 해당 콘텐츠의 사용 빈도에 따라 책정된다. 캐시에 쓰기는 해당 모델의 기본 입력 토큰 가격보다 25% 더 비싸지만, 캐시된 콘텐츠를 사용하는 것은 기본 입력 토큰 가격의 10%로 크게 저렴하다.

이번 프롬프트 캐싱 기능 추가로 앤트로픽은 AI 챗봇 시장에서의 경쟁력을 한층 강화할 것으로 보인다.

자세한 내용은 링크에서 확인할 수 있다.

관련 콘텐츠 더보기