앤트로픽, 대량 쿼리 처리 위한 ‘메시지 배치 API’ 출시

앤트로픽(Anthropic)이 대량의 쿼리를 비동기적으로 처리할 수 있는 새로운 ‘메시지 배치 API(Message Batches API)’를 도입했다. 이는 개발자들에게 강력하고 비용 효율적인 솔루션을 제공할 것으로 기대된다.

이 새로운 API를 통해 개발자들은 배치당 최대 1만 개의 쿼리를 전송할 수 있다. 각 배치는 24시간 이내에 처리되며, 표준 API 호출보다 50% 저렴한 비용으로 이용 가능하다. 이는 시간에 민감하지 않은 작업을 더욱 효율적이고 경제적으로 처리할 수 있게 해준다.

앤트로픽의 메시지 배치 API는 현재 공개 베타 버전으로 제공되며, 앤트로픽 API에서 클로드 3.5 소넷(Claude 3.5 Sonnet), 클로드 3 오퍼스(Claude 3 Opus), 클로드 3 하이쿠(Claude 3 Haiku)를 지원한다. 아마존 베드록(Amazon Bedrock) 사용자들은 배치 추론을 이용할 수 있으며, 구글 클라우드(Google Cloud)의 버텍스 AI(Vertex AI)에서의 클로드 배치 처리 지원도 곧 제공될 예정이다.

앤트로픽의 새로운 메시지 배치 API는 향상된 처리량을 통해 개발자들의 작업 효율성을 크게 높였다. 이제 개발자들은 복잡한 대기열 시스템 관리나 속도 제한에 대한 걱정 없이 최대 1만 개의 쿼리 그룹을 한 번에 제출할 수 있게 되었다. 앤트로픽은 이를 50% 할인된 가격으로 처리하며, 표준 API 속도 제한에 영향을 주지 않고도 훨씬 더 큰 요청 볼륨을 처리할 수 있는 높은 속도 제한을 제공한다. 또한 빅데이터 확장성 측면에서 큰 진전을 이루었다. 이 API를 통해 대규모 데이터셋 분석, 분류, 광범위한 모델 평가와 같은 대규모 작업을 인프라 문제 없이 처리할 수 있게 되었다. 이는 기존에 실용적이지 않거나 비용이 많이 들어 시도하기 어려웠던 대규모 데이터 처리 작업에 새로운 가능성을 열어주었다. 결과적으로, 기업들은 더 효율적이고 경제적으로 대규모 데이터를 활용할 수 있게 되어 AI 기반 분석과 의사결정 과정을 크게 개선할 수 있게 되었다.

메시지 배치 API는 인프라 비용 절감을 활용할 수 있게 해주며, 입력 및 출력 토큰 모두에 대해 50% 할인된 가격으로 제공된다. 클로드 3.5 소넷, 클로드 3 오퍼스, 클로드 3 하이쿠 각각에 대한 배치 입력 및 출력 가격이 상세히 제시되어 있다.

질문-답변 플랫폼인 쿼라는 앤트로픽의 메시지 배치 API를 활용하여 요약 및 하이라이트 추출 기능을 구현, 새로운 최종 사용자 기능을 만들어냈다.

쿼라의 제품 관리자 앤디 에드먼즈(Andy Edmonds)는 “앤트로픽의 배치 API는 비용 절감을 제공할 뿐만 아니라 실시간으로 처리할 필요가 없는 대량의 쿼리 실행 복잡성을 줄여줍니다.”라고 말했다. 그는 또한 “24시간 이내에 배치를 제출하고 결과를 다운로드 받을 수 있어 매우 편리합니다. 이는 우리 엔지니어들이 더 흥미로운 문제에 집중할 수 있는 시간을 확보해줍니다.”라고 덧붙였다.

앤트로픽의 이번 메시지 배치 API 출시는 대규모 데이터 처리 분야에 새로운 혁신을 가져올 것으로 기대된다. 개발자들과 기업들은 이를 통해 더욱 효율적이고 경제적인 AI 기반 데이터 분석과 처리가 가능해질 전망이다.

메세지 배치 API에 대한 앤트로픽 소식은 링크에서 확인할 수 있다.