[AI 트렌드] GPT-6 아스트라 vs 클로드 페이블 5.1, 성능표만 보면 놓치는 차이

이 기사, AI에게 물어보기

앤트로픽(Anthropic)이 9월 1일 클로드 페이블 5.1(Claude Fable 5.1)을 공개하자, 이틀 뒤인 9월 3일 오픈AI(OpenAI)가 GPT-6 아스트라(Astra)를 내놨다. 불과 이틀 간격으로 나왔지만 두 모델이 겨냥한 일은 서로 다르다.

아스트라는 방법을 알려주는 대신 컴퓨터에서 프로그램을 직접 열고 조작하는 모델이다. 사람 대신 마우스와 키보드를 잡는 셈이다. 엑셀(Excel)을 다루고, 파워 BI(Power BI)에서 데이터를 정리하고, 회로 기판을 설계하고, 세금 서류를 채우는 데모가 함께 공개됐다.

페이블 5.1은 정반대다. 어려운 문제 하나를 며칠씩 붙잡는 모델이다. 터미널에서 과학 연구 작업을 끝까지 수행하는 평가에서 이전 버전의 두 배가 넘는 점수를 기록했다. 여러 단계를 스스로 이어 결과까지 끌고 가는 작업을 노렸다.

성능 비교는 해석에 주의가 필요하다. 오픈AI 발표문의 비교표를 보면 두 모델을 함께 측정한 13개 항목 중 11개에서 아스트라가 앞섰다. 다만 어떤 시험을 볼지, 상대 점수를 어디서 가져올지 모두 오픈AI가 정했다. 아스트라의 간판인 컴퓨터 조작 항목은 페이블을 아예 측정하지 않았고, 같은 표에 실린 다른 기관 점수에서는 아스트라 61.2, 페이블 65.7로 순위가 뒤집혔다.

더 큰 문제는 따로 있다. AI가 처음 보는 환경을 얼마나 빨리 파악하는지 측정하는 평가 기관 ARC 프라이즈(ARC Prize)가 아스트라를 두 번 측정했다. 모두가 쓰는 공용 실행 환경에서는 62.71%, 오픈AI가 따로 제공한 실행 환경에서는 99.95%가 나왔다. 추론 강도를 똑같이 최대로 맞춰도 62.71% 대 98.55%다. 모델도 문제도 같고, 바뀐 건 모델을 돌리는 껍데기뿐이다. 오픈AI 쪽 환경은 요청 사이에 모델이 생각한 내용을 그대로 가져가 앞선 작업을 다시 쓴다. ARC 프라이즈는 회사마다 다른 껍데기를 쓰면 같은 조건의 비교라고 할 수 없다며 공용 환경 결과를 기준으로 삼는다.

독립 평가 기관 아티피셜 애널리시스(Artificial Analysis)가 같은 조건으로 돌린 결과, 9월 10일 기준 종합 지능 지수는 두 모델 모두 53점이다. 세부 항목은 갈렸다. 과학 코드 작성 평가에서는 페이블이 63%로 아스트라(56%)를 앞섰고, 터미널 작업 완수 평가에서는 아스트라가 59%로 페이블(52%)보다 높았다.

사용자 반응도 엇갈린다. 공식 자료는 아니지만, 아스트라의 컴퓨터 조작 성공률 72.6%는 네 번에 한 번은 작업을 끝내지 못한다는 뜻이다. 사진으로 3D 공간을 만들 때 원본에 없는 요소를 지어냈다는 보고도 나왔다. 페이블에는 말이 너무 길다는 불만이 가장 많았다. 1,000단어를 요청했더니 1,288단어가 나왔다는 리뷰도 있다.

실제 결과물에서도 성격 차이가 드러난다. 아스트라는 블렌더(Blender)로 만든 집을 언리얼 엔진(Unreal Engine)에서 걸어 다니며 둘러보고, 바로 플레이할 수 있는 레이싱 게임까지 만들었다. 힉스필드(Higgsfield)는 아스트라용 MCP를 공개했다. MCP는 AI가 외부 프로그램의 기능을 직접 불러 쓰도록 연결하는 방식으로, 챗GPT 데스크톱 앱에 설치하면 아스트라가 대화창 안에서 힉스필드의 영상과 3D 도구를 실행한다. 1,025개 부품으로 만든 카메라 모델, 자동차 추격 게임, 영상 색보정 결과물이 올라와 있다.

페이블은 끈기로 성과를 냈다. 헤지펀드 밀레니엄(Millennium)은 팀 전체가 4~5년 동안 원인을 찾지 못한, 100만 번에 한 번 날까 말까 한 오류를 페이블이 찾아냈다고 밝혔다. 데이터베이스 기업 몽고DB(MongoDB)에서는 페이블이 서비스 코드와 문서를 뒤져 새 설계를 만들고, 사람 없이 밤새 스스로 검증을 돌리며 사흘 만에 프로토타입을 완성했다.

한 사용자가 같은 사진과 프롬프트로 두 모델에 캔바(Canva) 작업을 맡기자, 아스트라는 도형 수백 개를 쌓아 사진 속 인물을 거의 그대로 재현했고 페이블은 깔끔하지만 평범한 삽화를 내놨다. 다만 개인이 한 번 돌려본 결과다. 응답 속도는 페이블이 초당 67토큰으로 아스트라(54토큰)보다 빠르다.

기본 단가는 입력 100만 토큰당 10달러, 출력 50달러로 같다. 차이는 캐시에서 난다. 저장한 내용을 다시 읽는 비용이 아스트라는 100만 토큰당 1달러, 페이블은 25센트다. 그런데 같은 평가를 끝까지 돌린 총비용은 아스트라 5,324달러, 페이블 1만 3,129달러로 역전됐다. 단가가 아니라 토큰 사용량이 총비용을 갈랐다. 아스트라는 입력이 27만 2천 토큰을 넘으면 요청 전체에 더 비싼 단가가 붙지만, 페이블은 100만 토큰까지 기본 단가를 유지한다.

구독 이용자라면 한도부터 확인해야 한다. 아스트라는 5시간당 플러스(Plus) 5~45회, 프로(Pro) 25~225회로 정해진 횟수가 아니다. 페이블은 프로 요금제 한도에 포함되지 않아 크레딧을 따로 사야 한다. 맥스(Max)는 주간 한도의 절반까지 페이블에 쓸 수 있지만 다른 모델과 한도를 나눠 쓴다.

여러 프로그램을 오가며 눈에 보이는 결과물을 만드는 일에는 아스트라가, 하나의 문제를 오래 파고드는 일에는 페이블이 낫다. 다만 두 모델 모두 출시 일주일 남짓이라 지금까지 나온 사례와 점수만 놓고 본 판단이다. 실행 환경만 바꿔도 점수가 36점 가까이 움직인 만큼, 발표 자료 속 큰 숫자는 출처부터 확인해 볼 필요가 있다.

📌자세한 내용은 AI 매터스 유튜브에서 확인할 수 있다.

영상 스크립트

99.9%와 62.7%
같은 모델이 같은 시험을 본 결과입니다
안녕하세요. AI 매터스, 매터냥입니다.

GPT-6 Astra와 Claude Fable 5.1이 무엇이고, 뭘 할 수 있고, 얼마인지 한 번에 정리하겠습니다
9월 1일, 앤트로픽이 Claude Fable 5.1을 공개했습니다

그리고 이틀 뒤인 9월 3일, 오픈AI가 GPT-6 Astra를 공개했고요
Astra는 방법을 알려주는 게 아니라, 컴퓨터에서 프로그램을 직접 열어 조작하는 모델인데요
마우스와 키보드를 대신 잡는다고 보시면 됩니다
Excel을 다루고, Power BI에서 데이터를 정리하고, 회로 기판을 설계하고 세금 서류를 채우는 데모가 함께 공개됐습니다

Fable 5.1은 정반대입니다
하나의 어려운 문제를 며칠씩 붙잡는 모델인데요
터미널에서 과학 연구 작업을 끝까지 해내는 평가에서 이전 버전의 두 배가 넘는 점수가 나왔습니다
한 번에 끝나는 일이 아니라, 여러 단계를 스스로 이어붙여 결과까지 끌고 가는 일을 노린 겁니다

이틀 차이로 나왔지만, 잘하라고 만든 게 서로 다릅니다
그럼 성능은 어떨까요

오픈AI 발표문에 두 모델을 나란히 놓은 표가 있습니다
두 모델을 같이 잰 칸이 13개인데, 그중 11개를 Astra가 가져갔습니다
다만 이건 오픈AI가 만든 표입니다
어떤 시험을 볼지도, 상대 점수를 어디서 가져올지도 오픈AI가 정했고요
정작 Astra의 간판인 컴퓨터 조작 항목은 Fable을 아예 재지도 않았습니다
같은 표에 실린 다른 기관 점수에서는 Astra 61.2에 Fable이 65.7로 뒤집히고요

그런데 더 큰 문제가 따로 있습니다
ARC Prize라는 평가 기관이 있습니다
AI가 처음 보는 환경을 얼마나 빨리 알아채는지 재는 곳인데요
이곳이 GPT-6 Astra를 두 번 측정했습니다

모두가 쓰는 공용 실행 환경에서는 62.71%
오픈AI가 따로 제공한 실행 환경에서는 99.95%가 나왔습니다
추론 강도를 똑같이 최대로 맞춰 비교해도 62.71% 대 98.55%입니다
모델은 같습니다
문제도 같고요
바뀐 건 모델을 돌리는 껍데기뿐입니다
오픈AI 쪽 환경은 요청 사이에 모델이 생각한 내용을 그대로 들고 가서, 앞에서 한 작업을 다시 씁니다

ARC Prize는 공용 환경 쪽을 기준으로 봅니다
회사마다 다른 껍데기를 쓰면 같은 조건에서 비교했다고 할 수 없으니까요
아무 편도 아닌 곳에서 재면 결과가 달라집니다
Artificial Analysis라는 독립 평가 기관이 두 모델을 같은 조건으로 돌립니다
9월 10일 기준으로 종합 지능 지수가 53점으로 같지만, 항목을 열어보면 갈립니다
과학 코드를 짜는 평가에서는 Fable이 63%로 Astra의 56%보다 높고요
터미널에서 작업을 끝내는 평가에서는 Astra가 59%로 Fable의 52%보다 높습니다
써본 사람들 얘기도 갈립니다

여기부터는 공식 자료가 아닌데요
Astra의 컴퓨터 조작 72.6%는 뒤집으면 네 번에 한 번은 못 끝낸다는 뜻이고요
사진을 보고 3D 공간을 만들 때 원본에 없는 걸 지어냈다는 보고도 올라왔고요

Fable 쪽에서 가장 많이 나온 불만은 말이 너무 길다는 겁니다
1,000단어를 요청했더니 1,288단어가 나왔다는 리뷰도 있습니다
점수는 붙었지만, 실제로 쓰면 각자 막히는 데가 따로 있습니다

이제 실제로 만든 것들을 보겠습니다
Astra부터입니다
Blender로 만든 집을 Unreal Engine에서 걸어 다니며 둘러보고, 바로 플레이할 수 있는 레이싱 게임까지 만들었고요
영상이나 3D 작업을 하신다면 힉스필드 쪽을 보셔야 합니다
Astra용 MCP를 공개했거든요

MCP는 AI가 외부 프로그램의 기능을 직접 불러 쓰게 연결해 주는 방식입니다
챗GPT 데스크톱 앱에 설치하면 Astra가 대화창 안에서 힉스필드의 영상과 3D 도구를 그대로 실행하는데요
1,025개 부품으로 만든 카메라 모델, 자동차 추격 게임, 영상 색보정까지 올라와 있습니다

Fable 쪽은 결이 다릅니다
헤지펀드 Millennium은 4~5년 동안 아무도 원인을 못 찾던 오류를 Fable이 찾아냈다고 밝혔습니다
100만 번에 한 번 날까 말까 한 아주 드문 오류였고요
팀 전체가 몇 년을 들여다보고도 설명하지 못한 걸 끝낸 겁니다

데이터베이스 회사 MongoDB는 서비스 코드와 문서를 뒤져 새 설계를 만들고, 스스로 검증을 돌리며 사흘 만에 프로토타입을 완성했습니다
사람이 붙어 있지 않은 상태에서 밤새 작업을 이어갔고요
둘 다 사람이 오래 붙잡고도 못 풀던 문제였습니다

정리하면 강점이 이렇게 갈립니다
여러 프로그램을 오가며 눈에 보이는 결과물을 만들어야 한다면 Astra입니다
3D와 영상, 문서 작업처럼 손이 많이 가는 쪽이고요

하나의 문제를 며칠씩 파고들어야 한다면 Fable입니다
오래 묵은 오류나 사람 없이 밤새 도는 작업처럼 끈기가 필요한 쪽입니다

한 사용자가 같은 사진, 같은 프롬프트로 두 모델에 Canva를 맡겨 봤는데요
Astra는 도형을 수백 개 쌓아 올려 사진 속 인물을 거의 그대로 재현했고, Fable은 깔끔하지만 평범한 삽화를 내놨습니다
디자인 툴을 손으로 만지듯 조작하는 작업에서는 Astra 쪽이 확실히 앞섰습니다
다만 개인이 한 번 돌려본 결과입니다

반대로 남이 짜 둔 코드를 뜯어보며 원인을 찾거나, 긴 자료를 통째로 넣고 오래 물고 늘어져야 하는 일은 Fable 쪽입니다
답변이 나오는 속도는 Fable이 초당 67토큰으로 Astra의 54토큰보다 빠릅니다
다만 이건 지금까지 나온 사례와 점수만 놓고 본 겁니다
두 모델 다 나온 지 일주일 남짓입니다

마지막으로 가격입니다
기본 단가는 두 모델이 같습니다
입력 100만 토큰당 10달러, 출력 50달러고요

차이는 캐시에서 납니다
저장해 둔 내용을 다시 읽는 비용이 Astra는 100만 토큰당 1달러, Fable은 25센트입니다
단가만 보면 Fable이 4분의 1이죠

그런데 같은 평가를 끝까지 돌리는 데 든 돈은 반대로 나왔습니다
Astra가 5,324달러, Fable이 1만 3,129달러입니다
총비용을 가른 건 단가가 아니라 토큰을 얼마나 쓰느냐였습니다.

긴 자료를 넣을 때도 조건이 다릅니다
Astra는 입력이 27만 2천 토큰을 넘으면 넘은 만큼만이 아니라 요청 전체에 더 비싼 단가가 붙고요
Fable은 100만 토큰까지 기본 단가를 유지합니다

구독으로 쓰실 분은 한도를 보셔야 합니다
Astra는 5시간당 Plus가 5회에서 45회, Pro가 25회에서 225회인데, 정해진 횟수는 아닙니다

Fable은 Pro 요금제 한도에 아예 포함되지 않습니다
크레딧을 따로 사야 하고요
Max는 주간 한도의 절반까지 Fable에 쓸 수 있는데, 다른 모델과 같은 한도를 나눠 씁니다

정리하겠습니다
발표 자료에서 큰 숫자를 보시면, 그게 어디서 나온 숫자인지 한번 확인해 보세요.
껍데기만 바꿔도 36점 가까이 움직였습니다

여러 프로그램을 오가는 작업은 Astra, 하나를 오래 붙잡는 작업은 Fable이 낫습니다
구독으로 쓰실 거면 성능보다 한도를 먼저 보셔야 합니다

여러분은 어느 쪽이 더 필요하신가요? 댓글로 남겨주세요
오늘 소개한 공식 자료와 영상 출처는 설명란에 정리해 두겠습니다
좋아요와 구독, 알림 설정, 하이프까지 눌러주시면 감사하겠습니다!