오픈AI 엔지니어들이 소프트웨어 최적화만으로 AI 모델 운영 비용을 절반 이상 줄였다. IT 전문 매체 디인포메이션(The Information)이 보도했다. 새 하드웨어를 늘리지 않고, 이미 학습된 모델을 돌리는 방식만 바꿔 비용을 낮췄다.
여기서 줄인 것은 추론 비용이다. 추론은 이미 학습을 마친 모델을 실제로 돌려 답을 내놓는 과정을 말한다. 모델을 한 번 만든 뒤에도, 이용자가 쓸 때마다 이 추론 비용이 계속 든다. 오픈AI는 이 비용을 절반 넘게 절감했다.
효과는 챗GPT 무료 트래픽에서 두드러졌다. 로그인하지 않은 방문자 전체에 이 기법을 적용하자, 해당 구간을 처리하는 엔비디아 GPU가 수백 장 수준으로 줄었다. 구체적 방법은 공개되지 않았지만 몇 가지가 거론된다. 수치 정밀도를 낮추는 양자화, 이전 계산을 재활용하는 캐싱, 여러 요청을 한 번에 묶는 배치 처리, 간단한 작업을 더 가벼운 모델로 넘기는 분배 등이다. 양자화는 모델의 수치 정밀도를 낮춰 계산을 가볍게 하는 기법이다.
비용 절감은 수익성과 직결된다. 오픈AI의 API 사업 마진은 2026년 1분기 약 39%까지 회복했고, 연말 목표는 52%다. 추론 비용을 낮출수록 이 목표에 가까워진다. 앤트로픽도 비슷한 효율화 기법을 ‘컴퓨트 멀티플라이어’라고 부르는데, 다리오 아모데이는 모방을 어렵게 하려고 세부 내용을 공개하지 않는다. 모델 성능 경쟁이 한창인 가운데, 같은 성능을 더 싸게 돌리는 능력이 새로운 경쟁축으로 떠올랐다.
자세한 내용은 TechTimes에서 확인할 수 있다.
이미지 출처: 이디오그램 생성
