추론 비용
오픈AI, 소프트웨어로 추론 비용 절반 절감…챗GPT 무료 트래픽 GPU 수백 장 만으로 처리한다
오픈AI 엔지니어들이 소프트웨어 최적화만으로 AI 모델 운영 비용을 절반 이상 줄였다. IT 전문 매체 디인포메이션(The Information)이 보도했다. 새 하드웨어를 늘리지 않고, 이미 학습된 모델을…
오픈AI, 챗GPT 추론 비용 절반으로 뚝…’컴퓨트 멀티플라이어’ 최적화 전략
오픈AI가 AI 모델 추론(inference) 비용을 절반 이상 줄이는 최적화 기술을 개발한 것으로 알려졌다. 데이터센터와 GPU 확보 경쟁이 치열한 가운데, 기존 인프라의 효율을 끌어올리는 ‘컴퓨트…
