이 기사, AI에게 물어보기
프랑스 AI 스타트업 ZML이 추론 서버 ‘ZML/LLMD’를 무료로 공개했다. 여러 종류의 AI 칩에서 모델 실행 비용을 낮추는 알파 단계 제품이다.
ZML은 튜링상 수상자 얀 르쿤이 지지한 스타트업이다. LLMD는 엔비디아 쿠다, AMD 롬(ROCm), 구글 TPU, 인텔 원API, 애플 메탈 등 서로 다른 하드웨어에서 라마·젬마·큐원·미스트랄 모델을 돌린다.
추론 비용은 AI 서비스 운영의 큰 부담이다. 사용량이 늘수록 GPU 연산 비용이 함께 불어난다. ZML은 이 비용을 여러 칩에 분산해 줄이려 한다.
창업자 스티브 모린(Steeve Morin)은 이번 공개를 칩 간 장벽을 허무는 시도로 설명했다. LLMD는 오픈소스는 아니지만, 사용 데이터를 모으기 위해 무료로 제공된다.
특정 칩에 묶이지 않고 모델을 돌리려는 기업이 늘면서, 하드웨어 중립적인 실행 소프트웨어 수요가 커지고 있다.
자세한 내용은 TechCrunch에서 확인할 수 있다.
이미지 출처: 이디오그램 생성
