LLM 추론
AI를 똑똑하게 만드는 비밀은 전체 훈련이 아니라 딱 4%의 순간이었다
EAPO 경험 증강 학습은 새 AI를 처음부터 다시 훈련하지 않고 결정적 순간 4%에만 개입해 성능을 높인다. AIME 수학 문제에서 EAPO는 43.34%로 기존 DAPO를 앞섰다.…
배터리 순삭의 주범, 스마트폰 AI가 전력 60%를 낭비하는 충격적인 이유
온디바이스 AI의 발열과 배터리 문제를 해결하는 프로세싱 인 메모리 기술 코즘(COSM)을 분석한다. 데이터 이동에 쓰이는 전력 60%를 줄여 AI 처리 속도를 2.8배 높인 원리를…
엔비디아 ‘모델익스프레스’ 공개…AI 모델 기동 8분에서 1분 44초로
소프트뱅크가 스위스 그라비스 로보틱스 인수를 검토 중이라고 블룸버그가 보도했다. 기업 가치는 5억 달러 이상으로 평가되며, 취리히연방공대 분사 기업으로 토목 장비 자율 주행 기술을 개발한다.
투게더AI, 2비트 KV 캐시 압축 ‘OSCAR’ 오픈소스 공개…긴 문맥 AI 추론 비용 낮춘다
투게더AI가 긴 문맥 LLM 서빙용 2비트 KV 캐시 압축 ‘OSCAR’를 오픈소스로 공개했다. 어텐션 통계로 회전축을 정해 INT2 압축의 정확도 손실을 줄였다. AI 추론 비용을…
