Comet: Fine-grained Computation-communication Overlapping for Mixture-of-Experts 1조 규모 AI 모델의 숨은 병목: 디바이스 간 통신이 실행 시간의 47%를…
딥시크(DeepSeek)가 25일(현지 시간) 오픈소스 주간(#OpenSourceWeek) 둘째 날을 맞아 혼합 전문가(MoE, Mixture of Experts) 모델 훈련과 추론을 위한 최초의…