Comet: Fine-grained Computation-communication Overlapping for Mixture-of-Experts 1조 규모 AI 모델의 숨은 병목: 디바이스 간 통신이 실행 시간의 47%를 차지 아주 큰 규모의 인공지능(AI) 모델을…
딥시크(DeepSeek)가 25일(현지 시간) 오픈소스 주간(#OpenSourceWeek) 둘째 날을 맞아 혼합 전문가(MoE, Mixture of Experts) 모델 훈련과 추론을 위한 최초의 오픈소스 EP 통신 라이브러리인 ‘DeepEP’를 공개했다.…