MoE
바이트댄스, 트릴리언급 모델을 47% 빠르게 만드는 ‘코멧’ 기술…
Comet: Fine-grained Computation-communication Overlapping for Mixture-of-Experts 1조 규모 AI 모델의 숨은 병목: 디바이스 간 통신이 실행 시간의 47%를…
딥시크, 대규모 AI 모델 훈련을 위한 오픈소스 통신…
딥시크(DeepSeek)가 25일(현지 시간) 오픈소스 주간(#OpenSourceWeek) 둘째 날을 맞아 혼합 전문가(MoE, Mixture of Experts) 모델 훈련과 추론을 위한 최초의…
