Comet: Fine-grained Computation-communication Overlapping for Mixture-of-Experts

바이트댄스, 트릴리언급 모델을 47% 빠르게 만드는 ‘코멧’ 기술…

3월 18, 2025

Comet: Fine-grained Computation-communication Overlapping for Mixture-of-Experts 1조 규모 AI 모델의 숨은 병목: 디바이스 간 통신이 실행 시간의 47%를…

딥시크, 대규모 AI 모델 훈련을 위한 오픈소스 통신 라이브러리 'DeepEP' 출시

딥시크, 대규모 AI 모델 훈련을 위한 오픈소스 통신…

2월 26, 2025

딥시크(DeepSeek)가 25일(현지 시간) 오픈소스 주간(#OpenSourceWeek) 둘째 날을 맞아 혼합 전문가(MoE, Mixture of Experts) 모델 훈련과 추론을 위한 최초의…

MoE – AI 매터스 l AI Matters