Search

MoE

Comet: Fine-grained Computation-communication Overlapping for Mixture-of-Experts

바이트댄스, 트릴리언급 모델을 47% 빠르게 만드는 ‘코멧’ 기술 공개

3월 18, 2025

Comet: Fine-grained Computation-communication Overlapping for Mixture-of-Experts 1조 규모 AI 모델의 숨은 병목: 디바이스 간 통신이 실행 시간의 47%를 차지 아주 큰 규모의 인공지능(AI) 모델을…

딥시크, 대규모 AI 모델 훈련을 위한 오픈소스 통신 라이브러리 'DeepEP' 출시

딥시크, 대규모 AI 모델 훈련을 위한 오픈소스 통신 라이브러리 ‘DeepEP’ 출시

2월 26, 2025

딥시크(DeepSeek)가 25일(현지 시간) 오픈소스 주간(#OpenSourceWeek) 둘째 날을 맞아 혼합 전문가(MoE, Mixture of Experts) 모델 훈련과 추론을 위한 최초의 오픈소스 EP 통신 라이브러리인 ‘DeepEP’를 공개했다.…

MoE 보관 - AI매터스