Search

LayerSkip: Enabling Early Exit Inference and Self-Speculative Decoding

메타, LLM 추론 속도 혁신하는 ‘LayerSkip’ 기술 공개…최대…

10월 28, 2024

메타(Meta)가 대규모 언어 모델(Large Language Model, LLM)의 추론 속도를 획기적으로 개선할 수 있는 ‘LayerSkip’ 기술을 공개했다. 이 기술은…

LLM 가속화 – AI 매터스 l AI Matters