생성형 AI 시대의 모델 압축, 시각화 도구로 효율성과 성능 모두 잡는다

Compress and Compare: Interactively Evaluating Efficiency and Behavior Across ML Model Compression Experiments

모델 압축의 과제를 해결하는 시각화 도구

머신러닝 모델의 규모가 급격히 커지면서 모델 압축의 중요성이 높아지고 있다. 최근 몇 년 사이 발표된 모델의 매개변수 수는 2018년 10억 개에서 2024년 1000억 개 이상으로 증가했다. 이러한 대규모 모델들은 실시간 번역이나 코드 생성과 같은 흥미로운 기능을 가능하게 했지만, 동시에 기술적, 재정적, 환경적 비용도 크게 증가시켰다.

이에 따라 모델 압축이 실용적인 사용 사례를 위한 필수적인 기술로 떠올랐다. 특히 모델이 최종 사용자 기기에서 구동되어야 하는 경우에 더욱 중요하다. 하지만 압축 과정에서 모델의 성능과 행동을 유지하는 것은 쉽지 않은 과제다. 어떤 압축 기법이나 기법의 조합이 최상의 균형을 달성할지는 작업과 모델에 따라 다르기 때문이다.

이러한 문제를 해결하기 위해 연구진은 ‘COMPRESS AND COMPARE’라는 대화형 시각화 시스템을 개발했다. 이 도구는 압축 실험을 추적하고 여러 압축 모델의 성능과 행동을 비교할 수 있게 해준다. 압축 전문가들이 실제로 겪는 어려움을 바탕으로 설계되었다. COMPRESS AND COMPARE는 상호 연결된 압축 실험들을 효과적으로 관리할 수 있게 해주며, 압축이 모델 행동에 미치는 영향을 상세히 분석할 수 있는 기능을 제공한다. 또한 이를 통해 유망한 후속 압축 실험을 도출하는 데 도움을 준다. 이러한 핵심 기능들을 통해 사용자는 압축 과정을 더욱 체계적이고 효율적으로 수행할 수 있게 된다.COMPRESS AND COMPARE는 크게 두 가지 주요 뷰로 구성된다. ‘압축 개요’ 뷰는 대규모 압축 실험에서 고수준의 비교와 모델 선택을 지원한다. ‘성능 비교’ 뷰는 소수의 후보 모델에 대해 행동과 내부 구조를 세밀하게 검사할 수 있게 해준다.

실제 사례를 통한 효과 검증

연구진은 생성형 언어 모델과 이미지 분류 모델에 대한 사례 연구를 통해 COMPRESS AND COMPARE의 효과를 검증했다. 첫 번째 사례에서는 질문 답변 태스크를 수행하는 T5-Large 모델(7억 7500만 개의 매개변수)을 압축하는 과정을 보여준다. 초기에는 전역 크기 기반 가지치기(global magnitude pruning)를 적용했지만, 이로 인해 성능이 크게 저하되었다.

COMPRESS AND COMPARE의 Layers 뷰를 통해 연구진은 정규화 계층이 과도하게 가지치기되었음을 발견했다. 이를 바탕으로 정규화 계층을 복원하는 후속 실험을 설계했고, 결과적으로 성능을 회복시킬 수 있었다. 더 나아가 주의 모듈에 대한 추가 가지치기를 통해 모델 크기를 30% 줄이면서도 83%의 F1 점수를 달성할 수 있었다.

두 번째 사례에서는 얼굴 분류 모델에 대한 압축 실험을 수행했다. COMPRESS AND COMPARE의 Behaviors 탭을 활용해 압축된 모델들의 상대적 정확도를 비교한 결과, 희귀 클래스(예: 남성, 비 젊은층)에 대한 성능이 불균형적으로 저하되는 것을 발견했다. 이는 기존 연구에서 지적된 압축으로 인한 편향 증폭 현상을 시각적으로 확인한 것이다.

압축 전문가들의 평가

연구진은 8명의 압축 전문가들을 대상으로 사용자 연구를 수행했다. 참가자들은 ML 엔지니어, 연구 과학자, 소프트웨어 엔지니어 등 다양한 역할을 가진 이들이었다. 이들에게 이미지 분류 모델 압축 태스크를 수행하도록 하고 COMPRESS AND COMPARE를 사용한 경험을 평가하도록 했다.

참가자들은 기존의 분산된 분석 도구들을 사용하던 것에서 벗어나, COMPRESS AND COMPARE를 통해 단일 플랫폼에서 통합된 분석이 가능해졌다고 평가했다. 이는 모델 선택과 탐색에 대한 협업 의사결정을 용이하게 만들었다. 특히 Model Map과 Selection Details 뷰의 조합이 압축 실험 공간을 이해하고 추론하는 데 직관적이라는 평가를 받았다.

참가자들은 COMPRESS AND COMPARE를 통해 압축 기법이 모델에 미치는 영향에 대한 직관을 얻을 수 있었다고 말했다. 예를 들어, 한 참가자는 대형 ResNet50 모델과 소형 MobileNet V2 모델에 대한 양자화의 효과를 비교하면서, 양자화의 성공이 기본 모델에 따라 크게 달라진다는 점을 깨달았다.

압축을 고려한 ML 워크플로우 설계의 필요성

이 연구는 압축 관련 과제들이 일반적인 ML 평가와는 다른 특성을 가짐을 명확히 보여준다. 연구진은 향후 ML 개발 도구들이 압축을 고려해 여러 중요한 요소들을 통합해야 한다고 제안한다.

첫째, 데이터 중심 평가와 아키텍처 특화 평가를 연결해야 한다. COMPRESS AND COMPARE는 Behaviors 뷰와 Layers 뷰를 통해 이 두 가지 평가 방식을 연결함으로써 사용자가 모델 구성 요소의 기능적 특성을 더 깊이 이해할 수 있게 했다.

둘째, 모델 품질 지표 간 트레이드오프를 효과적으로 협상할 수 있어야 한다. 압축 실무자들은 모델 크기, 지연 시간, 정확도 사이의 균형을 맞추는 것이 중요한데, COMPRESS AND COMPARE는 이러한 트레이드오프를 시각화하여 실무자들이 제약 조건을 명확히 소통하고 필요시 예산 변경을 설득력 있게 주장할 수 있게 했다.

셋째, 반복적인 개발 과정에서 모델의 출처를 추적할 수 있어야 한다. 압축 실험은 주로 트리 구조의 ‘레시피’로 모델링되는데, COMPRESS AND COMPARE의 Model Map은 이러한 구조를 효과적으로 시각화하여 사용자가 실험의 성공적인 측면을 파악하고 향후 실험 결과를 예측할 수 있게 했다.

마지막으로, 여러 모델 간의 복잡한 차이를 쉽게 비교할 수 있어야 한다. COMPRESS AND COMPARE는 다양한 모델의 지표, 예측, 내부 구조를 시각적으로 병치하여 보여줌으로써, 사용자가 중요한 차이점을 빠르게 식별하고 의사결정에 필요한 인지적 부담을 크게 줄일 수 있게 했다.

COMPRESS AND COMPARE는 이러한 압축 특화 과제들을 해결하는 동시에, 일반적인 ML 분석 워크플로우 개선에도 시사점을 제공한다. 예를 들어 모델 맵의 트리 구조나 레이어별 활성화 비교 기능은 다른 ML 개발 단계에도 적용될 수 있다.