AI 모델 배포의 숨겨진 비용: 전력 소비와 탄소 배출량 분석

인공지능(AI) 기술의 급속한 발전과 함께 AI 모델의 환경적 영향에 대한 우려가 커지고 있다. 특히 대규모 언어 모델(LLM)과 같은 고급 AI 시스템의 배포가 증가하면서, 이들의 에너지 소비와 탄소 배출량에 대한 관심이 높아지고 있다. 이러한 배경에서 허깅페이스(Hugging Face)와 카네기멜론대학교 연구진이 수행한 “Power Hungry Processing: Watts Driving the Cost of AI Deployment?” 연구가 주목받고 있다.

이 연구는 AI 모델 생애주기 중 상대적으로 덜 주목받았던 추론(inference) 단계에 초점을 맞추었다. 연구진은 10개의 다양한 AI 작업에 대해 88개의 모델을 분석했으며, 각 모델의 에너지 소비량과 탄소 배출량을 측정했다. 분석 대상에는 텍스트 분류, 질문 답변, 요약, 이미지 분류, 이미지 생성 등 다양한 작업이 포함되었다.

연구 결과, 생성형 AI 모델이 가장 많은 에너지를 소비하는 것으로 나타났다. 특히 이미지 생성 작업은 1,000회 추론 시 평균 2.907kWh의 에너지를 소비해 가장 높은 수치를 기록했다. 이는 가장 에너지 효율적인 작업인 텍스트 분류(0.002kWh)의 1,450배에 달하는 수준이다.

연구를 주도한 알렉산드라 사샤 루치오니 박사는 “생성형 AI 모델은 출력 공간이 매우 넓어 더 많은 에너지를 필요로 합니다. 특히 이미지 생성은 픽셀 단위의 결정을 해야 하므로 텍스트 기반 작업에 비해 훨씬 더 많은 계산이 필요합니다.”라고 설명했다.

이미지 관련 작업은 전반적으로 높은 에너지 소비를 보였다. 이미지 분류의 경우 텍스트 분류보다 3배 이상의 에너지를 소비했으며, 이미지 생성은 텍스트 생성보다 평균 60배 이상의 에너지를 사용했다.

연구진은 또한 범용 모델과 특정 작업에 특화된 모델 간의 에너지 효율성 차이를 분석했다. 그 결과, 텍스트 분류나 질문 답변과 같은 판별 작업에서는 특화 모델이 범용 모델보다 훨씬 적은 에너지를 소비하는 것으로 나타났다.

예를 들어, BERT 기반의 텍스트 분류 모델은 1,000회 추론 시 0.32g의 이산화탄소를 배출한 반면, 범용 모델인 FLAN-T5 XL은 2.66g, BLOOMz-7B는 4.67g을 배출했다. 이는 범용 모델이 특화 모델에 비해 8-14배 더 많은 탄소를 배출한다는 것을 의미한다.

루치오니 박사는 “웹 검색이나 내비게이션과 같이 작업이 명확히 정의된 상황에서 범용 생성형 모델을 배포하는 것이 꼭 필요한지 의문”이라며 “에너지 요구사항을 고려할 때 이러한 선택에 대해 더 신중히 접근해야 한다”고 강조했다.

연구진은 모델 크기와 탄소 배출량 사이의 관계도 살펴보았다. 일반적으로 모델 크기가 클수록 더 많은 탄소를 배출하는 경향이 있었지만, 작업의 특성이 더 큰 영향을 미치는 것으로 나타났다.

예를 들어, 약 5억 개의 매개변수를 가진 작은 이미지 생성 모델이 텍스트 분류 모델보다 100배 이상의 탄소를 배출했다. 이는 모델 크기뿐만 아니라 수행하는 작업의 복잡성이 에너지 소비에 큰 영향을 미친다는 것을 보여준다.

연구의 가장 흥미로운 발견 중 하나는 모델 추론 비용이 훈련 비용을 능가할 수 있다는 점이다. 연구진은 BLOOMz 모델 군을 분석한 결과, 모델 크기에 따라 2억에서 5억 9천만 회의 추론을 수행하면 훈련 비용과 동일한 에너지를 소비한다는 사실을 밝혀냈다.

루치오니 박사는 “ChatGPT와 같은 인기 모델의 경우 몇 주 또는 몇 달 만에 추론 단계의 에너지 소비가 훈련 단계를 넘어설 수 있습니다. 이는 AI 모델의 전체 수명 주기에서 발생하는 환경 영향을 고려해야 함을 시사합니다.”라고 말했다.

이 발견은 AI 모델의 환경적 영향을 평가할 때 훈련 단계뿐만 아니라 배포 후 지속적인 사용에 따른 에너지 소비도 중요하게 고려해야 한다는 점을 강조한다.

이 연구는 AI 모델 배포 단계의 에너지 소비와 탄소 배출에 대한 이해를 높이는 데 크게 기여했다. 특히 다양한 AI 작업과 모델 유형에 대한 체계적인 비교 분석을 통해, AI 시스템의 환경적 영향을 더 정확히 평가할 수 있는 기반을 마련했다.

그러나 연구진은 여전히 해결해야 할 과제가 많다고 지적한다. “모델 아키텍처, 하드웨어 선택, 수치 정밀도 등 추론 효율성에 영향을 미치는 다양한 요인들에 대한 추가 연구가 필요합니다. 또한 기업들의 모델 아키텍처와 훈련 세부 정보에 대한 투명성 부족은 이러한 연구를 어렵게 만드는 요인 중 하나입니다.”라고 루치오니 박사는 설명했다.

이 연구 결과는 AI 기술의 지속 가능한 발전을 위해 중요한 시사점을 제공한다. 연구진은 AI 연구자들과 실무자들이 모델의 환경적 영향에 대해 더 투명하게 공개하고, 이를 고려하여 모델을 선택하고 배포할 것을 권고했다.

특히 범용 생성형 AI 모델의 배포가 증가하는 현재 추세에 대해 더 신중한 접근이 필요하다고 강조했다. 작업이 명확히 정의된 상황에서는 특화 모델을 사용하는 것이 에너지 효율성 측면에서 더 유리할 수 있다는 점을 고려해야 한다.

또한 AI 모델의 전체 수명 주기에 걸친 환경 영향 평가의 중요성도 부각되었다. 훈련 단계뿐만 아니라 배포 후 지속적인 사용에 따른 에너지 소비와 탄소 배출을 고려한 종합적인 평가가 필요하다.

루치오니 박사는 “이 연구가 AI 기술의 환경적 영향에 대한 인식을 높이고, 더 지속 가능한 AI 시스템 개발을 위한 노력을 촉진하기를 바랍니다.”라고 말했다. 향후 AI 기술 발전 과정에서 성능 향상뿐만 아니라 에너지 효율성 개선도 중요한 목표가 될 것으로 전망된다.

이번 연구 결과는 AI 기술의 환경적 영향에 대한 중요한 통찰을 제공하며, 앞으로 AI 산업과 정책 입안자들이 더 지속 가능한 AI 생태계를 구축하는 데 중요한 참고 자료가 될 것으로 기대된다.

기사에 인용된 리포트 원문은 링크에서 확인할 수 있다.

기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다. 

관련 콘텐츠 더보기