AI 서비스가 생각보다 엄청난 전기를 사용한다는 연구 결과가 나왔다. 미시간 대학교(University of Michigan) 연구팀이 46개 AI 모델을 테스트한 결과, 같은 AI라도 어떤 질문을 하느냐에 따라 전기 소비가 최대 25배까지 차이 났고, 영상을 만들 때는 이미지보다 100배 이상 전기를 먹는 것으로 밝혀졌다. 해당 논문에 따르면, AI 기업들이 빠르게 성장하는 가운데, 정작 전력 공급이 따라가지 못해 큰 골칫거리가 되고있다고 밝혔다.
수학 문제 풀기 vs 일상 대화… 전기 소비 25배 차이
가장 놀라운 발견은 AI에게 무슨 질문을 하느냐에 따라 전기 사용량이 천차만별이라는 점이다. 연구팀은 같은 AI 모델을 사용하더라도 복잡한 수학 문제나 논리 문제를 풀 때는 일상적인 대화를 나눌 때보다 평균 25배나 많은 전기를 소비한다는 사실을 발견했다.
왜 이런 차이가 날까? 이유는 두 가지다. 첫째, 어려운 문제를 풀 때 AI는 훨씬 긴 답변을 내놓는다. 실험 결과 문제 풀이는 평균 약 7,000개의 단어 조각을 만들어냈지만, 일상 대화는 700개 정도에 그쳤다. 무려 10배 차이다. 둘째, 긴 답변을 만들려면 컴퓨터의 임시 저장 공간을 많이 써야 하는데, 이게 꽉 차면 한 번에 처리할 수 있는 질문 수가 줄어든다. 질문을 적게 처리하면 컴퓨터 칩의 성능을 제대로 활용하지 못해 단어 하나당 전기를 더 많이 쓰게 된다.
연구팀이 ‘Qwen 3 32B’라는 AI로 실험한 결과가 이를 잘 보여준다. 일상 대화 모드에서는 한 번에 512개 질문을 처리할 수 있었지만, 문제 풀이 모드에서는 128개밖에 처리하지 못했다. 같은 조건(128개 질문)으로 비교해도 문제 풀이는 일상 대화보다 단어당 1.5배 더 많은 전기를 썼다. 각 모드의 최대 성능으로 비교하면 그 차이는 2.1배로 벌어졌다. 한 번의 답변 전체로 따지면 문제 풀이는 2,192줄(J, 에너지 단위), 일상 대화는 95줄로 무려 23배 차이가 났다.
사진과 영상을 보는 AI는 전기를 훨씬 더 많이 먹는다
요즘 AI는 글자만 읽는 게 아니라 사진이나 영상도 함께 이해한다. 그런데 이렇게 여러 종류의 정보를 함께 처리하면 전기 소비가 급격히 늘어난다. 텍스트만 처리할 때와 비교해서 사진을 함께 보여주면 전기가 1.1배에서 5.2배, 영상을 보여주면 1.3배에서 무려 15배까지 더 들었다.
이유는 세 가지다. 먼저 AI가 사진이나 영상을 글자처럼 이해할 수 있는 형태로 바꾸는 과정에서 추가 작업이 필요하다. 또한 이 변환 과정과 늘어난 정보량 때문에 컴퓨터 저장 공간이 부족해져서 한 번에 처리하는 질문 수가 줄어든다. 특히 중요한 건 사진과 영상을 컴퓨터가 읽을 수 있게 바꾸는 ‘전처리’ 과정이 상당한 시간을 잡아먹는다는 점이다.
연구팀이 ‘Qwen 3 VL 8B’ AI로 실험한 결과를 보면, 일반 대화는 한 번에 1,750개 질문을 처리했지만 사진이 포함되면 256개, 영상이 포함되면 64개로 뚝 떨어졌다. 저장 공간 사용률을 분석해보니 영상 처리 시 사용률이 크게 떨어지는 걸 확인했다. 이는 컴퓨터 칩 저장 공간이 부족해서가 아니라, 영상을 미리 처리하는 다른 부품이 병목이 됐다는 뜻이다. 즉, 아무리 좋은 고성능 칩을 쓰더라도 다른 부품이 따라가지 못하면 오히려 낭비가 된다는 교훈을 준다.
이미지 AI보다 영상 AI가 전기 100배 먹는 이유
요즘 유행하는 이미지나 영상 생성 AI의 경우, 모델 크기만으로는 전기 소비를 예측할 수 없다는 게 밝혀졌다. 오히려 ‘몇 번 다듬는지’, ‘얼마나 선명한 화질로 만드는지’, ‘몇 장면을 만드는지’ 같은 실행 조건이 훨씬 중요했다.
이미지 생성 AI들을 비교해보니 모델 크기는 6억 개에서 120억 개 파라미터(AI의 지식 단위)까지 다양했지만, 전기 소비는 크기 순서대로 늘지 않았다. 예를 들어 ‘Hunyuan-DiT 1.2′(15억 크기)는 ‘Stable Diffusion 3.5 Large'(81억 크기)보다 더 많은 전기를 썼는데, 이미지를 다듬는 횟수가 50번 대 28번으로 거의 두 배 차이가 났기 때문이다.
영상 생성의 전기 소비는 더욱 충격적이었다. 영상 하나를 만드는 데 26,000줄에서 1,160,000줄의 에너지가 들었다. 이는 이미지보다 10배에서 100배 이상 많은 수치다.
다행히 이런 조건들은 사용자가 조절할 수 있다. 즉, 약간 덜 선명한 화질이나 더 적은 장면으로도 만족한다면 전기를 크게 절약할 수 있다는 뜻이다.
한 번에 많이 처리하면 효율 좋지만 느려진다
연구는 시스템 설정을 어떻게 하느냐도 전기 소비에 큰 영향을 준다는 걸 보여줬다. 가장 강력한 절약 수단은 ‘배치 크기’, 즉 한 번에 처리하는 질문 개수를 늘리는 것이다. 이렇게 하면 전기를 3분의 1에서 5분의 1까지 줄일 수 있었다. 컴퓨터는 일감이 꽉 차서 풀가동될 때 가장 효율적이기 때문이다.
하지만 한 번에 많은 질문을 처리하면 각 질문의 답변이 나오는 시간이 길어진다. 처리할 일이 많으니 당연하다. 또한 처리 속도는 빨라지지만 어느 순간부터는 개선 폭이 줄어든다. 그리고 컴퓨터 칩을 많이 쓰면 쓸수록 소비 전력도 늘어난다.
연구팀이 테스트한 ‘DeepSeek R1’은 가장 큰 배치에서도 여전히 여유가 있어서 질문을 늘릴수록 속도가 계속 빨라졌다. 반면 ‘Qwen 3 Coder’는 512개 질문 정도에서 한계에 도달해 그 이상 늘려도 속도 개선이 미미했다. 이런 지표들은 독립적으로 움직이는 게 아니라 컴퓨터 활용도라는 공통 요인에 의해 함께 움직인다.
계산 방식을 바꾸는 것도 흥미로운 결과를 보였다. ‘FP8’이라는 간소화된 계산 방식은 저장 공간을 줄이고 더 빠른 계산이 가능하지만, 추가 작업도 필요하다. ‘Qwen 3 235B’로 테스트한 결과, 질문이 적을 때는 FP8이 오히려 전기를 13%에서 56%까지 더 먹었다. 추가 작업의 부담과 컴퓨터를 제대로 활용 못 하는 문제가 겹친 결과다. 하지만 질문이 많아지면 FP8가 최대 29%까지 전기를 절약했다. 이는 질문이 많아야 비로소 FP8의 빠른 계산 능력을 제대로 활용할 수 있기 때문이다.
신형 칩이 구형보다 항상 나은 건 아니다
최신 NVIDIA B200 칩과 이전 세대 H100 칩을 비교한 결과, 같은 속도 조건에서 B200이 79%에서 88%의 경우 전기를 덜 썼고, 평균 35% 절감을 보였다.
AI 챗봇의 경우, B200은 큰 저장 공간덕분에 큰 모델을 적은 칩에 담을 수 있어서 칩 간 통신 부담을 줄일 수 있다. 그런데 답변이 매우 빨라야 하는 조건(50ms)에서는 오히려 H100 칩을 여러 개 쓰는 게 더 효율적이었다. ‘Qwen 3 30B’의 경우 50ms 조건에서 H100 2개가 B200 1개보다 53% 적은 전기를 썼다. 답변 시간에 여유가 있으면 B200이 더 유리했다.
이미지 생성 AI는 B200이 86%의 경우 평균 15% 전기를 절약했고, 영상 생성도 79%의 경우 평균 4% 절약했다. H100이 이긴 경우는 주로 모델이 작아서 H100 하나로도 충분할 때였다. 이럴 때는 B200의 큰 성능을 제대로 활용하지 못한다.
여러 개 칩을 쓰는 것도 양날의 검이다. 같은 질문 개수로 칩을 늘리면 일반적으로 답변은 빨라지지만 전기는 더 먹는다. 칩 간 통신 부담 때문에 속도가 비례해서 빨라지지 않고, 칩당 일감이 줄어서 활용도가 떨어지기 때문이다.
하지만 저장 공간이 부족한 경우엔 얘기가 다르다. ‘GPT OSS 120B’를 H100 1개로 돌리면 질문을 64개밖에 못 받지만, 2개로 늘리면 2,048개까지 받을 수 있고 전기도 68% 줄어들었다. 이는 모델 크기 대비 칩 저장 공간이 여러 칩 사용의 효율성을 좌우하는 핵심 요인임을 보여준다.
전기 낭비의 숨은 범인은 ‘대기 전력’
연구팀은 전기 소비를 설명하는 종합 설명서를 만들었다. 칩의 전력 소비는 크게 두 가지다. 하나는 ‘대기 전력’으로 켜져 있기만 해도 계속 나가는 전기고, 다른 하나는 ‘작업 전력’으로 실제 일할 때 쓰는 전기다. 만약 칩이 60%만 일하고 있다면, 전체 시간 동안 대기 전력을 쓰면서 40%의 시간은 별 진전 없이 전기만 낭비하는 셈이다. 이게 바로 칩을 제대로 활용하지 못하면 전기 낭비가 심해지는 이유다.
중요한 건 칩 활용도의 가장 큰 결정 요인이 칩 자체가 아니라 시스템의 다른 부분이라는 점이다. 다른 부품(CPU, 네트워크, 저장장치 등)이 칩의 작업을 막으면, 칩은 일감이 부족해 놀게 되고 대기 전력만 낭비한다. 앞서 본 사진/영상 처리 AI가 대표적 사례다. 영상을 미리 처리하는 CPU가 병목이 되어 칩이 더 많은 질문을 받을 여유가 있는데도 제대로 일하지 못했다. 결과적으로 전기를 많이 먹었는데, 이건 칩 탓이 아니라 시스템 전체의 균형 문제였던 것이다.
계산과 데이터 읽기의 비율도 중요하다. 계산보다 데이터 읽기가 많으면 칩이 데이터 기다리느라 놀게 되어 활용도가 떨어진다. 앞서 본 FP8 방식이 작은 질문 수에서 비효율적이었던 것도 이 때문이다.
이런 요인들은 서로 영향을 준다. 예를 들어 더 좋은 칩으로 바꿨는데도 다른 부품이 병목이면 기대한 만큼 개선되지 않거나 오히려 나빠질 수 있다. 연구팀은 이런 복잡한 관계를 하나의 그림으로 정리했다. 모델 설정, 프로그램, 하드웨어 같은 조정 가능한 요소들이 저장 공간, 칩 활용도, 계산량 같은 보이지 않는 중간 단계를 거쳐 최종적으로 시간과 전기라는 눈에 보이는 결과로 나타난다는 것이다.
FAQ (※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)
Q1. AI가 전기를 많이 쓴다는데 얼마나 심각한가요?
A. AI를 돌리는 컴퓨터 칩이 데이터센터 전체 전기의 50~70%를 차지합니다. 문제는 AI 수요는 급증하는데 발전소 건설에는 수년이 걸려 전력 공급이 따라가지 못한다는 겁니다. 같은 AI라도 어떻게 쓰느냐에 따라 전기 소비가 수십 배 차이나기 때문에 효율적으로 쓰는 게 매우 중요합니다.
Q2. 제가 ChatGPT 쓸 때 전기를 덜 쓰는 방법이 있나요?
A. 일반 사용자가 직접 조절할 수는 없지만, 어떤 질문이 전기를 많이 쓰는지 알면 도움이 됩니다. 복잡한 수학 문제나 깊은 논리 사고가 필요한 질문은 간단한 대화보다 25배 더 많은 전기를 씁니다. 또 영상 생성은 이미지보다 100배, 이미지는 텍스트보다 최대 15배 더 많은 전기가 듭니다. 꼭 필요한 경우가 아니라면 간단한 질문으로 충분할 수 있습니다.
Q3. AI 회사들은 전기 문제를 어떻게 해결하고 있나요?
A. 여러 방법이 있습니다. 한 번에 많은 질문을 모아서 처리하면 전기를 3~5배 절약할 수 있습니다. 질문이 많을 때는 간소화된 계산 방식을 쓰고, 적을 때는 정밀한 방식을 쓰는 식으로 상황에 맞춰 조절합니다. 또 컴퓨터 칩뿐 아니라 데이터를 미리 처리하는 다른 부품들의 속도도 같이 높여서 병목을 없애야 합니다. 결국 시스템 전체의 균형을 맞추는 게 핵심입니다.
기사에 인용된 논문 원문은 arXiv에서 확인 가능하다.
논문명: Where Do the Joules Go? Diagnosing Inference Energy Consumption
이미지 출처: 이디오그램 생성
해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.
