AI 데이터센터를 이야기할 때 빠지지 않고 등장하는 것이 GPU입니다.

생성형 AI, 대규모 언어 모델, 이미지 생성, 영상 생성, 자율주행 등 고성능 AI 서비스의 상당 부분은 대규모 연산 능력을 필요로 합니다. 이 과정에서 GPU와 AI 가속기는 중요한 역할을 합니다.

그런데 GPU를 많이 설치하면 데이터센터의 전력 소비는 단순히 GPU 개수만큼 증가하는 것일까요?

결론부터 말하면 GPU 개수의 증가가 데이터센터 전력 소비 증가의 중요한 원인이지만, 실제 증가량은 GPU의 종류와 사용률, 서버 구성, 네트워크, 냉각 시스템 등에 따라 달라집니다.

GPU는 왜 전기를 많이 사용할까?

GPU는 CPU와 다른 방식으로 연산을 수행합니다.

CPU는 다양한 종류의 작업을 순차적으로 빠르게 처리하는 데 강점이 있지만 GPU는 많은 연산을 동시에 수행하는 병렬 처리에 강점을 가지고 있습니다.

AI 모델을 학습시키는 과정에서는 수많은 행렬 연산이 반복됩니다.

이런 계산은 GPU의 병렬 처리 구조와 잘 맞기 때문에 AI 데이터센터에서 GPU 사용이 크게 증가했습니다.

하지만 높은 연산 성능을 제공하려면 상당한 전력이 필요합니다.

그리고 GPU에서 사용된 전력의 상당 부분은 결국 열로 전환됩니다.

따라서 GPU가 많아질수록 두 가지 문제가 동시에 커집니다.

전력 공급 문제와 냉각 문제입니다.

GPU 1개만 보면 안 되는 이유

데이터센터에서 GPU는 일반적으로 독립적으로 설치되는 것이 아닙니다.

여러 개의 GPU가 서버에 들어가고, 여러 서버가 랙에 배치되며, 여러 랙이 하나의 클러스터를 구성합니다.

따라서 GPU 숫자가 증가하면 서버와 네트워크 장비도 함께 증가할 수 있습니다.

예를 들어 AI 연산을 수행하기 위해 많은 GPU를 설치한다면 GPU끼리 데이터를 빠르게 주고받기 위한 고속 네트워크와 스위치도 필요합니다.

또한 저장장치와 CPU, 메모리 등 주변 시스템도 함께 작동합니다.

즉, 데이터센터의 전력 소비를 계산할 때는 단순히

GPU 개수 × GPU 소비전력

이라는 공식만 사용하는 것은 충분하지 않습니다.

실제 시설에서는 GPU가 포함된 서버 전체의 전력과 네트워크, 스토리지, 냉각, 전력 변환 설비 등을 함께 고려해야 합니다.

GPU가 늘어나면 전력 밀도가 높아진다

AI 데이터센터에서 특히 중요한 개념이 전력 밀도입니다.

일반적인 데이터센터에서는 하나의 랙에 상대적으로 적은 전력을 사용하는 서버가 배치될 수 있습니다.

하지만 고성능 AI 서버가 집중되면 하나의 랙에서 소비하는 전력이 크게 증가할 수 있습니다.

이렇게 되면 기존 데이터센터 설계만으로는 충분하지 않을 수 있습니다.

전력 케이블과 배전반의 용량을 높여야 하고, UPS와 변압기 등 전력 인프라 역시 더 높은 부하를 처리해야 합니다.

동시에 냉각 능력도 증가해야 합니다.

그래서 AI 데이터센터에서는 단순히 “서버를 더 많이 넣자”는 방식으로 시설을 확장하기 어렵습니다.

전력과 냉각 인프라가 함께 따라와야 합니다.

GPU가 많아질수록 냉각도 중요해진다

GPU의 전력 소비가 중요한 또 하나의 이유는 바로 발열입니다.

전기를 사용해 연산을 수행하면 열이 발생합니다.

GPU가 한두 개 들어간 일반적인 컴퓨터라면 팬과 방열판으로 열을 처리할 수 있지만, 수많은 고성능 GPU가 좁은 공간에서 동시에 작동하는 AI 서버에서는 상황이 달라집니다.

열 밀도가 높아지면 공기를 이용한 냉각만으로는 효율적인 열 제거가 어려워질 수 있습니다.

이 때문에 AI 데이터센터에서는 액체를 이용해 열을 제거하는 액체냉각 기술에 대한 관심도 높아지고 있습니다.

결국 GPU 성능이 높아지는 것은 좋은 일이지만 데이터센터 운영 측면에서는 전력과 열이라는 새로운 인프라 문제를 만들어냅니다.

AI 데이터센터 전력 소비가 빠르게 증가하는 이유

IEA는 데이터센터 전력 소비 증가에서 AI용 가속 서버가 중요한 역할을 할 것으로 보고 있습니다.

기본 시나리오에서 2024년부터 2030년까지 가속 서버의 전력 소비는 연평균 약 30% 증가할 것으로 전망되며, 가속 서버는 해당 기간 데이터센터 전력 소비 순증가분의 거의 절반을 차지할 것으로 분석됩니다.

이는 AI가 단순한 소프트웨어 기술이 아니라 대규모 물리적 인프라를 필요로 하는 산업이라는 것을 보여줍니다.

AI 모델이 커지고 사용자가 증가하면 더 많은 연산 능력이 필요합니다.

더 많은 연산 능력을 확보하기 위해 GPU를 추가하고, GPU를 추가하기 위해 전력과 냉각 인프라를 확충해야 합니다.

GPU 효율이 좋아지면 문제가 해결될까?

그렇다고 해서 GPU의 전력 효율 개선이 의미가 없는 것은 아닙니다.

오히려 매우 중요합니다.

같은 AI 작업을 더 적은 전력으로 처리할 수 있다면 데이터센터의 전체 운영비와 전력 수요를 줄일 수 있습니다.

하지만 효율이 좋아진다고 전체 전력 소비가 반드시 감소하는 것은 아닙니다.

AI 서비스의 사용량이 더 빠르게 증가하면 효율 향상으로 얻은 절감분보다 새로운 연산 수요가 더 커질 수 있기 때문입니다.

이를 흔히 효율 향상과 수요 증가가 동시에 발생하는 문제로 생각할 수 있습니다.

앞으로는 GPU와 전력을 함께 봐야 한다

AI 관련 뉴스를 볼 때 “최신 GPU가 출시됐다”는 내용만 보는 것보다 해당 GPU가 어떤 전력 밀도를 요구하는지 함께 살펴보면 데이터센터 산업을 훨씬 잘 이해할 수 있습니다.

GPU 성능이 높아질수록 AI 모델을 더 빠르게 처리할 수 있지만, 동시에 데이터센터에는 더 높은 전력 공급 능력과 냉각 능력이 필요할 수 있습니다.

결국 AI 데이터센터의 경쟁력은 GPU 자체에서 끝나지 않습니다.

GPU → 서버 → 랙 → 전력 → 냉각 → 네트워크

전체 시스템이 함께 발전해야 합니다.

앞으로 AI 산업이 성장할수록 “어떤 GPU를 사용하는가”와 함께 “그 GPU를 안정적으로 운영할 수 있는 데이터센터 인프라를 확보했는가”가 더욱 중요한 질문이 될 것입니다.