챗봇에 질문 하나를 던지는 일은 사용자 입장에서는 검색창에 단어를 치는 것과 다르지 않습니다. 그러나 그 뒤편에서는 수만 개의 GPU가 묶인 데이터센터가 돌아갑니다. ChatGPT·제미나이·클로드·그록·퍼플렉시티·코파일럿은 각각 얼마나 큰 컴퓨팅 자원을 쓰고 있으며, 왜 2026년에도 GPU와 메모리 부족 이야기가 끊이지 않는지 정리했습니다.
목차
질문 하나에 들어가는 전력은 얼마일까
가장 직관적인 지표는 질의 1건당 소비 전력입니다. 다만 이 수치는 회사마다 측정 범위가 달라 그대로 비교하기 어렵습니다. AI 칩만 계산한 값과, CPU·메모리·냉각·전력 변환 손실까지 포함한 값은 몇 배 차이가 납니다.
| 구분 | 공개 수치 | 측정 주체·범위 |
|---|---|---|
| 제미나이(텍스트 질의) | 약 0.24Wh, 물 약 0.26mL | 구글 자체 기술 보고서. AI 칩 외 CPU·메모리·유휴 장비·냉각까지 포함한 중앙값 |
| ChatGPT | 약 0.34Wh | OpenAI 측이 밝힌 평균값(구글 보고서에서도 비교 대상으로 인용) |
| AI 질의 일반 | 0.16~0.60Wh, 중앙값 약 0.31Wh | 마이크로소프트 분석. 응답 길이 약 300토큰 기준, 실제 GPU 사용률과 배치 처리 반영 |
| 외부 추정치 | 질의당 2.9Wh 수준 | 제3자 연구기관 추정. 배치 처리·최적화를 반영하지 못해 높게 잡히는 경향 |
0.24Wh는 TV를 9초 정도 켜두는 수준입니다. 한 건만 놓고 보면 대수롭지 않습니다. 문제는 규모입니다. ChatGPT는 주간 활성 사용자가 8억~9억 명대로 알려져 있고, 1인당 하루 여러 건을 던집니다. 0.3Wh에 수십억을 곱하면 발전소 단위의 이야기가 됩니다.
참고로 구글은 최근 1년 사이 제미나이 질의당 에너지 소비를 33배 줄였다고 밝혔습니다. 효율은 분명히 개선되고 있습니다. 그런데도 전체 소비량은 늘어납니다. 이 모순이 GPU 부족의 핵심입니다.
훈련보다 추론이 문제입니다
AI 컴퓨팅은 크게 둘로 나뉩니다.
- 훈련(training): 모델을 만드는 과정입니다. 수개월간 수만 장의 GPU를 붙잡아 두지만, 모델 하나당 한 번이면 끝납니다.
- 추론(inference): 완성된 모델이 사용자 질문에 답하는 과정입니다. 사용자가 늘어나고 질문이 이어지는 한 24시간 계속됩니다.
업계 분석에 따르면 2026년 기준 전체 AI 컴퓨팅의 약 3분의 2가 추론에 쓰입니다. 몇 해 전만 해도 “훈련이 끝나면 수요가 안정될 것”이라는 전망이 있었지만, 실제로는 반대로 흘렀습니다. 서비스가 대중화될수록 추론 부하는 사용자 수에 비례해 무한정 늘어납니다.
각 서비스가 쓰는 인프라
여섯 서비스는 컴퓨팅을 조달하는 방식부터 다릅니다. 자체 데이터센터를 짓는 쪽, 자체 칩을 설계하는 쪽, 클라우드를 빌려 쓰는 쪽으로 갈립니다.
| 서비스 | 주력 하드웨어 | 컴퓨팅 조달 방식 |
|---|---|---|
| ChatGPT(OpenAI) | 엔비디아 GB200 등 블랙웰 계열 | 스타게이트 프로젝트로 텍사스 애빌린 등에 자체 대형 데이터센터 건설. 목표 규모는 기가와트급 |
| 제미나이(구글) | 자체 설계 TPU + 엔비디아 GPU 병행 | 구글 클라우드 자체 인프라. 칩부터 데이터센터까지 수직계열화 |
| 클로드(앤스로픽) | 아마존 트레이니엄 + 엔비디아 GPU | AWS와 대규모 파트너십으로 전용 클러스터 확보. 구글 클라우드·애저에서도 모델 제공 |
| 그록(xAI) | 엔비디아 H100/H200, GB200/GB300 | 테네시 멤피스 콜로서스 등 자체 클러스터를 직접 구축·운영 |
| 퍼플렉시티 | 엔비디아 A100/H100, GB200 NVL72 | 자체 데이터센터 없이 AWS·코어위브 등 GPU 클라우드를 임대해 추론 실행 |
| 코파일럿(마이크로소프트) | 엔비디아 GB200, AMD 인스팅트 계열 | 애저 자체 데이터센터(위스콘신·애틀랜타 등 페어워터 캠퍼스) 활용 |
여기서 갈리는 지점이 비용 구조입니다. 자체 인프라를 가진 쪽은 초기 투자 부담이 크지만 단위당 원가를 낮출 수 있습니다. 클라우드를 빌리는 쪽은 진입은 쉽지만 사용량이 늘수록 임대료가 그대로 원가에 얹힙니다. 퍼플렉시티가 상위 요금제의 심층 리서치 사용량 제한을 조정한 것도, 코파일럿이 일부 추론을 PC 쪽으로 내리는 온디바이스 전략을 강화하는 것도 같은 계산에서 나옵니다.
왜 GPU는 계속 모자랄까
1. 효율이 좋아지는 속도보다 수요가 빠릅니다
칩 세대가 바뀔 때마다 같은 전력으로 처리하는 토큰 수는 늘어납니다. 그런데 전체 컴퓨팅 수요는 연간 몇 배 단위로 늘고 있습니다. 효율 개선분을 수요 증가가 통째로 삼켜버리는 구조입니다. 값이 싸지면 더 많이 쓰게 되는, 전형적인 반동 효과이기도 합니다.
2. 질문 하나당 토큰이 폭증했습니다
2020년 무렵 기업용 질의 한 건은 200토큰 미만이었습니다. 지금은 하나의 대화에 수만 토큰이 오갑니다. 원인은 세 가지입니다.
- 추론형 모델: 답을 내놓기 전에 내부적으로 생각을 길게 전개합니다. 사용자에게 보이지 않는 토큰도 전부 GPU가 계산합니다.
- 긴 컨텍스트: 문서 첨부, 코드베이스 전체 읽기, 이전 대화 기억이 기본이 됐습니다.
- 에이전트 실행: 한 번의 요청이 검색·도구 호출·재시도로 여러 번의 모델 호출을 낳습니다.
컨텍스트 길이가 두 배가 되면 계산량과 메모리 요구는 그보다 가파르게 늘어납니다. 사용자 수가 그대로여도 부하는 계속 커지는 셈입니다.
3. GPU 한 장이 감당하는 동시 사용자가 줄었습니다
추론 중에는 이미 계산한 토큰의 중간 결과를 GPU 메모리에 쌓아둡니다. 이를 KV 캐시라고 합니다. 다시 계산하지 않아 속도는 빨라지지만, 대화가 길어질수록 캐시가 선형으로 불어나 GPU 메모리를 잠식합니다. 대형 모델에서는 KV 캐시가 모델 가중치 자체보다 몇 배 큰 경우도 있습니다.
메모리가 꽉 차면 한 장의 GPU에 동시에 태울 수 있는 사용자 수(배치 크기)가 줄어듭니다. 연산 코어는 놀고 있는데 메모리가 모자라 처리량이 떨어지는 상황이 벌어집니다. “GPU가 부족하다”는 말의 상당 부분은 실제로는 “GPU에 붙은 메모리가 부족하다”는 뜻입니다.
메모리가 진짜 병목인 이유
AI 가속기에 붙는 메모리는 일반 PC용 램이 아니라 HBM(고대역폭 메모리)입니다. D램 칩을 수직으로 쌓아 올려 대역폭을 극단적으로 끌어올린 제품입니다.
| 항목 | 내용 |
|---|---|
| 세대별 탑재량 | H100은 80GB, B200은 192GB 수준으로 세대가 바뀔 때마다 요구량 급증 |
| 공급 상황 | 주요 공급사의 2026년 생산 물량이 사실상 조기 완판된 것으로 알려짐 |
| 생산 난이도 | 3D 적층과 TSV 공정으로 제조가 까다롭고 생산 주기가 길어 증설이 즉시 반영되지 않음 |
| 웨이퍼 잠식 | HBM 1GB는 일반 D램 대비 3~4배의 웨이퍼 용량을 소모 |
마지막 항목이 중요합니다. 반도체 회사가 같은 공장에서 HBM을 늘리면 일반 D램 생산량은 그만큼 줄어듭니다. 수익성이 높은 쪽으로 생산 능력이 이동하는 것은 자연스러운 선택이지만, 그 결과가 일반 소비자에게도 돌아옵니다. PC용 램과 SSD 가격이 오르고, 서버·노트북·게임기 부품 수급까지 영향을 받는 구조입니다. AI 데이터센터에서 시작된 부족이 전자제품 매장 가격표까지 이어지는 셈입니다.
전력과 부지도 함께 걸립니다
칩을 구해도 꽂을 자리가 없으면 소용이 없습니다. 최신 AI 데이터센터는 한 사이트에서 수백 MW를 소비합니다. 대형 캠퍼스 하나가 중소도시 전력 수요와 맞먹는 규모입니다. 변전 설비, 송전선 증설, 냉각용 수자원 확보, 지역 인허가는 모두 수년 단위로 움직입니다.
GPU는 발주 후 몇 달이면 들어오지만 전력 인프라는 그 속도를 못 따라갑니다. 실제로 완성된 서버가 전력 연결을 기다리며 대기하는 상황도 보고됩니다. 부족의 병목이 칩에서 전력으로 옮겨가고 있다는 이야기가 나오는 이유입니다.
사용자가 체감하는 지점
- 사용량 제한: 유료 요금제에서도 심층 리서치·고성능 모델 호출 횟수에 상한이 걸립니다. 원가가 높은 기능일수록 제한이 촘촘합니다.
- 요금 구조 분화: 월 20달러대 일반 요금제와 월 200달러대 상위 요금제가 갈린 것도, 헤비 유저의 추론 원가가 그만큼 크기 때문입니다.
- 속도 편차: 같은 서비스라도 시간대에 따라 응답 속도가 달라지는 것은 GPU 자원 경합의 결과입니다.
- 부품 가격: AI와 무관하게 PC를 조립하는 사람도 램 가격 상승으로 영향을 받습니다.
자주 묻는 질문
어떤 AI가 가장 컴퓨팅을 많이 쓰나요?
절대량으로는 사용자 수가 가장 많은 ChatGPT가 앞설 가능성이 높지만, 각 사가 총 소비량을 공개하지 않아 정확한 순위는 확인되지 않습니다. 질의 1건당 공개된 수치만 보면 제미나이 0.24Wh, ChatGPT 0.34Wh 수준으로 같은 자릿수입니다.
GPU 부족은 언제 풀릴까요?
단정하기 어렵습니다. 칩 생산 능력은 늘고 있지만 HBM 증설과 전력 인프라 구축이 각각 수년 단위로 걸리고, 그사이 수요도 계속 늘어납니다. 수요 증가세가 꺾이는 시점이 와야 해소되는 성격의 부족입니다.
같은 질문이라도 비용이 달라지나요?
크게 달라집니다. 짧은 단답과, 문서를 첨부해 긴 추론을 요구하는 질문은 소비되는 토큰이 수십 배 차이 납니다. 대화가 길어질수록 이전 맥락까지 매번 함께 처리되므로 뒤로 갈수록 무거워집니다.
온디바이스 AI가 대안이 될까요?
부분적으로는 그렇습니다. 요약·번역·간단한 분류처럼 가벼운 작업을 PC나 스마트폰에서 처리하면 클라우드 부하가 줄어듭니다. 다만 최상위 모델의 성능은 여전히 데이터센터에서만 나오기 때문에, 무거운 작업은 클라우드에 남습니다. PC에서 모델을 직접 돌릴 때 용량과 메모리가 어떻게 결정되는지는 GGUF·MLX 로컬 LLM 파일과 양자화 표기에서 다뤘습니다.
마무리
질문 한 건의 비용은 확실히 싸지고 있습니다. 그런데 질문의 수와 한 건당 토큰이 그보다 빠르게 늘고 있습니다. 여기에 HBM 생산 능력과 전력 인프라라는, 돈으로도 1~2년 안에 해결되지 않는 물리적 제약이 겹칩니다. 사용량 제한과 요금제 분화, 램 가격 상승은 모두 같은 원인에서 나온 서로 다른 증상입니다.
수치를 직접 확인하고 싶다면 구글의 AI 추론 환경영향 측정 보고서가 측정 방법론까지 공개하고 있어 참고할 만합니다.