불과 얼마 전까지만 해도 AI 하드웨어의 주인공은 단연 GPU였습니다. 엔비디아 칩을 구하지 못해 대기 줄을 서는 이야기가 헤드라인을 장식했죠. 그런데 2026년 들어 분위기가 바뀌었습니다. 이제 업계에서는 “GPU가 아니라 메모리가 진짜 병목”이라는 말이 나옵니다. 심지어 그래픽카드에 붙는 메모리(VRAM) 값이 GPU 칩 자체보다 비싼 경우까지 등장했습니다. 도대체 왜 메모리가 GPU보다 귀해진 걸까요? 그 이유를 하나씩 뜯어보겠습니다.
목차
GPU가 아무리 좋아도 메모리가 없으면 무용지물
AI 반도체의 성능은 연산 능력만으로 결정되지 않습니다. GPU가 계산을 아무리 빨리 해도, 그 계산에 쓸 데이터를 제때 공급받지 못하면 놀고 있을 수밖에 없습니다. 이 데이터를 초고속으로 실어 나르는 부품이 바로 HBM(고대역폭 메모리, High Bandwidth Memory)입니다.
거대한 AI 모델을 학습하고 추론하려면 수십~수백 기가바이트의 데이터를 순식간에 읽고 써야 합니다. 이때 메모리 대역폭이 부족하면 아무리 비싼 GPU라도 제 성능을 내지 못합니다. 이것을 “메모리 병목(memory wall)”이라고 부릅니다. 즉, AI 시대의 진짜 관문은 연산이 아니라 메모리인 셈입니다.
AI 칩 한 장이 삼키는 HBM 양이 폭발했다
세대가 바뀔 때마다 AI 가속기 한 장에 들어가는 HBM 용량이 기하급수적으로 늘고 있습니다. 엔비디아 주력 칩만 봐도 그 증가 폭이 확연합니다.
| AI 가속기 | 탑재 메모리 | 용량 |
|---|---|---|
| H100 | HBM3 | 80GB |
| H200 | HBM3E | 141GB |
| B200 | HBM3E | 192GB |
| B300 | 12단 HBM3E | 288GB |
불과 몇 세대 만에 한 장당 HBM 탑재량이 80GB에서 288GB로 3배 넘게 뛰었습니다. 여기에 전 세계 데이터센터가 이런 칩을 수백만 장씩 사들이고 있으니, HBM 수요는 그야말로 천정부지로 치솟고 있습니다. 골드만삭스는 구글·아마존 등이 만드는 맞춤형 AI 칩(ASIC)용 HBM 수요만 82% 급증해 전체 시장의 3분의 1을 차지할 것으로 전망했습니다.
HBM을 만들수록 일반 메모리가 줄어든다
여기서 핵심적인 연쇄 효과가 발생합니다. HBM과 우리가 흔히 쓰는 일반 DRAM(PC·서버 램)은 같은 공장, 같은 실리콘 웨이퍼에서 만들어집니다. 그런데 HBM은 일반 DRAM보다 훨씬 높은 마진을 남깁니다. 그러니 삼성전자·SK하이닉스·마이크론 같은 제조사들이 앞다투어 생산 라인을 HBM으로 돌리는 것은 당연한 선택입니다.
문제는 HBM이 제조 공정이 복잡해서 일반 DRAM보다 훨씬 많은 웨이퍼를 잡아먹는다는 점입니다. 트렌드포스에 따르면 주요 3사의 HBM용 웨이퍼 투입 비중은 2026년 말 전체 DRAM의 22%, 2027년 말에는 30%까지 올라갈 전망입니다. HBM에 웨이퍼를 몰아줄수록 일반 DRAM 생산은 줄어들고, 그 결과 PC·스마트폰·서버에 쓰이는 평범한 메모리 가격까지 덩달아 오르는 도미노가 벌어지는 것입니다.
HBM은 왜 이렇게 비쌀까
HBM이 비싼 데는 분명한 기술적 이유가 있습니다. 일반 메모리를 평면으로 나열하는 것과 달리, HBM은 여러 개의 D램 칩을 수직으로 쌓아 올리는 3D 적층 구조입니다. 이렇게 쌓은 칩들을 TSV(실리콘 관통 전극)라는 미세한 구멍으로 연결하는데, 공정 난도가 높아 불량이 나기 쉽습니다.
그 결과 HBM은 같은 용량의 DDR5 대비 5~6배의 프리미엄이 붙습니다. 게다가 완성된 HBM을 GPU에 붙이는 TSMC의 CoWoS 같은 첨단 패키징 공정도 병목입니다. 만드는 곳도 삼성·SK하이닉스·마이크론 세 곳뿐이라, 공급이 수요를 따라가지 못하는 구조가 굳어졌습니다.
2026년 메모리 시장, 지금 어떤 상황인가
현재 메모리 시장은 IT 업계에서 가장 빡빡한 분야로 꼽힙니다. 마이크론과 SK하이닉스는 2026년 HBM 생산 물량이 이미 완판(sold out)됐다고 밝혔습니다. 하이퍼스케일러(대형 클라우드 기업)들이 다년간 공급 계약으로 미래 생산량까지 미리 싹쓸이한 탓입니다.
- 시장 규모: BofA는 2026년 HBM 시장을 546억 달러로 추정, 전년 대비 58% 성장
- 가격: 마이크론의 2026년 HBM 평균판매가(ASP)는 22% 상승 전망
- 공급 완화 시점: 전문가들은 이 부족 현상이 2027년까지 이어지고, 의미 있는 완화는 2028년에나 올 것으로 봅니다
단순한 주기적 등락이 아니라 구조적인 슈퍼사이클이라는 것이 시장의 대체적인 분석입니다.
이 상황이 소비자에게 미치는 영향
메모리 품귀는 데이터센터만의 이야기가 아닙니다. 우리 지갑에도 직접 영향을 미칩니다. 엔비디아가 마진이 높은 AI용 블랙웰 GPU에 메모리를 우선 배정하면서, 일반 소비자용 그래픽카드 생산은 줄고 가격은 올랐습니다. 실제로 고급 그래픽카드인 RTX 5090은 중고 시장에서 정가보다 65% 이상 비싸게, 일부는 5,000~6,000달러에 거래되기도 했습니다.
여기에 앞서 설명한 일반 DRAM 가격 상승까지 겹치면서, PC·노트북·스마트폰을 새로 장만하려는 소비자들의 부담도 커지고 있습니다. AI 붐이 만든 메모리 쟁탈전이 결국 일반 소비자에게까지 청구서를 내미는 셈입니다.
자주 묻는 질문
HBM과 일반 DRAM은 뭐가 다른가요?
둘 다 데이터를 임시 저장하는 D램이라는 점은 같습니다. 다만 HBM은 여러 칩을 수직으로 쌓아 대역폭(데이터 전송 속도)을 극대화한 특수 메모리로, AI 가속기 전용에 가깝습니다. 일반 DRAM은 PC·서버에 널리 쓰이는 표준 메모리입니다.
그럼 GPU 부족은 끝난 건가요?
완전히 끝난 것은 아닙니다. 다만 GPU 생산 자체가 HBM 공급에 발목이 잡혀 있어서, 이제는 “GPU가 없다”기보다 “GPU에 넣을 메모리가 없다”는 표현이 더 정확한 상황이 됐습니다.
메모리 가격은 언제쯤 안정될까요?
업계에서는 2027년까지 공급 부족이 지속되고, 증설 효과가 나타나는 2028년에야 의미 있는 완화가 올 것으로 보고 있습니다. 단기간에 해소되기는 어렵다는 전망이 우세합니다.
마무리
정리하면, AI 시대의 병목은 GPU에서 메모리로 옮겨왔습니다. 칩 한 장이 요구하는 HBM 양이 폭증하는 가운데, HBM과 일반 DRAM이 같은 웨이퍼를 두고 경쟁하는 구조 탓에 메모리 전반이 귀해진 것입니다. 이 흐름은 데이터센터를 넘어 우리가 사는 PC와 스마트폰 가격에까지 영향을 미치고 있습니다.
이 시리즈의 다른 글도 함께 읽어보시면 AI 인프라 경쟁의 전체 그림을 이해하는 데 도움이 됩니다.
- AI 질문 하나에 GPU는 얼마나 필요할까 — ChatGPT·제미나이·클로드·그록 인프라 비교
- 빅테크는 왜 엔비디아 GPU 놔두고 자체 AI 칩을 만들까 — 구글 TPU·아마존 트레이니움·MS 마이아