엔비디아 GPU 한 장을 구하려고 전 세계 기업이 줄을 서는 시대입니다. 그런데 정작 그 GPU를 가장 많이 사들이던 구글·아마존·마이크로소프트·메타 같은 빅테크들은 조용히 다른 길을 걷고 있습니다. 남의 칩을 사는 대신, 자기들이 쓸 AI 칩을 직접 설계해 만들어 쓰는 것입니다. 구글의 TPU, 아마존의 트레이니움, 마이크로소프트의 마이아가 대표적입니다. 왜 세계 최고의 소프트웨어 기업들이 반도체까지 직접 만들기 시작했을까요. 이 글에서 그 이유를 하나씩 풀어보겠습니다.
목차
GPU와 자체 칩(ASIC)은 뭐가 다를까
먼저 두 칩의 성격을 구분해야 합니다. 엔비디아 GPU는 범용 칩입니다. 원래 그래픽 처리를 위해 태어났고, 지금은 AI 연산까지 두루 잘 소화합니다. 어떤 작업이든 무난하게 처리하는 만능 선수인 셈입니다.
반면 구글 TPU 같은 자체 칩은 ASIC(주문형 반도체)입니다. 특정 목적, 즉 AI의 핵심인 대규모 행렬 연산 하나만 극단적으로 잘하도록 설계됩니다. 그래픽 처리처럼 AI에 필요 없는 회로를 걷어낸 대신, 자사 워크로드에 딱 맞춰 처리 속도와 전력 효율을 끌어올립니다. 범용성을 포기하고 특화 성능과 효율을 챙긴 것입니다.
바로 이 차이가 빅테크가 자체 칩으로 눈을 돌린 출발점입니다. 서비스가 정해져 있고 그 규모가 어마어마하다면, 만능 칩보다 우리 일에만 최적화된 전용 칩이 훨씬 유리하기 때문입니다.
빅테크별 자체 AI 칩 지도
주요 기업들이 어떤 칩을, 어떤 용도로 만들고 있는지 정리하면 다음과 같습니다.
| 기업 | 자체 칩 | 주 용도 | 특징 |
|---|---|---|---|
| 구글 | TPU (텐서처리장치) | 학습·추론 | 2013년부터 개발, 7세대 아이언우드(Ironwood)까지. 제미나이 학습 핵심 인프라 |
| 아마존(AWS) | 트레이니움·인퍼런시아 | 학습·추론 분리 | 학습은 트레이니움, 추론은 인퍼런시아로 역할 분담. 외부 판매도 추진 |
| 마이크로소프트 | 마이아(Maia) | 추론 중심 | 애저(Azure) 환경 최적화, 2026년 마이아 200 공개 |
| 메타 | MTIA | 추천 알고리즘 추론 | 페이스북·인스타그램 추천 연산에 특화, 엔비디아와 병행하는 투트랙 |
구글의 최신 칩인 7세대 TPU ‘아이언우드’는 2025년 4월 공개됐습니다. 칩 한 장에 192GB의 고대역폭 메모리(HBM3e)를 담았고, 최대 9,216개까지 묶어 하나의 거대한 연산 자원으로 쓸 수 있습니다. 이전 세대 대비 성능을 크게 끌어올렸으며, AI 연구기업 앤스로픽(Anthropic)은 2026년부터 100만 개 이상을 도입하겠다고 밝힌 상태입니다. 자체 칩이 실험 단계를 넘어 대규모 상용 인프라로 자리 잡았다는 신호입니다.
왜 직접 만드는가 — 다섯 가지 이유
1. 비용 절감 — 특히 ‘추론’ 비용
가장 큰 이유는 돈입니다. 엔비디아 최상위 GPU는 값이 비쌀 뿐 아니라 전력도 많이 먹습니다. AI 서비스가 일상화될수록 이 비용은 천문학적으로 불어납니다. 여기서 핵심은 추론(inference)입니다. 모델을 한 번 훈련시키는 ‘학습’과 달리, 사용자 질문에 실시간으로 답하는 ‘추론’은 서비스가 돌아가는 내내 발생하는 영구적 비용입니다. 한 분석은 2030년이면 AI 연산의 약 75%가 추론에 쓰일 것으로 내다봤습니다. 불필요한 기능을 덜어낸 전용 칩이 이 반복 비용을 줄이는 데 유리한 이유입니다.
2. 성능·전력 효율 최적화
자체 칩은 자사 AI 작업에 딱 맞춰 설계되므로 같은 일을 더 빠르고 더 적은 전력으로 처리할 수 있습니다. 업계에서는 대규모 배포 기준으로 총소유비용(TCO)이 GPU 대비 30~50%가량 낮아진다는 분석이 나옵니다. 실제로 이미지 생성 서비스 미드저니(Midjourney)는 엔비디아 클러스터에서 구글 TPU로 옮긴 뒤 월 추론 비용을 3분의 1 수준으로 줄였다고 알려졌습니다.
3. 공급망 안정성 — 엔비디아 의존 탈피
AI 칩 시장은 사실상 엔비디아 독점입니다. 한 회사에만 의존하면 공급 부족과 가격 협상에서 늘 끌려다닐 수밖에 없습니다. 자체 칩은 이 리스크를 분산시키는 보험입니다. 필요한 물량을 스스로 확보할 수 있으니 안정적으로 인프라를 키울 수 있습니다.
4. 수직 통합과 서비스 차별화
칩부터 소프트웨어, 데이터센터까지 전체 스택을 직접 제어하면 성능과 지연 시간, 에너지 효율을 통째로 조율할 수 있습니다. 클라우드 사업자에게 이는 곧 경쟁력입니다. 더 싸고 빠른 AI 인프라를 무기로 고객을 끌어올 수 있기 때문입니다.
5. 무어의 법칙 둔화
반도체 성능이 저절로 두 배씩 좋아지던 ‘무어의 법칙’이 한계에 부딪히면서, 이제는 특정 작업에 특화된 설계로 성능을 끌어올리는 길이 더 현실적인 대안이 됐습니다. 자체 칩 설계는 이 흐름과도 맞닿아 있습니다.
그래도 엔비디아가 무너지지 않는 이유
그렇다고 GPU 시대가 끝난 것은 아닙니다. 엔비디아에는 자체 칩이 쉽게 넘볼 수 없는 강점이 있습니다.
첫째, 쿠다(CUDA) 생태계입니다. 수많은 개발 도구와 라이브러리, 방대한 커뮤니티가 이미 GPU 위에 쌓여 있습니다. 전담 엔지니어링 팀이 없는 스타트업이나 연구자에게는 GPU가 여전히 가장 손쉬운 선택입니다.
둘째, 유연성입니다. GPU는 AI가 아닌 다양한 연산도 소화하므로 어떤 워크로드가 올지 모를 때 안전한 선택입니다.
셋째, 규모의 경제입니다. 자체 칩은 대규모로 굴릴 때 비로소 이득이 큽니다. 소규모·중간 규모에서는 오히려 GPU가 더 저렴할 수 있습니다. 자체 칩 개발에는 막대한 초기 투자와 설계 역량이 필요한데, 이걸 감당할 수 있는 곳은 결국 빅테크뿐입니다.
정리하며
빅테크가 자체 AI 칩을 만드는 것은 엔비디아를 몰아내겠다는 선언이 아니라, 거대한 규모의 AI 서비스를 지속 가능한 비용으로 굴리기 위한 생존 전략에 가깝습니다. 우리가 매일 쓰는 검색·번역·추천·챗봇 뒤에는 이렇게 눈에 보이지 않는 칩 경쟁이 숨어 있습니다. 당분간은 범용 GPU와 전용 ASIC이 각자의 자리에서 공존하며, 엄청난 규모를 다루는 곳일수록 자체 칩 비중을 늘려가는 흐름이 이어질 전망입니다. 그 경쟁의 결과가 결국 우리가 쓰는 AI 서비스의 속도와 가격으로 돌아온다는 점에서, 지켜볼 가치가 충분한 이야기입니다.
각 기업의 공식 칩 소개는 구글 클라우드 TPU, AWS 트레이니움에서 확인할 수 있습니다. 한편 이 칩들이 실제 서비스에서 얼마나 많은 연산을 감당하는지 궁금하다면 AI 질문 하나에 GPU는 얼마나 필요할까 글을 함께 읽어보시길 권합니다.
자주 묻는 질문
TPU가 GPU보다 무조건 좋은가요?
아닙니다. TPU는 대규모 AI 연산에 특화돼 전력 효율과 비용에서 유리하지만, 범용성과 개발 편의성에서는 GPU가 앞섭니다. 규모가 크고 워크로드가 정해져 있을수록 TPU가, 유연성이 필요하거나 규모가 작을수록 GPU가 유리합니다.
학습용 칩과 추론용 칩은 왜 나누나요?
모델을 훈련시키는 학습과, 완성된 모델로 답을 내는 추론은 요구되는 연산 특성이 다릅니다. 아마존이 트레이니움(학습)과 인퍼런시아(추론)를 나눈 것처럼, 각 단계에 맞춰 칩을 특화하면 효율을 더 끌어올릴 수 있기 때문입니다.
개인이나 스타트업도 자체 칩을 쓸 수 있나요?
직접 만들 수는 없지만, 클라우드를 통해 빌려 쓸 수 있습니다. 구글 클라우드에서 TPU를, AWS에서 트레이니움 인스턴스를 시간 단위로 이용할 수 있어 초기 투자 없이 자체 칩의 효율을 체험할 수 있습니다.