—
AI 컴퓨팅이란 무엇인가: ‘전기를 토큰으로 바꾸는 공장’
AI 컴퓨팅을 투자 관점에서 단순화하면 결국 “전기를 토큰으로 바꾸는 공장”이다. 전력을 투입하고, 연산을 수행한 뒤, 결과물을 서비스 형태로 뽑아낸다. 흥미로운 건 AI가 겉으로는 소프트웨어 산업처럼 보이지만, 규모가 커질수록 비용 구조와 병목 구조는 제조업에 가까워진다는 점이다.
훈련(training)은 대규모 전력과 연산을 단기간에 집중적으로 소비한다. 반면 추론(inference)은 서비스 사용량이 늘어날수록 지속적으로 컴퓨팅 자원을 빨아들인다. 둘의 공통점은 명확하다. 수요는 소프트웨어처럼 폭증하지만 공급은 물리 인프라처럼 느리게 늘어난다는 것이다. 이 속도 차이가 결국 공급 부족의 구조적 원인이 된다.
그래서 AI 기업에게 컴퓨팅은 단순한 비용 항목이 아니다. 성장의 상한(capacity cap)에 가깝다. 얼마나 많은 연산을, 얼마나 낮은 비용으로, 얼마나 안정적으로 확보할 수 있는지가 결국 매출 성장과 서비스 품질을 결정한다. 다시 말해 AI 산업의 경쟁력은 알고리즘만으로 결정되지 않는다. 실제로는 컴퓨팅 공급망 전체를 얼마나 확보했는지가 더 중요해지고 있다.
여기서 많은 사람들이 놓치는 부분이 있다. AI는 GPU만 있으면 된다고 생각하지만, 실제 워크로드는 훨씬 복합적이다.
– GPU는 행렬 연산을 담당하는 엔진이다. 훈련에서 특히 압도적으로 중요하다.
– CPU는 작업을 분배하고 입출력을 관리하며 여러 GPU 간 통신을 조율한는 ‘관제탑’에 가깝다.
– 메모리(HBM/DRAM)는 GPU가 굶지 않게 데이터를 공급하는 ‘연료 라인’역할을 한다.
– 네트워크(스위치/NIC/광모듈)는 여러 GPU를 하나의 거대한 컴퓨터처럼 쓰게 만드는 ‘도로 인프라’와 같다.
이 구분이 중요한 이유는 단순하다. GPU 숫자가 많다고 해서 컴퓨팅 공급이 늘어나는 것이 아니기 때문이다. CPU, 메모리, 네트워크 중 하나라도 병목이 생기면 GPU는 놀게 된다. 고객이 실제로 구매하는 것은 ‘GPU 개수’가 아니라 안정적으로 가동되는 클러스터 전체다.
그래서 공급 부족은 단순한 칩 부족 현상이 아니다. 전력, 냉각, 네트워크, 메모리까지 포함한 올인(all-in) 공급 부족이다. 결국 이는 AI 서비스 원가와 마진 구조까지 흔들게 된다.
—
데이터센터는 무엇으로 구성되나: 밸류체인 지도 그리기
데이터센터 역시 단순한 부동산으로 보면 본질이 보이지 않는다. 데이터센터는 사실상 거대한 에너지 변환 공장에 가깝다. 전기를 받아 안전하게 분배하고, 발생한 열을 제거하며, 서버와 네트워크를 통해 연산을 수행하고, 이를 24시간 안정적으로 운영하는 시스템이다.
구조를 기능별로 쪼개 보면 병목이 훨씬 선명하게 드러난다.
1) 전력 경로(그리드→랙)
– 계통연계/인입(Substation, 유틸리티 연결): 데이터센터로 전기를 ‘가져오는’ 구간. 인허가와 공사 일정이 길면 여기서 먼저 막힘
– 변압기(Transformer): 고전압을 데이터센터가 쓰는 전압으로 바꿔주는 장비. 없으면 전기를 받아도 쓸 수 없음
– 스위치기어(Switchgear): 전력을 안전하게 개폐·보호하는 장치로, 사고를 막고 유지보수를 가능하게 함
– UPS(무정전 전원): 배터리/발전기 순간 정전에도 서비스가 죽지 않게 버퍼를 제공
– PDU/버스덕트(배전): 랙 단위로 전력을 정밀하게 배분
2) 열 경로(칩→외부)
– CRAC/CRAH, 냉동기(Chiller), 냉각탑, 열교환기: 서버에서 발생한 열을 실내→실외로 옮기는 설비
– 액체냉각(Direct-to-chip, CDU 등); 랙 밀도가 높아질수록 공랭만으로는 한계가 와서, 동일 면적/전력에서 더 많은 컴퓨팅을 뽑기 위해 채택이 늘어나는 영역
3) IT 패브릭(연산 경로)
– 서버(섀시), CPU, GPU, 메모리(HBM/DRAM), 스토리지
– 네트워크 스위치, NIC, 광모듈/케이블링: 특히 대규모 학습은 동서 트래픽이 폭증해 네트워크가 ‘성능 병목’이 되기 쉬움
4) 운영/소프트웨어
– DCIM/모니터링, 워크로드 스케줄링, 보안, 유지보수: 전력·열·장비 상태를 실시간으로 관리해 가동률과 SLA를 지키는 영역
이 모든 밸류체인은 발전 → 송전/배전 → 변압 → 데이터센터 설계·시공 → 서버 및 가속기 → 네트워크 → 운영으로 이어진다. 그리고 이 사슬에서 단 하나라도 막히면 AI 서비스 전체 속도가 느려진다.
그래서 투자에서 중요한 것은 데이터센터라는 ‘점’이 아니라 전력부터 운영까지 이어지는 ‘선’을 보는 것이다. 완공된 건물이 아니라 실제로 가동 가능한 MW와 랙 밀도가 진짜 공급이다.
—
왜 공급이 느린가(1): 전력—가장 느리게 움직이는 제약
AI 수요는 폭발적으로 늘어나고 있지만, 전력 인프라는 그렇게 움직이지 않는다. 전력망 증설은 단순한 설비 투자가 아니다. 인허가, 지역 정치, 계통연계, 공사 일정이 모두 얽혀 있다. GPU는 주문하면 비교적 빠르게 늘릴 수 있지만, 송전망은 그렇지 않다.
이 때문에 AI 공급은 선형적으로 증가하지 않는다. 일정 구간까지는 공급이 거의 정체되다가 특정 시점에 갑자기 계단식으로 늘어난다. 그리고 그 사이의 공백이 가격 상승과 공급 부족을 만든다.
투자자 입장에서 중요한 건 AI 산업의 수익 일부가 결국 전력 인프라 쪽으로 이동한다는 점이다. 시장은 AI를 여전히 소프트웨어 산업으로 보지만, 실제 병목은 점점 유틸리티와 인프라 영역에서 발생하고 있다.
—
왜 공급이 느린가(2): AI 가속기—만들 수 있는 속도 자체가 한계
그다음 병목은 AI 가속기다.
AI 가속기는 단순한 칩이 아니다. 최첨단 공정과 첨단 패키징, HBM 메모리 생태계가 함께 움직여야 한다. 따라서 공급 확대 속도가 매우 제한적이다. 여기에 특정 플랫폼 중심으로 소프트웨어 생태계가 형성되면 수요 집중은 더욱 심해진다. 공급은 느린데 수요는 특정 플랫폼으로 몰리는 구조가 만들어지는 것이다.
그리고 여기서 중요한 건 AI 가속기 공급이 사실상 “클러스터 공급” 문제라는 점이다. GPU만 생산된다고 끝나는 것이 아니다. HBM, 패키징, 서버 통합, 네트워크 구성까지 모두 맞아야 실제로 가동 가능한 컴퓨팅 공급이 늘어난다.
그래서 투자 관점에서도 단순히 “누가 칩을 만드느냐”만 보는 것은 부족하다. 공급 제약이 유지되는 동안 가격결정력이 어디에 남는지를 봐야 한다. 가속기 자체뿐 아니라 패키징, 메모리, 서버 통합 능력까지 포함해 마진이 재분배될 가능성이 크다.
—
왜 공급이 느린가(3): 변압기·냉각—‘연결’과 ‘열’이 가동을 막는다
실제 현장에서는 데이터센터 건물이 완성돼도 변압기와 스위치기어가 늦게 들어와 장비를 켜지 못하는 경우가 발생한다. GPU는 도착했는데 전력을 연결하지 못해 클러스터 가동이 밀리는 식이다. 냉각 설계가 부족하면 랙 밀도를 높일 수 없고, 결국 같은 면적과 같은 전력을 쓰더라도 실제로 뽑아낼 수 있는 컴퓨팅 양이 줄어든다.
특히 변압기와 냉각은 눈에 잘 띄지 않는 영역이지만, 수요가 급증할 때 가장 쉽게 리드타임이 길어지는 구간이다. 장비가 부족해지면 프로젝트 일정 전체가 밀린다. 결국 AI 컴퓨팅 공급 부족은 생각보다 훨씬 전통적인 산업 공급망 문제에서 시작되는 경우가 많다.
—
결국 누가 목줄을 쥐나: 병목의 위치가 협상력을 만든다
시장은 흔히 데이터센터가 AI 시대의 핵심 플레이어라고 생각한다. 실제로 자본과 관심도 대부분 데이터센터와 GPU로 몰리고 있다. 하지만 공급 부족이 발생하는 산업에서는 늘 비슷한 일이 반복된다. 가장 눈에 띄는 플레이어보다, 공급망에서 가장 느리게 움직이는 구간이 결국 협상력을 가져간다.
지금 AI 인프라 시장도 그렇다.
표면적으로는 GPU 경쟁처럼 보이지만, 실제 현장에서는 이미 관심의 초점이 이동하고 있다. 이제 중요한 것은 “GPU를 몇 장 확보했는가”가 아니라, “그 GPU를 실제로 몇 MW 규모로 안정적으로 돌릴 수 있는가”다.
실제로 데이터센터 건물은 완공됐는데 계통연계 승인이 지연되거나, GPU는 들어왔는데 변압기 납기가 밀려 장비를 켜지 못하는 사례가 나타나고 있다. 냉각 설계 한계 때문에 랙 밀도를 충분히 올리지 못하는 경우도 생긴다.
결국 AI 컴퓨팅 공급 부족은 단순한 반도체 부족 문제가 아니다. 산업 전체 공급망 중 가장 느리게 움직이는 구간이 공급량을 결정하는 구조에 가깝다.
그리고 이 구조는 초과이익의 방향까지 바꾼다.
시장 참여자들은 보통 가장 화려한 영역에 프리미엄을 부여한다. 하지만 실제 산업 사이클에서는 공급 부족을 해결할 수 있는 플레이어가 가장 강한 가격결정력을 가져가는 경우가 많다. 지금 AI 시장에서도 병목은 GPU 자체보다, GPU를 실제로 가동 가능하게 만드는 전력망 연결, 변압·배전 장비, 고밀도 냉각 같은 인프라 영역으로 이동하고 있다.
중요한 건 병목이 한 곳에 고정되지 않는다는 점이다. 가속기 공급이 완화되면 전력망이 병목이 되고, 전력이 해결되면 냉각과 네트워크가 다시 문제로 떠오른다. 결국 AI 인프라 투자는 특정 산업 하나를 맞히는 게임이라기보다, 병목이 어디로 이동하는지를 추적하는 과정에 더 가깝다.
—
돈은 어디로 몰리나: 밸류체인별 수혜 구간과 체크포인트
지금 시장의 스포트라이트는 데이터센터와 GPU에 집중돼 있지만, 실제 초과수익 가능성이 높은 영역은 오히려 공급을 빠르게 늘리기 어려운 곳들이다. 대표적으로 전력 인프라, 변압·배전 장비, 그리고 고효율 냉각 시스템이다.
전력 인프라는 인허가와 계통연계 문제 때문에 단기간에 공급을 늘리기 어렵다. 변압기와 스위치기어 역시 최근 리드타임이 길어지면서 프로젝트 전체 일정을 좌우하기 시작했다. 액체냉각은 단순한 효율 개선 기술이 아니라, 동일한 전력과 면적에서 더 많은 컴퓨팅을 가능하게 만드는 공급 확장 기술에 가까워지고 있다.
그래서 앞으로 데이터센터 기업을 볼 때도 단순 임대율보다 실제 가동 가능한 MW 증가 속도가 더 중요해질 가능성이 높다. 장비 업체라면 수주잔고와 리드타임이 핵심 지표가 되고, 가속기 생태계에서는 단순 공급량보다 실제 서버 통합과 가동률이 더 중요해질 수 있다.
—
반대 시나리오: 공급 부족이 빨리 풀리면 무엇이 깨지나
물론 이 논리가 영원히 유지되는 것은 아니다. 시장이 지금처럼 공급 부족을 전제로 움직이고 있지만, 특정 조건들이 동시에 충족되기 시작하면 병목 프리미엄은 예상보다 빠르게 약해질 수 있다.
예를 들어 정책 지원으로 전력망 증설과 계통연계 속도가 빨라지고, 냉각 기술 효율이 개선되며, 가속기 공급 경쟁이 본격화되는 상황을 생각해볼 수 있다. 지금은 “부족” 자체가 가격결정력을 만들어주고 있지만, 공급 증가 속도가 수요 증가 속도를 따라잡기 시작하면 구조는 빠르게 바뀔 수밖에 없다.
그때 가장 먼저 흔들리는 것은 시장이 공급 부족을 전제로 높게 평가했던 밸류에이션이다.
최근 일부 인프라 영역에서는 이미 “리드타임 프리미엄”이 밸류에이션에 상당 부분 반영되기 시작했다. 그런데 변압기와 스위치기어 납기가 정상화되고, 액체냉각이 빠르게 표준화되며, 가속기 공급까지 완화되기 시작하면 지금의 단가 협상력은 예상보다 빠르게 약해질 가능성이 있다. 결국 수주잔고 증가율 역시 피크아웃 구간에 진입하게 된다.
그래서 중요한 것은 단순히 “AI 수요가 얼마나 증가하는가”가 아니다. 실제 투자에서는 공급 부족이 얼마나 오래 지속될 수 있는지가 훨씬 중요하다.
앞으로 시장에서 봐야 할 핵심 지표들도 결국 이 방향으로 수렴할 가능성이 높다. 계통연계 리드타임이 얼마나 단축되는지, 변압기와 스위치기어 납기가 정상화되는지, 액체냉각이 얼마나 빠르게 표준화되는지, 그리고 가속기와 HBM 공급이 얼마나 빠르게 완화되는지를 함께 봐야 한다.
—
결론: AI는 인프라 산업이다—병목을 사야 한다
결국 AI 컴퓨팅 공급 부족은 단순한 유행이 아니다. 수요는 소프트웨어처럼 폭증하는데, 공급은 전력 인허가와 장비 리드타임 때문에 인프라처럼 느리게 움직이면서 생기는 구조적 속도 차이에 가깝다.
그래서 지금의 AI 컴퓨팅 부족 현상은 단순한 데이터센터 붐의 부산물이 아니다. 전력, 가속기, 변압기, 냉각이 동시에 병목을 만들면서 나타나는 구조적인 공급 제약이다.
그리고 이 과정에서 가장 강한 협상력을 가져가는 쪽은 언제나 가장 유명한 플레이어가 아니다. 가장 늦게 움직이는 제약을 쥔 쪽이다.
데이터센터가 계속 시장의 중심에 서 있는 것은 맞다. 하지만 실제 투자 기회는 오히려 그 데이터센터를 실제로 ‘돌아가게 만드는’ 영역으로 더 넓게 퍼지고 있다. 전력 인입, 변압·배전, 열관리, 그리고 가속기 공급망까지 포함해서 말이다.
결국 시장은 다시 가장 현실적인 질문으로 돌아가게 된다.
“AI가 돌아갈 전기와 장비는 언제, 얼마나 실제로 공급될 수 있는가.”
그리고 그 답이 가장 늦게 도달하는 구간에 앞으로도 가장 큰 돈이 몰릴 가능성이 높다.