AI 시대 메모리는 왜 모순적으로 보이는가

메모리 산업은 오랫동안 전형적인 경기순환 산업이었다.
재고가 쌓이면 가격이 무너졌고, 가격이 무너지면 감산이 시작됐으며,
공급이 줄어들면 다시 업황이 회복됐다.
모바일 시대에도, 클라우드 시대에도 이 구조는 크게 달라지지 않았다.

그런데 AI 시대 들어 이상한 장면이 나타나기 시작했다.

한쪽에서는 HBM 공급 부족이 이야기된다.
특정 고객은 물량을 선점하기 위해 장기 계약을 맺고,
AI 서버 공급 일정 자체가 HBM 확보 여부에 영향을 받는다.
반면 같은 시기 일반 D램과 낸드는 여전히 재고와 가동률에 따라 가격이 흔들린다.

시장도 혼란스럽다.

어떤 투자자는 “AI 시대 메모리 슈퍼사이클”을 이야기한다.
반대로 어떤 투자자는 “HBM만 좋을 뿐 결국 메모리는 다시 사이클 산업으로 돌아갈 것”이라고 말한다.

둘 중 무엇이 맞는가.

이 질문에 답하지 못하면 AI 시대의 메모리 산업을 계속 잘못 해석하게 된다.

AI가 바꾸는 것은 메모리 수요의 크기만이 아니다.
메모리의 산업적 역할 자체다.

지금 시장은 대체로 “HBM 수요가 얼마나 커질까”에 집중한다.
그러나 산업 구조를 결정하는 핵심 변수는 단순한 수요 증가가 아니다.

진짜 중요한 것은:

• 메모리가 시스템의 병목으로 얼마나 오래 남는가
• 그리고 그 병목이 얼마나 오랫동안 협상력으로 연결되는가

다.

기존 메모리 산업은 왜 경기순환적이었는가

메모리는 ‘수요’보다 ‘재고’로 가격이 결정된다

메모리 산업을 이해할 때 가장 흔한 오해는
“수요 예측 실패가 사이클을 만든다”는 설명이다.
실제로는 훨씬 구조적인 문제다.

D램과 낸드는 극단적인 고정비 산업이다.
일단 공장을 건설하면 대부분의 비용은 감가상각과 설비투자에 묶인다.
변동비 비중은 상대적으로 낮다.

이 구조에서는 가격이 원가보다 가동률에 훨씬 민감해진다.
그리고 가동률 변화는 결국 재고로 나타난다.

중요한 것은 가격이 “수요 규모”보다 “재고 방향성”에 훨씬 먼저 반응한다는 점이다.

실제 메모리 업계에서는 재고가 정상 범위를 넘어
2~3개월 수준으로 축적되기 시작하면,
가격은 단순 조정이 아니라 하락 추세에 진입하는 경우가 많다.

메모리 산업에서 가장 위험한 문장은
“수요가 좋으니 가격은 버틸 것이다”다.

현실에서는 수요가 좋아도 재고가 쌓이면 가격은 붕괴한다.
이것이 메모리 산업이 반복적으로 경기순환 산업으로 움직여온 핵심 이유다.

왜 메모리는 반복적으로 치킨게임이 되었는가

메모리 설비투자는 공격적 투자처럼 보이지만,
실제로는 상당 부분 방어적 성격이다.

한 업체가 미세공정 전환이나 증설을 늦추면:

• 원가 경쟁력이 밀리고
• 고객 인증이 늦어지고
• 점유율이 하락한다

따라서 과점 구조여도 모두가 동시에 투자하게 된다.

문제는 여기서 발생한다.
개별 기업 입장에서는 합리적인 행동이 산업 전체에서는 공급 과잉으로 이어진다.

결국 메모리 산업의 핵심 변수는 항상 동일했다.

모바일 시대에도, 클라우드 시대에도 시장은 매번 “이번에는 다르다”고 말했지만,
공급이 따라붙는 순간 사이클은 반복됐다.

따라서 AI가 정말 산업 구조를 바꾸려면,
단순 수요 증가가 아니라 공급 탄력성을 구조적으로 제한하는 요소가 필요하다.

AI는 메모리 산업에서 무엇을 바꾸었는가

계산보다 데이터 이동이 더 비싸졌다

AI는 단순히 더 많은 연산을 요구하지 않는다.

더 정확히 말하면:

• 더 많은 데이터를
• 더 자주
• 더 빠르게 이동시키라고 요구한다.

그리고 현대 AI 시스템에서는 이 데이터 이동 비용이 성능을 결정하기 시작했다.

연산 성능이 아무리 증가해도 필요한 데이터와 가중치,
캐시를 제때 공급하지 못하면 시스템은 대기 상태에 가까워진다.
결국 가장 비싼 연산 자산의 활용률이 떨어진다.

메모리는 저장장치에서 시스템 처리량을 결정하는 인프라로 이동하고 있다.

왜 추론이 HBM을 더 중요하게 만드는가

많은 투자자들은 AI 메모리 수요를 학습 중심으로 이해한다.
하지만 장기적으로 산업 구조를 바꿀 가능성이 높은 쪽은 추론이다.

그리고 추론은 생각보다 훨씬 메모리 집약적이다.

대규모 언어모델의 추론에서는 매 토큰 생성마다 이전 계산 결과를 반복적으로 읽어와야 한다.
이 구조가 KV 캐시다.

문맥 길이가 길어질수록:

• 읽어야 하는 캐시 양이 증가하고
• 시스템은 계산보다 메모리 읽기에 더 많은 시간을 소비하게 된다.

결국 추론 확장은:

왜 HBM은 기존 D램과 다른 경제학을 가지는가

병목은 ‘메모리 단독’이 아니라 시스템 결합에서 발생한다

HBM을 단순히 “비싼 D램”으로 보면 본질을 놓친다.

HBM은:

• TSV(실리콘 관통 전극)
• 적층 구조
• 첨단 패키징
• 인터포저 결합

이 결합된 시스템 수준 제품이다.

따라서 공급 제약은 단순 웨이퍼 생산능력에서 결정되지 않는다.

병목은:

• TSV 공정
• 적층 수율
• 첨단 패키징 생산능력
• CoWoS 생태계
• 열 설계

전체에서 동시에 발생한다.

HBM의 프리미엄은 기술 자체보다
공급망 결합 제약이 얼마나 오래 유지되는가에 더 가깝다.

이 결과 단기적으로는 공급 탄력성이 크게 낮아진다.
그리고 바로 이 낮은 공급 탄력성이 가격결정력의 근원이 된다.

하지만 병목은 영구적이지 않다

현재 시장의 가장 큰 확증편향은 이것이다.

“AI는 계속 커지고, HBM은 어렵기 때문에 병목은 오래 지속될 것이다.”

그러나 역사적으로 병목은 영구적으로 유지된 적이 거의 없다.

공급망은 결국 학습한다.

• 공정은 안정화되고
• 수율은 개선되며
• 표준은 형성되고
• 패키징 생태계는 확장된다.

그리고 AI에서는 공급 확대보다 더 중요한 변화가 나타날 가능성이 있다.

KV 캐시 압축, 저비트 양자화, 희소 연산,
추측 디코딩 같은 기술들의 공통점은 동일하다.

HBM 공급 확대가 아니라:
“왜 그렇게 많은 대역폭이 필요한가” 자체를 공격한다.

투자자는 무엇을 봐야 하는가

핵심은 수요가 아니라 병목의 지속 기간이다

따라서 AI 시대 메모리 산업을 분석할 때는
지표의 우선순위를 바꿔야 한다.

중요한 것은 단순 수요 전망이 아니다.
핵심은 병목의 해소 속도다.

메모리는 ‘수요 성장 산업’이 아니라 ‘병목 산업’으로 읽어야 한다

AI는 메모리 산업의 역할을 바꾸고 있다.

특히 HBM과 첨단 패키징은 더 이상 단순 부품이 아니다.
이제 그것들은 AI 시스템의 처리량과 효율을 결정하는 핵심 인프라에 가까워지고 있다.

이것은 과거 모바일·클라우드 시대의 단순 수요 증가와는 다른 변화다.
메모리는 저장장치에서 시스템 성능을 좌우하는 자산으로 이동하고 있다.

하지만 여기서 가장 중요한 것은 “AI 수요가 얼마나 커질까”가 아니다.

진짜 중요한 것은 이 병목이 얼마나 오래 유지되는가다.

공급망은 결국 학습하고,
소프트웨어는 점점 더 적은 대역폭으로 같은 성능을 내기 시작할 것이다.

그 순간 HBM은 다시 ‘희소 자산’이 아니라
‘대체 가능한 메모리’에 가까워질 수 있다.

결국 메모리 산업의 미래는
“얼마나 많이 팔리느냐”보다,
“얼마나 오랫동안 시스템에서 빠질 수 없는 위치를 유지하느냐”에 의해 결정될 가능성이 높다.

AI 시대의 메모리를 이해한다는 것은 결국:
메모리를 단순 반도체가 아니라,
‘병목의 경제학’으로 읽는다는 의미에 더 가깝다.