AI 반도체 경쟁: 칩보다 랙 아키텍처를 봐야 하는 5가지 이유
AI 반도체 경쟁을 가속기 성능표로 읽는 방식은 최근 실적을 충분히 설명하지 못합니다. 2026년 3분기 AMD의 데이터센터 매출은 전년보다 97% 늘었지만, 같은 시기 Arista의 매출은 58.5%, Astera Labs의 매출은 154% 증가했습니다. NVIDIA도 2026 회계연도 데이터센터 네트워킹 매출이 142% 늘었다고 공시했습니다. 연산칩의 수요만 강했다면 스위치, 인터커넥트와 랙 통합 부품의 성장률이 이처럼 함께 높아질 이유는 없습니다.
공통점은 고객이 칩을 단독으로 사지 않는다는 사실입니다. 고객이 필요한 것은 특정 시간 안에 학습을 끝내거나 정해진 비용으로 추론 요청을 처리하는 시스템입니다. 가속기의 피크 연산성능이 높아도 메모리에서 데이터가 늦게 오고, 가속기 사이의 동기화가 지연되며, 네트워크 장애와 소프트웨어 미성숙으로 장비가 쉬면 청구 가능한 결과물은 늘지 않습니다.
따라서 경쟁의 분석단위도 달라져야 합니다. 칩 성능은 여전히 중요하지만, 구매와 배치, 성능보증과 장애책임이 랙 단위로 묶일수록 공급자의 경쟁우위는 가속기에서 메모리·패브릭·전력·냉각·소프트웨어의 결합으로 이동합니다. 이 변화는 GPU의 중요성이 낮아졌다는 뜻이 아닙니다. 좋은 GPU를 실제 매출과 생산성으로 바꾸는 보완계층의 가치가 커졌다는 의미입니다.
AI 반도체 경쟁의 분석단위
AI 반도체 경쟁의 분석단위는 개별 칩에서 랙스케일 아키텍처로 확대되고 있습니다. 고객의 구매 목적이 칩 보유가 아니라 완료 작업량이기 때문입니다. 가속기 한 개의 연산능력은 시스템 성능의 상한을 제시합니다. 실제 처리량은 그 상한에 가속기 활용률, 메모리 공급률, 통신효율, 소프트웨어 효율과 가동시간을 곱한 값에 가깝습니다. 어느 항목 하나가 낮아지면 나머지 부품의 높은 사양은 비용으로 남습니다.
이 글에서 랙스케일 아키텍처는 가속기·CPU·메모리·인터커넥트·네트워크·전력·냉각·소프트웨어를 하나의 배치·운영 단위로 설계한 시스템 구조를 뜻합니다. 서버 여러 대를 같은 캐비닛에 넣었다는 외형적 의미가 아닙니다. 부품 선택, 펌웨어, 케이블링, 냉각, 관리도구와 성능보증이 한 설계 안에서 검증되는지가 기준입니다.
최근 공급업체의 발표는 이 단위가 실제로 커지고 있음을 보여줍니다. Arista의 2026년 3분기 공시는 AMD, Arm, Broadcom, Meta, Microsoft, Qualcomm과 개방형 랙스케일 아키텍처를 출시했다고 밝혔습니다. 네트워크 업체가 스위치 포트만 파는 대신 가속기와 CPU, 랙 설계의 호환성을 함께 제시한 것입니다.
Astera Labs의 같은 분기 공시에서는 패브릭 스위치가 회사 최대 제품군으로 올라섰습니다. 매출은 5억8,490만달러로 전분기보다 49%, 전년보다 154% 늘었습니다. 특정 칩의 출하보다 랙 안에서 메모리와 연산장치를 연결하는 위치의 중요성이 커졌다는 신호로 읽을 수 있습니다.
세 회사의 원자료는 서로 다른 제품군의 실적이 같은 방향으로 움직였다는 근거입니다. 이를 랙스케일 전환의 인과관계로 검증하려면 연결 매출이 가속기 출하보다 오래 성장하는지, 설계채택과 마진이 함께 개선되는지를 관찰해야 합니다. 단기 동반증설에 그친다면 구조변화라는 가설은 약해집니다.
반대 근거도 있습니다. 네트워크와 연결부품 매출이 가속기 출하량을 따라 늘었을 뿐, 경쟁의 중심은 여전히 GPU라는 해석입니다. 실제로 랙 부품의 수요는 가속기 설치에서 파생됩니다. 다만 파생수요라는 사실이 가격결정력의 위치까지 고정하지는 않습니다. 설치된 가속기의 활용률을 몇 퍼센트포인트 바꾸는 부품은 전체 시스템 비용에 비해 작은 원가로 큰 경제적 가치를 만들 수 있습니다.
유효 처리량
랙의 경제적 성능은 피크 연산량이 아니라 실제 완료 작업량으로 측정해야 합니다. 유효 처리량은 피크 연산성능에서 통신·메모리·소프트웨어·장애·유휴시간의 손실을 뺀 실제 완료 작업량입니다. 같은 수의 가속기를 설치해도 이 손실률이 다르면 학습 완료시간과 추론 단가가 달라집니다.
간단한 예를 들 수 있습니다. 가속기 1,000개가 각각 100의 이론성능을 내더라도 평균 활용률이 45%라면 시스템은 4만5,000만큼만 일합니다. 활용률을 55%로 높이면 가속기를 추가하지 않고도 완료 작업량이 22% 늘어납니다. 이 10%포인트의 차이를 만드는 원인이 메모리 대기, 집단통신, 작업 스케줄링 또는 장애복구라면 경제적 병목은 칩 외부에 있습니다.
활용률은 하나의 평균으로 끝나지 않습니다. 계산코어가 일하지 않는 시간이 데이터 준비 때문인지, 가속기 간 동기화 때문인지, 네트워크 재전송 때문인지 구분해야 합니다. 원인을 나누지 않으면 더 빠른 가속기를 투입하고도 같은 대기시간을 반복합니다. 랙 아키텍처는 이 대기시간의 출처를 설계 단계에서 줄이고 운영 단계에서 관찰 가능하게 만드는 장치입니다.
대규모 모델 학습에서는 작업을 여러 가속기에 나누는 순간 통신이 계산의 일부가 됩니다. 한 가속기가 계산을 끝내도 다른 가속기의 결과를 기다리면 전체 단계는 진행되지 않습니다. 느린 노드 하나, 혼잡한 링크 하나, 메모리 오류 하나가 다수 가속기의 시간을 동시에 묶을 수 있습니다. 이 인과 메커니즘 때문에 칩 수가 늘어날수록 독립적인 성능의 합보다 가장 느린 경로의 영향이 커집니다.
추론은 양상이 다르지만 랙 단위 판단이 필요하다는 결론은 같습니다. 사용자가 요구하는 지연시간, 배치 크기, 모델 크기와 트래픽 변동에 따라 메모리 용량과 대역폭, 네트워크와 스케줄러의 비중이 달라집니다. 낮은 지연이 중요한 서비스는 가속기 사용률을 일부 포기할 수 있고, 대량 배치 서비스는 네트워크와 메모리를 더 적극적으로 공유할 수 있습니다. 단일 칩 벤치마크는 이 운영 선택을 담지 못합니다.
AMD의 2026년 3분기 공시는 데이터센터 매출이 전년보다 97% 증가했으며 Instinct GPU와 EPYC CPU 판매가 함께 기록을 세웠다고 밝혔습니다. CPU와 가속기가 함께 성장했다는 사실은 AI 시스템에서 호스트 처리, 데이터 준비와 제어 작업이 사라지지 않았음을 보여줍니다. 연산칩 하나의 사양보다 이질적인 처리장치를 얼마나 효율적으로 묶는지가 실제 배치의 조건입니다.
랙의 병목 구조
랙은 가장 늦고 불안정한 구성요소가 전체 가동을 제한하는 직렬 시스템입니다. 가속기, HBM, CPU, 스위치, NIC, 광모듈, 전력변환과 냉각은 서로 대체재가 아닙니다. 하나의 부품이 빠져도 완성된 시스템을 인도하기 어렵고, 사양이 맞지 않으면 다른 부품의 성능을 낮춰야 합니다. 매출 인식도 가장 늦게 준비된 구성요소를 기다릴 수 있습니다.
메모리는 연산코어가 처리할 데이터를 제때 공급해야 합니다. 인터커넥트는 랙 안의 가속기들이 결과를 교환하도록 하고, 네트워크는 랙 밖의 노드와 저장장치를 연결합니다. 전력변환 장치는 정해진 랙 전력 안에서 각 보드에 안정적인 전압을 제공하며, 냉각은 부품이 스로틀링 없이 동작하도록 열을 빼냅니다. 관리 소프트웨어는 장애를 발견하고 작업을 다른 자원으로 옮깁니다.
이 구조에서는 가장 비싼 부품이 항상 가장 큰 경제적 병목이 아닙니다. 단가가 낮은 리타이머나 케이블, 펌웨어의 오류가 고가 가속기의 가동을 늦추면 손실은 부품가격보다 훨씬 큽니다. 고객은 작은 부품의 원가절감보다 랙 전체의 설치일과 안정성을 중시하게 됩니다. 공급자의 협상력도 원가비중이 아니라 지연시킬 수 있는 시스템 가치에 비례해 달라질 수 있습니다.
공급망 관리 역시 칩별 조달에서 구성 검증으로 이동합니다. 메모리와 스위치가 제때 도착해도 펌웨어 버전이 맞지 않거나 케이블 토폴로지가 바뀌면 재검증이 필요합니다. 교체 가능한 부품 목록을 늘리면 공급위험은 낮아지지만 테스트 조합과 장애책임은 늘어납니다. 선택권과 통합복잡성 사이의 비용을 고객이 직접 부담하게 됩니다.
랙의 전력도 같은 방식으로 봐야 합니다. 여기서 말하는 전력은 발전소나 계통 접속이 아니라 랙 내부의 전력 예산과 변환효율입니다. 가속기 전력이 늘면 같은 랙에 넣을 수 있는 장치 수, 전원장치 구성과 냉각방식이 바뀝니다. 따라서 칩 한 개의 성능향상이 랙당 처리량으로 이어지는지는 전력밀도와 열설계의 실측값으로 확인해야 합니다.
이 때문에 랙 설계의 경쟁력은 부품 최고사양의 합이 아닙니다. 정해진 전력, 공간, 냉각과 장애허용 범위에서 완료 작업량을 최대화하는 조합입니다. 공급업체가 자사 칩의 최고 성능만 제시하면 고객은 나머지 통합위험을 떠안습니다. 랙 단위 검증을 제공하는 공급자는 그 위험을 가격에 반영할 수 있습니다.
워크로드와 통신비중
워크로드의 계산·통신 비중이 랙 아키텍처의 경제성을 결정합니다. 동일한 가속기라도 모델 병렬화 방식, 입력 길이, 배치 크기와 메모리 접근 패턴에 따라 네트워크에 요구하는 대역폭과 지연이 달라집니다. 범용 성능표로 구매한 시스템이 실제 워크로드에서는 과잉 또는 부족 설계가 될 수 있습니다.
대규모 학습은 다수 가속기의 상태를 자주 맞춰야 합니다. 매 단계의 집단통신 시간이 늘면 연산성능 향상의 일부가 대기시간으로 사라집니다. 반대로 독립성이 높은 추론 요청은 여러 랙에 분산하기 쉽지만, 큰 모델의 가중치를 여러 장치에 나누거나 긴 문맥을 처리하면 메모리와 장치 간 통신이 다시 중요해집니다.
따라서 고객이 비교해야 할 값은 칩당 FLOPS가 아니라 자신의 워크로드에서 측정한 토큰 처리량, 완료시간, 지연분포와 실패 후 복구시간입니다. 평균 지연만 보면 꼬리 지연이 숨고, 최대 처리량만 보면 낮은 트래픽에서의 효율이 빠집니다. 랙 아키텍처의 우위는 여러 부하조건에서 성능이 얼마나 안정적으로 유지되는지로 판단해야 합니다.
소프트웨어는 이 차이를 확대하거나 줄입니다. 컴파일러가 연산을 잘 배치하고 통신 라이브러리가 데이터 이동을 겹쳐 실행하면 같은 하드웨어의 유효 처리량이 높아집니다. 스케줄러가 장애 노드를 빠르게 제외하고 작업을 재시작하면 가동시간이 개선됩니다. 하드웨어와 소프트웨어를 따로 조달해도 성능책임은 분리되기 어렵습니다.
이 지점에서 플랫폼 제어권이 생깁니다. 플랫폼 제어권은 부품 선택, 소프트웨어 호환, 성능 튜닝, 검증과 장애책임을 통해 고객의 전환비용과 공급자 협상력을 결정하는 권한입니다. 시장점유율이 높은 칩만이 이 권한을 갖는 것은 아닙니다. 관리도구, 네트워크 운영체제 또는 랙 검증을 장악한 업체도 고객의 변경비용을 높일 수 있습니다.
다음 글에서 다룰 Scale-up과 Scale-out의 경계도 여기서 출발합니다. 동기화가 잦은 작업과 독립성이 높은 작업은 필요한 연결방식이 다릅니다. 다만 이번 글의 목적은 어느 프로토콜이 우월한지 정하는 것이 아니라, 워크로드의 통신비중이 경쟁단위를 랙으로 키운다는 사실을 확인하는 데 있습니다.
조달과 지원 책임
다섯 번째 이유는 고객이 성능뿐 아니라 배치속도와 지원책임을 구매하기 때문입니다. 여러 공급업체에서 최고 부품을 골라 직접 통합하면 이론상 가격과 선택권을 개선할 수 있습니다. 실제로는 부품 호환성, 펌웨어, 케이블, 냉각, 성능검증과 장애 원인 규명에 필요한 인력과 시간이 늘어납니다.
통합 플랫폼의 프리미엄은 부품 마진보다 배치일정과 장애책임을 줄이는 보험료입니다. 검증된 부품목록과 표준 랙 구성, 단일 관리도구와 지원창구가 있으면 배치일정을 예측하기 쉽습니다. 장애가 발생했을 때 어느 업체의 책임인지 고객이 직접 증명할 필요도 줄어듭니다. 이 비용을 줄이는 대신 공급자 의존은 높아집니다.
Supermicro의 2027 회계연도 1분기 공시는 매출이 199억달러로 직전 분기 111억달러, 전년 동기 50억달러에서 증가했다고 밝혔습니다. 회사는 기가와트급 데이터센터부터 컨테이너형 시스템까지 랙 단위 구축을 강조했습니다. 동시에 영업현금흐름은 4억3,400만달러 유출이었습니다. 랙 통합의 매출 성장과 운전자본 부담이 함께 커질 수 있음을 보여주는 사례입니다.
이 숫자는 시스템 통합자의 경제성을 매출 성장만으로 볼 수 없다는 점을 시사합니다. 고객 주문에 맞춰 다수 고가 부품을 먼저 확보하면 재고와 매출채권이 늘어납니다. 납품 지연이나 구성 변경이 생기면 부품 가격하락과 평가손실 위험도 통합자가 부담합니다. 성능보증으로 얻는 가격결정력이 운전자본과 보증비용을 넘는지 따져야 합니다.
부품업체의 위치도 달라집니다. onsemi의 2026년 3분기 공시는 AI 데이터센터 매출이 전분기보다 39%, 전년보다 175% 증가했다고 밝혔습니다. 전력반도체처럼 가속기 외부 부품도 랙 전력밀도와 효율의 제약이 커질수록 성장할 수 있습니다. 다만 높은 성장률이 곧 높은 협상력을 뜻하지는 않습니다. 대체 가능성, 고객 인증기간과 공급집중을 함께 봐야 합니다.
구매자 입장에서는 단일 공급자의 완성형 랙과 멀티벤더 구성 사이에서 세 가지 비용을 비교해야 합니다. 첫째는 장비가격, 둘째는 통합과 운영인력, 셋째는 지연·장애로 잃는 가속기 시간입니다. 세 번째 비용이 크면 부품단가가 높은 통합 플랫폼이 더 쌀 수 있습니다. 반대로 내부 통합역량이 충분하고 워크로드가 표준화돼 있다면 개방형 구성이 프리미엄을 낮춥니다.
개방형 랙의 반대 압력
개방형 랙은 공급자 선택권을 늘리지만 플랫폼 제어권을 다른 계층으로 이동시킵니다. 랙 단위 경쟁이 곧 단일 업체의 수직통합 승리를 뜻하지는 않습니다. 개방형 인터페이스와 표준 폼팩터가 성숙하면 고객은 검증된 구성 안에서도 부품을 바꿀 수 있습니다. 대형 클라우드 사업자는 자체 설계와 구매규모를 이용해 공급업체의 마진을 낮추고, 통합책임을 내부에 남길 수 있습니다.
Qualcomm의 2026 회계연도 실적 공시는 Amazon과 다세대 AI 데이터센터 협력을 발표하고 2027 회계연도 데이터센터 매출 목표 50억달러를 재확인했습니다. 기존 모바일 업체도 대형 고객과의 공동설계를 통해 랙 생태계에 진입할 수 있다는 뜻입니다. 플랫폼이 개방될수록 새로운 CPU와 가속기의 진입경로는 넓어집니다.
Arm 역시 2027 회계연도 2분기 주주서한에서 데이터센터 로열티가 전년보다 두 배 늘었다고 밝혔습니다. 단일 완제품 공급자가 아니라 공통 명령어체계와 IP를 제공하는 사업자가 여러 시스템 공급자의 성장에서 수익을 얻는 구조입니다. 개방형 랙은 완제품의 종속을 낮추는 대신 공통 아키텍처와 소프트웨어의 중요성을 높일 수 있습니다.
개방형의 비용도 남습니다. 규격상 연결된다는 사실과 실제 워크로드에서 성능이 안정적이라는 사실은 다릅니다. 공급업체 조합이 늘수록 인증해야 할 경우의 수와 장애 책임의 경계가 복잡해집니다. 고객이 이 검증능력을 갖추지 못하면 표준은 선택권을 주면서도 실제 전환을 어렵게 만듭니다.
경쟁은 폐쇄형과 개방형의 이분법보다 제어권이 어느 계층에 남는지로 봐야 합니다. 칩 인터페이스가 표준화돼도 통신 라이브러리와 관리도구가 특정 플랫폼에 묶일 수 있습니다. 랙 폼팩터가 열려 있어도 성능보증을 받기 위해 인증된 구성만 써야 할 수 있습니다. 종속은 사라지기보다 하드웨어, 소프트웨어, 검증과 지원 사이에서 이동합니다.
이 반대 압력 때문에 랙스케일 경쟁에서 지속 가능한 우위는 부품을 많이 소유하는 것만으로 만들어지지 않습니다. 고객이 실제로 바꾸기 어려운 계층, 바꿀 때 잃는 가동시간, 새 구성을 검증하는 비용이 어디에 집중되는지를 봐야 합니다. 개방형 생태계가 커질수록 통합능력의 가치가 낮아질 수도 있고, 검증 복잡성 때문에 오히려 높아질 수도 있습니다.
산업 판단의 기준
최근 숫자는 경쟁단위의 이동을 뒷받침하지만 수익풀의 최종 위치를 확정하지는 않습니다. SIA의 2026년 3분기 집계는 세계 반도체 매출이 전분기보다 24.1% 늘었다고 밝혔습니다. TSMC의 10월 매출은 전년보다 59.7% 증가했습니다. 첨단 연산 수요가 강한 것은 분명하지만, 총매출 증가만으로 랙 안의 협상력 분배를 알 수는 없습니다.
경영진 입장에서는 다섯 가지 변수를 함께 추적해야 합니다. 가속기 활용률과 완료시간은 랙의 성능을, 네트워크·메모리 대기비중은 병목의 위치를 보여줍니다. 설계채택과 인증범위는 전환비용을, 매출총이익률은 가격결정력을, 재고·매출채권과 영업현금흐름은 성장의 자본부담을 드러냅니다.
첫째, 칩 출하가 늘어도 활용률이 오르지 않으면 시스템 공급은 실수요보다 앞서 있을 수 있습니다. 둘째, 네트워크와 메모리 대기비중이 낮아지면 보완계층의 투자가 실제 처리량으로 전환됐다고 볼 수 있습니다. 셋째, 멀티벤더 인증이 넓어지면서 장애율이 유지되면 개방형의 경제성이 개선됩니다.
넷째, 매출 성장과 마진을 함께 봐야 합니다. 공급이 부족해 매출이 늘어도 고객 한두 곳에 집중되고 가격인하 압력이 크면 초과이익은 지속되지 않을 수 있습니다. 다섯째, 현금전환을 확인해야 합니다. 재고와 매출채권이 매출보다 빠르게 늘면 시스템 통합자가 공급망의 금융비용을 대신 부담하고 있을 가능성이 큽니다.
이 기준을 적용하면 GPU 업체와 네트워크, 광학, 서버, 전력반도체 업체를 같은 성장률로 비교하지 않게 됩니다. 각 업체가 랙의 어느 병목을 줄이고, 그 효과를 누가 측정하며, 고객이 다른 공급자로 바꾸는 데 얼마가 드는지를 봅니다. 제품의 원가비중보다 고객의 완료시간과 장애비용을 얼마나 좌우하는지가 중요합니다.
이 판단이 빗나갈 수 있는 경우
첫째, 가속기 성능의 세대별 개선이 메모리와 네트워크의 발전을 계속 앞지르면서도 고객이 통합위험을 감수할 만큼 큰 경제적 이익을 준다면 칩 중심 경쟁은 오래 유지될 수 있습니다. 특정 가속기의 소프트웨어 생태계와 공급우위가 압도적이면 랙 부품은 부가가치를 얻어도 종속적 위치에 머뭅니다.
둘째, AI 워크로드가 빠르게 표준화되고 소프트웨어가 통신과 장애복구를 자동화하면 랙 통합의 희소성이 낮아질 수 있습니다. 호환성 검증이 일상화되고 고객이 부품을 쉽게 바꾸면 통합 프리미엄은 축소됩니다. 이 경우 수익풀은 다시 가장 차별화된 칩이나 대규모 클라우드 운영자에게 집중될 가능성이 있습니다.
셋째, 최근 네트워크와 연결부품의 높은 성장률이 구조적 변화가 아니라 가속기 설치의 일시적 동반증설일 수 있습니다. 고객이 초기 구축을 마친 뒤 네트워크 장비의 교체주기가 길어지면 성장률은 낮아집니다. 반복 매출, 설계세대 유지와 소프트웨어 매출이 따라오는지 확인하기 전에는 한 분기의 증가율을 구조적 협상력으로 해석해선 안 됩니다.
넷째, 공개된 실적과 공급업체 성능자료는 서로 다른 워크로드와 구성에서 측정됩니다. 활용률, 지연과 총소유비용의 정의가 다르면 숫자를 직접 비교하기 어렵습니다. 따라서 단일 벤치마크보다 같은 고객의 반복 배치, 인증범위, 장애율과 현금전환을 함께 봐야 합니다.
현재까지의 증거는 AI 반도체 경쟁의 단위가 칩에서 랙으로 확대되고 있음을 보여줍니다. 다만 랙스케일의 경제성을 이해하려면 내부의 두 연결계층을 더 나눠야 합니다. 랙이 경쟁단위라면 scale-up과 scale-out은 어떤 경제성을 각각 만드는가?