[AI돋보기] AI 판 바뀐다…패권전쟁 승부처는 '메모리'

[AI돋보기] AI 판 바뀐다…패권전쟁 승부처는 '메모리'
AI 에이전트 시대 핵심은 데이터 이동…HBM 가치 급부상
한국, '3대 메가 프로젝트'로 AI 반도체 초격차 도전



(서울=연합뉴스) 심재훈 기자 = 챗GPT가 촉발한 생성형 인공지능(AI) 시대를 맞아 젠슨 황 최고경영자(CEO)가 이끄는 엔비디아의 그래픽처리장치(GPU)는 전 세계 AI 인프라 시장을 장악한 '절대 반지'로 통한다.
하지만 최근 글로벌 빅테크와 반도체 업계에서는 GPU 못지않게 AI를 움직이는 메모리 반도체의 중요성이 갈수록 커지고 있다는 기류 변화도 감지되고 있다.
엔비디아의 막강한 GPU만으로는 AI 시스템의 성능을 한계치까지 끌어올리기 역부족이라는 이른바 '메모리 월'(Memory Wall·메모리 장벽) 우려가 커지고 있기 때문이다.

◇ AI 승부처는 '데이터 이동'…메모리 패권 경쟁 본격화
AI 업계에서는 엔비디아의 GPU 의존도를 낮추려는 움직임과 함께 고대역폭메모리(HBM), 첨단 패키징 경쟁도 치열해지고 있다.
AI 모델의 규모가 기하급수적으로 커지고 사람처럼 복잡한 연산을 장시간 수행하는 '추론' 영역이 핵심으로 떠오른 점도 이런 변화를 부추겼다.
대규모 연산을 처리하는 GPU 곁에서 병목 현상 없이 데이터를 실어 나를 HBM과 초고속 연결 기술 확보가 시급해진 셈이다.
AI 가속기 시장을 독점한 엔비디아조차 GPU 설계에 집중하고 HBM은 삼성전자와 SK하이닉스 등 전문 메모리 업체로부터 공급받는다.
최근 정부가 반도체, 피지컬 AI, AI 데이터센터를 국가 성장의 핵심 축으로 삼은 '3대 메가 프로젝트'를 발표하고 삼성전자[005930], SK하이닉스 등 민간과 함께 초대규모 투자를 단행하기로 한 것도 이 같은 기류 변화를 반영하고 있다.
특히 수도권 메모리 반도체 생산 거점의 완공을 최대 12년 앞당겨 신속히 가동하고, 충청권을 HBM 등 첨단 패키징 특화 거점으로 육성하겠다는 청사진에는 단순한 칩 생산 증대를 넘어 AI 데이터 이동 효율성을 극대화하겠다는 국가적 '초격차' 전략이 담겨 있다.

이는 AI 인프라의 핵심 지표가 단순 연산 속도를 넘어 데이터 전송 효율로 확장되는 글로벌 패러다임 전환을 선제적으로 짚어낸 조치로 볼 수 있다.
그동안 AI 인프라의 경쟁력은 통상 GPU 확보 물량과 단일 칩의 연산 성능으로 평가해왔다. 수많은 행렬 연산을 동시에 처리하는 GPU가 AI의 든든한 두뇌 역할을 전담했기 때문이다.
하지만 데이터 전송 속도가 칩의 연산 속도를 도저히 따라가지 못하면서 시스템 전체의 성능이 저하되는 구조적 한계가 드러났다.
이는 학계와 산업계가 공통으로 지적하는 '메모리 월' 현상이다. 중앙처리장치(CPU)나 GPU의 두뇌 회전 속도가 급격히 빨라져도 기억을 관장하는 메모리의 대역폭과 지연 시간이 이를 뒷받침하지 못해 병목이 발생하는 원리다.
국내 IT 업계 관계자는 "최고급 8기통 엔진을 장착한 슈퍼카라도 연료 공급관이 막히면 제 속도를 낼 수 없는 것처럼 생성형 AI는 초당 수차례씩 방대한 데이터를 읽고 써야 한다"며 "이 흐름이 끊기면 값비싼 GPU는 그대로 멈춰 전력만 낭비하게 된다"고 말했다.

◇ AI 에이전트 시대 여는 HBM…GPU보다 중요한 '메모리'
최근 글로벌 AI 산업의 무게 중심은 거대 언어 모델(LLM)을 가르치는 '학습' 단계에서 벗어나 수억 명의 질문에 지연 없이 답하고 복잡한 임무를 수행하는 '추론' 및 실시간 서비스 영역으로 급속히 옮겨가고 있다.
특히 AI가 스스로 계획을 수립하고 외부 도구를 활용해 최적의 결과물을 도출하는 'AI 에이전트'가 연이어 등장하면서 메모리 수요는 급속히 커지고 있다.
국내 AI 스타트업 관계자는 "GPU 성능은 충분한데도 HBM 용량이나 시스템 전체 데이터 이동에서 병목 현상이 생기면 AI 서버의 처리량이 크게 떨어진다"며 "결국 AI 경쟁력은 GPU뿐 아니라 메모리와 패키징 기술까지 함께 갖춰야 나온다"고 말했다.
이 같은 병목 현상을 타개할 핵심이 바로 HBM이다.
여러 개의 D램을 수직으로 쌓아 올린 뒤 미세한 구멍(TSV)을 뚫어 연결하는 HBM은 동일한 면적 안에서 데이터의 이동 통로를 획기적으로 넓힌 차세대 메모리다. 기존 DDR D램이 2차선 국도라면 HBM은 수백 대의 차량이 동시에 내달릴 수 있는 초대형 고속도로에 비유할 수 있다.

일반 D램을 압도하는 대역폭을 갖추고 전력 대비 데이터 처리량이 뛰어나 고성능 컴퓨팅(HPC)과 AI 연산에 최적화됐다는 평가를 받고 있다.
메모리 제조사들은 HBM 칩을 GPU 패키지 바로 옆에 밀착시키는 '첨단 패키징' 기술을 적용해 데이터 이동 거리를 극한으로 줄여 지연 시간을 최소화하고 있다.
현재 HBM 시장은 삼성전자와 SK하이닉스가 글로벌 공급을 사실상 주도하고 있다. AI 반도체 경쟁이 심해질수록 HBM 공급 능력이 국가와 기업의 경쟁력을 좌우하는 핵심 변수로 떠오르면서 양사의 기술 경쟁도 치열하다.
실제 엔비디아의 주력 AI 가속기 'H100'에는 80기가바이트(GB) 용량의 HBM3가 탑재됐다. 시장의 주력으로 자리 잡은 '블랙웰(B200)'에는 192GB 용량의 5세대 HBM3E가 들어갔다. 차세대 아키텍처인 '루빈'부터는 6세대 HBM4가 탑재될 예정으로, 세대가 바뀔 때마다 요구되는 메모리의 성능과 용량은 기하급수적으로 뛰고 있다.
이처럼 AI 패권 경쟁이 이제 GPU 경쟁을 넘어 메모리, 패키징, 초고속 연결까지 아우르는 데이터 이동 생태계 싸움으로 확장됨에 따라 우리나라의 AI 및 반도체 관련 산업은 다시 한번 큰 도약을 할 절호의 기회를 맞고 있다.
president21@yna.co.kr
(끝)


<저작권자(c) 연합뉴스, 무단 전재-재배포, AI 학습 및 활용 금지>