"한 명이 100개 AI 고용하는 시대, 메모리 수요 100만배 늘 것"

“피지컬 인공지능(AI)은 ‘메모리 AI’라고 불러도 과언이 아닙니다.”

삼전닉스(삼성전자·SK하이닉스)의 시가총액을 4000조원 수준으로 끌어올린 고대역폭메모리(HBM)를 개발한 김정호 KAIST 교수는 24일 서울 용산 드래곤시티호텔에서 열린 ‘스트롱코리아 포럼 2026’ 특별강연에서 이같이 예상했다. 그는 “AI 토큰의 폭발적인 증가로 정보를 기억하는 메모리의 중요성이 부각되면 삼전닉스의 위상이 엔비디아를 뛰어넘을 수도 있다”고 했다.

◇ AI 핵심은 기억력…메모리 수요 급증

글로벌 AI 반도체 석학인 김 교수는 “처음엔 AI의 고도화가 수학이나 알고리즘, 트랜스포머 모델 발전에서 온다고 생각했다”며 “하지만 연구를 거듭할수록 AI의 핵심은 기억력이라는 결론에 도달했다”고 말했다. 기억력은 곧 메모리 수요로 연결된다.

그가 이런 말을 한 이유는 AI업계에서 토큰이 기하급수적으로 증가하고 있어서다. 토큰은 AI 연산 정보의 최소 단위다. 그는 생성형 AI를 넘어 에이전틱, 피지컬 AI 시대로 가면서 메모리의 활용 범위와 수요가 확장될 것이라고 예상했다. 김 교수는 “사람의 기억과 기록을 AI가 대체하고, 한 사람이 100개의 AI 에이전트를 고용하는 시대가 오고 있다”며 “각종 정보를 기억하는 메모리 수요가 기하급수적으로 커지고 있다는 뜻”이라고 설명했다.

◇ “서로 소통하는 HBM 개발 중”

그는 AI 생태계 확장으로 메모리 성능도 계속 고도화할 것이라고 단언했다. 여러 개의 D램을 쌓아 용량과 데이터 전송 속도를 극대화한 HBM이 대세로 자리 잡았지만, HBM은 AI업계의 갈증을 해결하지 못하고 있다. HBM 덕분에 급증한 데이터 양을 역설적으로 그래픽처리장치(GPU)가 감당하지 못하면서 정체를 일으키고 있어서다.

김 교수는 이 문제를 해결하기 위해 AI 반도체 내에 있는 HBM과 HBM이 서로 소통하는 기술을 개발 중이라고 밝혔다. 현재 HBM은 한 개의 GPU와 1 대 1로 호환하지만, 미래에는 옆에 있는 HBM끼리도 정보를 주고받으면서 쉬고 있는 GPU를 찾아 정보를 흘려보낸다는 구상이다. 김 교수는 “메모리가 단순 저장장치를 넘어 컴퓨팅의 주체가 되는 대표적 예로, ‘메모리의 반란’이라고 할 수 있다”고 했다.

김 교수는 병목 해소에 일조할 고대역폭플래시(HBF)도 언급했다. 그는 “삼성전자와 샌디스크의 HBF 상용화 시점은 2028년 전후가 될 것”이라며 “D램보다 전송 속도가 더 빠른 S램을 쌓아 고대역폭S램(HBS)으로 초고속 메모리 계층을 만들려고 노력하고 있다”고 했다.

◇ AI ‘골든 엔진’ 메모리

글로벌 HBM 시장 1위 기업인 SK하이닉스의 박경 엣지인텔리전스 부사장은 최근 메모리 시장 고점 논란을 의식한 듯 이날 반도체 토론 세션에 참석해 “AI 아키텍처의 ‘골든 엔진’은 메모리”라며 “메모리 시장 성장이 더욱 가팔라지고 있다”고 강조했다. 그러면서 “챗GPT가 등장한 2023년부터 올해까지 4년간 세계 토큰 처리량이 약 1만7000배 증가했다”며 “생성형 AI가 에이전트 단계로 진화하면서 ‘토큰 익스플로전’(폭발)이 시작됐다”고 설명했다.

이와 함께 글로벌 빅테크의 AI 인프라 투자 내용도 일부 공개했다. 박 부사장에 따르면 지난해 빅테크의 서버 설비투자에서 D램과 낸드 등 메모리가 차지하는 비중은 21%였지만, 올해는 41%까지 확대된다. 박 부사장은 “2025년부터 2029년까지 AI 데이터센터 업체들의 메모리 구매액이 연평균 46%씩 커져 2029년엔 2420억달러(약 373조원)에 이를 것”이라고 내다봤다.

강해령 기자 hr.kang@hankyung.com