삼성전자 "zHBM으로 초당 1천토큰 연다…AI에이전트 메모리승부"

삼성전자 "zHBM으로 초당 1천토큰 연다…AI에이전트 메모리승부"
김인동 상무, 美 AI인프라서밋 발표…"z낸드-O, 2030년 1조 매개변수 목표"



(샌타클래라=연합뉴스) 권영전 특파원 = 삼성전자가 인공지능(AI) 에이전트 시대를 맞아 AI 가속기 위에 메모리를 3차원(3D)으로 얹는 'zHBM'을 통해 응답 속도를 10배로 끌어올리겠다는 비전을 제시했다.
김인동 삼성전자 미주총괄법인(DSA) 메모리 상품기획 담당 상무는 16일(현지시간) 미국 캘리포니아주 샌타클래라 컨벤션센터에서 열린 'AI 인프라 서밋' 발표에서 AI 시스템의 응답 속도를 10배로 끌어올리겠다는 목표를 제시했다.
김 상무는 발표에서 "현재 대화형 AI 시스템의 응답속도는 이용자당 초당 100토큰 수준"이라며 "앞으로 에이전트형 AI를 위해 이를 초당 1천 토큰으로 10배 끌어올리는 양자 도약(퀀텀 점프)을 목표로 하고 있다"고 밝혔다.
그는 이와 같은 발전을 위해서는 AI 가속기 옆에 고대역폭 메모리(HBM)를 나란히 배치하는 2.5D 방식에서 벗어나, 가속기 상단에 HBM을 직접 얹는 수직 적층형 'zHBM'이 유일한 돌파구라고 강조했다.
김 상무는 이 같은 구조를 "호텔 객실 내에 1층 로비로 직행하는 전용 엘리베이터를 두는 것"이라고 비유하면서, 데이터 이동 거리와 지연 시간을 극단적으로 줄일 수 있다고 설명했다.
이에 따라 zHBM은 HBM5와 비교해 최대 8배 성능과 3배 이상의 전력 효율을 구현할 수 있다는 것이다.
이 과정에서 가속기에서 발생한 열이 메모리로 전해져 생길 수 있는 발열 문제는 AI 가속기 고객사들과 초기 설계 단계부터 맞춤형으로 협력하는 공동 설계 체계를 구축해 해결하겠다는 방침이다.
기기내장형(온디바이스) AI 시장을 겨냥해 내놓은 낸드플래시 기반 3차원(3D) 저장장치 설루션인 'z낸드-O'의 로드맵도 함께 공개했다.
김 상무는 "2030년이 되면 (대규모 서버가 아닌) AI 워크스테이션 등의 환경에서도 매개변수(파라미터) 1조 개 수준의 거대 AI를 자체 구동하는 사례가 보편화할 것"이라며 "D램만으로 매개변수 1조 개에 맞는 메모리를 구성하려면 상당히 큰 비용이 들지만, z낸드O를 적용하면 6분의 1 비용으로 구현할 수 있다"고 말했다.
그는 오는 2028년 z낸드-O의 샘플 공급을 시작할 예정이라며 "AI 반도체 경쟁의 핵심인 '시장 출시 속도'에서 고객사들에 독보적 가치를 제공할 것"이라고 덧붙였다.
comma@yna.co.kr
(끝)


<저작권자(c) 연합뉴스, 무단 전재-재배포, AI 학습 및 활용 금지>