“대규모언어모델(LLM)과 에이전트 인공지능(AI)이 고도화될수록 데이터 처리 병목을 해결할 언어처리장치(LPU)의 중요성은 더 커질 것입니다.”조너선 로스 엔비디아 최고소프트웨어설계자(CSA·사진)는 3일 대만 타이베이에서 열린 ‘컴퓨텍스 2026’ 현장에서 기자와 만나 “LPU는 엔비디아에서 핵심 역할을 하고 있다”며 이같이 말했다. 그는 “고대역폭메모리(HBM) 등 메모리 가격이 치솟을수록 AI업계는 더 작은 메모리로 최고의 성능을 내는 LPU 같은 대안 기술을 더욱 활발하게 찾을 것”이라고 강조했다.
로스 CSA는 엔비디아에서 추론용 AI 반도체인 LPU 개발을 총괄하는 핵심 인물이다. 스타트업 그록을 창업해 LPU 시장을 개척하다가 지난해 말 엔비디아가 약 200억달러를 들여 그록을 인수하면서 엔비디아에 합류했다. 젠슨 황 엔비디아 최고경영자(CEO)는 차세대 AI 인프라인 베라루빈에 LPU 기반의 ‘그록 3 LPX’ 서버를 포함했다.
LPU의 가장 큰 혁신은 HBM 등 외부 D램을 장착하는 일반 AI 칩과 달리 초고속 메모리인 S램(SRAM)을 칩 내부에 적용해 연산한다는 점이다. S램은 데이터 처리 속도가 일반 D램보다 수십 배 빠르다. 글로벌 AI 시장에서 HBM 공급 부족 현상이 심화되는 가운데 LPU는 메모리 수급난에 구애받지 않고 연산 능력을 극대화할 수 있는 돌파구로 꼽힌다. 로스 CSA는 “S램 자체는 비싸지만 성능이 압도적으로 빠르기 때문에 전체 시스템 차원에서는 오히려 인프라 구축 비용을 대폭 낮출 수 있다”며 “기존 GPU 방식은 동일한 AI 모델을 서버마다 복제해 저장해야 했지만 LPU 시스템은 하나의 거대 모델을 여러 대가 분산 처리하도록 설계돼 데이터 중복을 최소화한다”고 말했다. 이어 “데이터가 칩 외부를 오가며 낭비되는 에너지를 아끼고 전력 소모도 최소화할 수 있다”고 했다.
▶ 언어처리장치(LPU)
대규모언어모델(LLM) 추론에 특화한 인공지능(AI) 반도체. 엔비디아 그래픽처리장치(GPU)의 한계를 극복하기 위해 D램이 아니라 초고속 S램을 장착해 메모리 병목을 해결한 점이 특징이다. 챗봇이나 실시간 번역 같은 AI 서비스에 최적화돼 있다.
타이베이=강해령 기자 hr.kang@hankyung.com
관련뉴스
