“앞으로 5년간 가장 중요한 기술은 메모리와 연산장치를 함께 묶는 첨단 패키징입니다.”
시드 세스 디매트릭스(D-Matrix) 최고경영자(CEO)는 지난 10일(현지시간) 미국 샌타클래라 본사에서 한국경제신문과 만나 이같이 말했다. 빅테크가 '메모리 대란'을 해소하기 위해 고대역폭메모리(HBM)를 모으고 있는 사이 디매트릭스는 새 해법을 내놓고 있다. HBM을 쓰지 않는 AI칩으로 추론 시장을 공략하겠다는 구상이다.
2019년 설립된 디매트릭스는 추론용 반도체를 개발하는 스타트업이다. 추론은 학습을 마친 AI가 질문에 답하거나 작업을 수행하는 과정이다. 지난해 시리즈C 투자 유치 때 기업가치 20억달러(약 2조6700억원)를 인정받았다. SK하이닉스와 삼성이 각각 시리즈A, 시리즈B 투자에 참여했다. 세스 CEO는 "SK하이닉스도 장기적으로 추론에 새로운 메모리 구조가 필요하다는 문제의식에 공감했다"고 전했다. 다음은 세스 CEO와의 일문일답.
▷핵심 기술인 디지털 인메모리 컴퓨팅(DIMC)을 쉽게 설명해달라.
“AI 추론의 핵심 문제는 데이터를 얼마나 효율적으로 가져오느냐다. 기존 구조에서는 계산하는 곳과 데이터를 저장하는 메모리가 떨어져 있다. 계산할 때마다 메모리에서 데이터를 가져와야 한다. 그 과정에서 시간과 에너지를 쓰고 비용도 발생한다. GPU와 고대역폭메모리(HBM)를 CoWoS 같은 첨단 패키징으로 연결하는 데도 많은 비용이 든다.
우리는 연산 기능과 메모리를 같은 실리콘 안에 결합했다. 계산에 필요한 데이터가 바로 가까이에 있도록 한 것이다. 데이터를 멀리 옮길 필요가 줄어드니 에너지를 덜 쓰고, 데이터를 가져오는 시간도 짧아진다. 비용 효율적인 패키징을 적용할 여지도 생긴다. 추론의 세 가지 문제인 속도, 에너지, 비용을 함께 풀겠다는 접근이다."
▷2019년 창업 당시에는 챗GPT도 없었다. 왜 추론에 베팅했나.
“당시 클라우드 AI의 관심은 학습에 쏠려 있었다. GPU로 모델을 학습시키고, 추론은 GPU나 중앙처리장치(CPU)로 하면 된다는 생각이 일반적이었다. 추론 자체는 이미 감시카메라나 드론, 산업용 로봇 등에서 이뤄지고 있었다. 주로 영상을 처리하는 용도였다. 클라우드에서 대규모 추론을 실행하는 문제에 집중하는 곳은 드물었다.
우리는 사람의 삶을 떠올렸다. 사람은 학교와 대학에서 약 20년 동안 배운다. 기본 개념과 새로운 지식을 익히는 과정이다. AI에 비유하면 사전학습이다. 이후 40년은 배운 지식을 활용하며 살아간다. 지금 우리가 하는 일이 그렇다. 그것이 추론이다. 계속 배우고 개선하지만, 대부분의 시간에는 이미 배운 것을 적용한다.
▷세레브라스, 삼바노바, 그록 등 다른 추론 반도체 기업과 무엇이 다른가.
“많은 경쟁사는 학습을 주요 용도로 출발했다가 추론 시장이 커지면서 방향을 바꿨다. 우리는 처음부터 추론을 위한 구조를 설계했다. 메모리와 연산을 결합하는 방식도 그 결과다.
또 하나는 칩렛이다. 거대한 칩 하나를 만드는 대신 작은 칩을 만들고 서로 연결한다. 고객이 필요로 하는 연산 규모에 맞춰 구성을 늘리거나 줄일 수 있다.
▷과거에는 엔비디아의 경쟁자를 자처했다. 지난 9월 협력을 발표한 배경은 무엇인가.
“시장이 빠르게 변했다. 지난 1년 동안 새로운 응용 서비스가 등장하면서 우리가 잘하는 것과 엔비디아가 잘하는 것이 분명해졌다. GPU는 처리량에 강한 장치다. HBM을 활용해 많은 작업을 처리한다. 우리는 SRAM과 적층 D램을 활용하는 다른 메모리 구조를 택했다. 강점은 응답 지연시간을 줄이는 데 있다. 두 가지는 서로 보완할 수 있다.
▷엔비디아와의 협력이 디매트릭스에 주는 이익은 무엇인가.
“시장에 더 빨리, 더 적은 위험을 안고 진입할 수 있다는 것이다. 큰 고객들은 수백 메가와트 규모의 연산 인프라를 배치하고 싶어 한다. 우리가 얼마나 빨리 이를 가능하게 하느냐가 중요하다.
엔비디아는 이미 랙과 냉각, 전력 공급, 시스템 소프트웨어, 네트워킹에 많은 연구개발비와 시간을 투자했다. 우리가 제품을 시장에 내놓기 위해 그것을 처음부터 다시 개발하는 것은 시간과 연구개발 자원을 효율적으로 쓰는 방법이 아니다."
▷차세대 제품 ‘랩터’에 D램 적층 구조를 적용한 이유는 무엇인가.
“1세대 제품은 SRAM만 사용한다. 문제는 용량이다. SRAM을 계속 미세화해 용량을 늘리는 데 한계가 있다. 칩 면적도 정해져 있다.
AI 모델은 커지고, 한 번에 다루는 문맥도 길어지고 있다. 동시에 서비스를 이용하는 사람도 늘어난다. 그만큼 KV 캐시처럼 추론에 쓰이는 정보를 저장할 메모리가 더 많이 필요하다. 우리는 그 데이터를 연산 장치 가까이에 둔다는 원칙을 유지하면서 용량을 늘리고 싶었다."
▷삼성의 zHBM과는 어떤 차이가 있나.
“zHBM은 메모리를 위에 놓는 구조다. 랩터는 D램을 아래에 놓고 연산 칩을 위에 둔다. 둘 다 메모리와 연산 장치를 수직으로 쌓는다는 점에서는 같은 방향이다.
연산 칩을 위에 두면 열을 밖으로 빼내기 쉽다. 우리는 작은 칩렛을 사용하기 때문에 큰 칩을 적층하는 경우보다 기계적·열적 문제도 상대적으로 단순하다. 내년에 제품을 시장에 내놓으려면 현재 활용할 수 있는 기술을 택하는 것이 중요했다."
▷SK하이닉스와 삼성은 어떻게 투자하게 됐나.
“SK하이닉스가 먼저 참여했다. 시리즈 A 이전부터 우리와 대화했고, A 라운드에서 투자했다. 그만큼 관계가 오래됐고 전략적이다. 삼성은 이후 시리즈 B에서 비교적 작은 규모로 투자했다.
SK하이닉스는 우리가 메모리를 중심에 둔 연산 구조를 개발한다는 점에 주목했다. HBM이 학습에 적합하더라도 장기적으로 추론에는 새로운 메모리 구조가 필요해질 수 있다는 생각이었다. 2020년에는 그것이 어떤 모습일지 우리도, SK하이닉스도 정확히 알지 못했다. 메모리 병목을 풀어야 한다는 문제의식은 같았다.
SK하이닉스는 이런 문제를 풀려는 다른 기업에도 투자했다. 우리는 일찍부터 투자를 받았고 긴밀한 관계를 유지해왔다. 다음 투자 라운드에서는 SK하이닉스와의 협력을 한 단계 더 발전시키기를 기대하고 있다.”
▷중간선거에서 드러난 데이터센터 반대 여론을 어떻게 보나.
“큰 폭의 둔화를 예상하지 않는다. 얼마나 빨리 지을 수 있는지, 어떤 규칙을 따라야 하는지를 놓고 더 많은 논의와 규제가 생길 것으로 본다.”
▷데이터센터 건설이 늦어지면 디매트릭스도 영향을 받지 않겠나.
“이런 상황에서 우리 기술의 장점이 드러날 수 있다. 에너지 효율이 우리의 중요한 강점이다. 데이터센터를 더 짓기 어려워도 기존 시설에서 더 많은 추론을 실행할 수 있도록 하는 것이다.
▷기존 데이터센터에 설치된 오래된 GPU도 활용할 수 있나.
“그렇다. 우리가 ‘터보 부스팅’이라고 부르는 방식이다. 호퍼나 암페어 같은 기존 GPU 옆에 디매트릭스 솔루션을 함께 넣는 것이다.
최신 GPU로 교체하면 더 많은 전력이 필요하고, 그 때문에 새로운 데이터센터가 필요해질 수 있다. 기존 GPU와 우리 제품을 결합해 성능을 높이면 교체 시기를 늦출 수 있다. 예를 들어 성능을 1.5배나 2배 수준으로 높일 수 있다면 그것만으로도 의미가 있다."
실리콘밸리=김인엽 특파원
관련뉴스
