AI 모델이 방대한 정보를 기억하고 처리하는 과정을 획기적으로 압축한 ‘터보퀀트’ 기술을 구글이 발표했다. AI 모델은 프롬프트를 읽고 답하는 과정에서 나온 정보들을 Key-Value Cache(KV Cache) 메모리에 임시 저장한다. 그런데 처리할 정보가 많아질수록 작동 속도가 느려지고 막대한 컴퓨팅 자원을 소모한다. KV Cache는 AI 모델이 추론할 때 속도를 떨어뜨리고 컴퓨팅 자원을 소모하는 핵심 요소다. 터보퀀트는 KV Cache 메모리를 6분의 1만 사용하고도 처리의 정확도를 유지하고 컴퓨팅 자원을 적게 사용하는 만큼 ‘H100 GPU’ 기준으로 속도는 최대 8배 향상된다고 한다. AI 모델이 추론할 때 문맥을 기억하는 데 필요한 메모리가 줄어드는 것이다.
하지만 AI 모델을 사용하기 위해 메모리에 적재하기 위한 메모리 용량이 덜 필요한 건 아니다. AI 모델을 학습하는 단계에서 막대한 메모리 용량이 필요하다는 사실에도 변함은 없다. 추론 과정에서 메모리가 덜 필요해지는 것만으로도 AI 모델 가동에 필요한 비용이 줄어들고 AI 모델 사용 비용 역시 더 낮아질 수 있다는 걸 의미한다. AI 수요 증가 속도를 데이터센터 건설 속도가 따라가지 못하는 상황에서 소프트웨어 기술 변화만으로 AI 인프라의 단위 생산성을 획기적으로 끌어 올리는 기술이다. 하이퍼스케일러의 관점에서 보면 현재 운용 중인 AI 데이터센터에서 더 많은 작업을 수행할 수 있게 되면서 사실상 AI 데이터센터를 증설하는 것과 같은 효과를 낼 수 있다.
AI 모델이 추론할 때 메모리를 획기적으로 덜 사용해도 되는 기술이 나오면서 메모리 반도체 수요 증가 전망을 수정해야 한다는 걱정이 나오고 있다. 이 소식에 마이크론을 비롯한 삼성전자, SK하이닉스 등 메모리 반도체 주가가 크게 하락했다.
하지만 터보퀀트가 메모리 반도체에 위협이 아닌 이유는 다음과 같다. 첫째, 동일한 추론을 하는 데 KV Cache 메모리가 덜 필요해진 만큼 가장 먼저 나올 수 있는 AI 모델의 변화는 ‘컨텍스트 윈도’ 확대일 것이다. 최근 들어 AI 모델들은 꾸준하게 컨텍스트 윈도를 확대해 한 번에 더 많은 정보를 처리할 수 있도록 노력하고 있다. 컨텍스트 윈도를 무작정 넓히면 AI 모델이 처리하는 정보 중에 처음과 끝 부분에 집중하고 가운데를 잘 활용하지 않는 현상이 발생하는데 터보퀀트 기술은 긴 문맥을 처리하는 벤치마크 테스트에서 높은 점수를 유지한다. AI 모델의 컨텍스트 윈도가 커지면 메모리의 수요 증가 전망을 크게 낮출 필요는 없을 것이다.
둘째, AI 에이전트 시장 확대 가속이다. 추론 단가가 하락하면서 오픈클로(Openclaw) 같은 킬러 앱이 나온 AI 에이전트 시장의 성장세는 가속될 전망이다. 컨텍스트 윈도가 커지면 여러 에이전트를 동시에 실행할 때 발생하는 메모리 제약도 완화될 것이므로 AI 에이전트 시장 확장에 기여할 것이다. 기술이 발전하면서 자원 효율성이 높아지고 가격이 하락하면 수요가 증가하는 전형적인 제본스의 역설이다. 작년 초 딥시크 ‘R1’이 20분의 1의 비용으로 LLM을 학습시켰다는 주장에 시장이 공포에 빠졌다. 공포는 잠시였고 이후 AI 시장 확장세는 매우 빠르게 진행됐다.
마지막으로, 온디바이스 AI 시장 확장도 가속이다. 요즘 주로 사용되는 검색은 단순 키워드 검색이 아니라 ‘의미’로 검색하는 시맨틱 검색이다. 터보퀀트는 시맨틱 검색을 하기 위한 전처리 시간이 0에 가깝고 최소한의 메모리만으로 시맨틱 검색에 필요한 벡터 인덱스를 구축할 수 있게 된다. 이런 기술 진보는 시맨틱 검색의 연산 부담을 크게 줄일 것이다. AI 모델을 구동하기 위해 LLM 가중치 정보를 올려 놓기 위한 메모리는 여전히 많이 필요하다. 하지만 AI 모델을 올릴 정도의 메모리가 있으면 로컬 환경에서 AI 모델을 활용할 때 연산 자원이 덜 필요해지면서 온디바이스 AI 시장이 확장될 것이다. 그러면 엣지 디바이스의 메모리 수요가 증가할 것이다.
김일혁 KB증권 애널리스트
2025 하반기 글로벌 투자전략 부문 베스트 애널리스트
관련뉴스
