<앵커>
구글이 AI의 추론 속도와 효율성을 높이기 위한 기술인 ‘터보퀀트’를 공개했습니다.
양자 기술을 활용한 새로운 AI 압축 알고리즘을 적용해 메모리 사용량은 줄이고 연산 속도는 높인다는 개념입니다.
‘터보퀀트’가 AI와 메모리 시장에 가져올 파장은 어느정도일지 자세한 내용 산업부 홍헌표 기자와 알아보겠습니다.
‘터보퀀트’의 정체는 뭡니까?
<기자>
구글이 24일(현지시간) ‘터보퀀트 : 극단적인 압축으로 AI의 효율성을 재정의한다'라는 제목의 논문을 게시했습니다.
구글 딥마인드 연구팀이 주를 이뤄서 발표한 내용입니다.
‘터보퀀트’는 AI의 추론 속도와 효율성을 획기적으로 높이기 위해 양자 가속기술을 도입해 만든 새로운 연산방식입니다.
GPU 같이 칩을 대신하는 하드웨어가 아니라 연산과 추론하는 방식을 바꾼 소프트웨어 알고리즘입니다.
기술적으로 설명하면 현재 대부분 AI는 보통 16비트(FP16) 부동소수점으로 처리하는데 이 방법은 계산량이 많아지면 답변을 내놓는데 지연현상이 발생합니다.
터보퀀트는 4비트 정수(INT4)로 처리하는 겁니다.
단순 계산으로도 추론 속도는 4배가 향상되고, 메모리 사용량은 절반 이상 줄어들 수 있습니다.
미국 사이버보안기업인 클라우드플레어의 매튜 프린스 CEO는 터보퀀트에 데해 "구글의 딥시크"라고 평가했습니다.
<앵커>
새로 나온데다 전문적인 기술이 많아서 이해하기가 쉽지 않은데, 쉽게 비유해서 설명해주신다면요?
<기자>
제가 시험공부로 비유를 해보겠습니다.
예를 들어 시험공부를 할 때 기존 AI 방식은 1부터 100까지 모두 달달 외워 공부를 하는 겁니다.
그런데 터보퀀트 방식은 여기서 이미 아는 내용은 쉽게 넘어가고, 정말 중요한 10~20만 정밀하게 처리하겠다는 겁니다.
구글은 엔비디아 H100 가속기에서 터보퀀트를 적용했더니 메모리 사용량은 1/6로 떨어지고 속도는 8배나 빨라졌다고 밝혔습니다.
다만 ‘이미 아는 내용은 쉽게 넘어간다’는 개념에서 있어서 정밀도는 떨어질 수 있습니다.
구글도 기존의 추론 정확도가 100% 라면 이 방식을 적용했을 때는 98~99%의 정확도가 나온다고 밝혔습니다.
또 하나의 비유는 더치커피 원액으로 들어보겠습니다.
커피 10리터를 한 번에 보관하려면 아주 큰 통에 담아야 해서 부피도 크고, 무게도 무겁습니다.
그런데 더치커피 원액으로 1리터를 압축해서 만들어놓고, 필요할 때만 꺼내서 물을 타서 마시면 훨씬 효율적이게 됩니다.
대신 압축을 하면 맛이 일부 변할 수 있기 때문에 ‘정확도’가 100%에서 99%로 떨어질 수 있다 정도로 이해하시면 됩니다.
<앵커>
이 기술이 적용되면 그만큼 메모리 사용량이 줄어들기 때문에 수요도 감소할 수 있을 것 같습니다. 삼성과 SK하이닉스 등 메모리 3사도 주가에 영향을 받았는데, 실제 수요 감소로 이어질까요?
<기자>
터보퀀트가 나왔다고해서 AI 시장이 작아지는 것은 아닙니다.
AI 수요는 지속적으로 커지고 있고, 추론의 영역도 대폭 확대되고 있습니다.
또 엔비디아 중심의 GPU 시장 역시 큰 영향을 받지는 않을 것이라는게 전문가들의 의견입니다.
주문형 반도체(ASIC) 시장에서도 여전히 주로 엔비디아의 GPU를 활용하고 있기 때문입니다.
다만 구글의 LLM용 NPU나 TPU에 터보퀀트가 선제적으로 적용될 가능성이 있습니다.
'터보퀀트'는 고효율, 저전력을 위한 새로운 시도 정도로 볼 수 있습니다.
전문가들은 이제 막 논문이 발표됐기 때문에 곧바로 메모리 수요를 급감시킨다고 연결하기에는 무리가 있다고 설명합니다.
<앵커>
새로운 기술이 나왔기 때문에 메모리 업계 판도에도 변화가 생길 가능성이 있습니다. HBM의 구조가 바뀌거나 새로운 메모리가 등장할 가능성은 없습니까?
<기자>
터보퀀트의 등장으로 HBM이 용량 경쟁에서 기술 경쟁으로 이동할 가능성이 높습니다.
예를 들어 구글이 ‘우리는 4비트 양자화에 알고리즘이 최적화 돼 있으니 여기에 맞는 메모리를 달라’고 할 수 있습니다.
이럴 경우 양자화 규격에 맞춘 전용 컨트롤러를 탑재한 ‘하이브리드 메모리’를 만들어야합니다.
물론 이미 삼성과 SK하이닉스는 ‘커스텀 HBM'이라는 개념으로 준비를 하고 있습니다.
여기서 중요한 것은 단순히 대역폭을 늘리고, 고용량으로 승부를 보는 것이 아니라 AI의 로직 설계 능력까지 갖춰야하는 상황이 왔다는 겁니다.
HBM은 과거에는 규격화된 '기성품'이었지만 이제는 고객에 맞춘 '맞춤형(커스텀)'으로 변화하고 있습니다.
특정 양자화 규격에 맞게 ‘로직 다이’를 메모리 하단에 배치하는 구조가 필수가 됐다는 설명입니다.
엔비디아에 공급하는 HBM4에도 베이스 다이에 로직이 들어간 것과 같은 상황입니다.
HBM4부터는 사실상 시스템 반도체 기술이 들어간 ‘커스텀 HBM’이라고 볼 수 있는데요,
이에 삼성전자와 SK하이닉스도 단순한 메모리 제조사를 넘어 설계 단계부터 협력하는 역할을 강화하고 있습니다.
삼성전자는 파운드리와 메모리, 패키징까지 한 번에 처리하는 ‘턴키’ 전략을 계속 강조하는 것이 여기에 있습니다.
SK하이닉스도 어제(25일) 주주총회에서 HBM을 축으로 설계·패키징까지 아우르는 'AI 메모리 풀스택' 전략으로 나가겠다고 밝혔습니다.
앞으로의 반도체 시장은 메모리와 시스템 반도체 둘 다 잘해야 살아남을 수 있다는게 전문가들의 의견입니다.
<앵커>
잘 들었습니다.
구글이 AI의 추론 속도와 효율성을 높이기 위한 기술인 ‘터보퀀트’를 공개했습니다.
양자 기술을 활용한 새로운 AI 압축 알고리즘을 적용해 메모리 사용량은 줄이고 연산 속도는 높인다는 개념입니다.
‘터보퀀트’가 AI와 메모리 시장에 가져올 파장은 어느정도일지 자세한 내용 산업부 홍헌표 기자와 알아보겠습니다.
‘터보퀀트’의 정체는 뭡니까?
<기자>
구글이 24일(현지시간) ‘터보퀀트 : 극단적인 압축으로 AI의 효율성을 재정의한다'라는 제목의 논문을 게시했습니다.
구글 딥마인드 연구팀이 주를 이뤄서 발표한 내용입니다.
‘터보퀀트’는 AI의 추론 속도와 효율성을 획기적으로 높이기 위해 양자 가속기술을 도입해 만든 새로운 연산방식입니다.
GPU 같이 칩을 대신하는 하드웨어가 아니라 연산과 추론하는 방식을 바꾼 소프트웨어 알고리즘입니다.
기술적으로 설명하면 현재 대부분 AI는 보통 16비트(FP16) 부동소수점으로 처리하는데 이 방법은 계산량이 많아지면 답변을 내놓는데 지연현상이 발생합니다.
터보퀀트는 4비트 정수(INT4)로 처리하는 겁니다.
단순 계산으로도 추론 속도는 4배가 향상되고, 메모리 사용량은 절반 이상 줄어들 수 있습니다.
미국 사이버보안기업인 클라우드플레어의 매튜 프린스 CEO는 터보퀀트에 데해 "구글의 딥시크"라고 평가했습니다.
<앵커>
새로 나온데다 전문적인 기술이 많아서 이해하기가 쉽지 않은데, 쉽게 비유해서 설명해주신다면요?
<기자>
제가 시험공부로 비유를 해보겠습니다.
예를 들어 시험공부를 할 때 기존 AI 방식은 1부터 100까지 모두 달달 외워 공부를 하는 겁니다.
그런데 터보퀀트 방식은 여기서 이미 아는 내용은 쉽게 넘어가고, 정말 중요한 10~20만 정밀하게 처리하겠다는 겁니다.
구글은 엔비디아 H100 가속기에서 터보퀀트를 적용했더니 메모리 사용량은 1/6로 떨어지고 속도는 8배나 빨라졌다고 밝혔습니다.
다만 ‘이미 아는 내용은 쉽게 넘어간다’는 개념에서 있어서 정밀도는 떨어질 수 있습니다.
구글도 기존의 추론 정확도가 100% 라면 이 방식을 적용했을 때는 98~99%의 정확도가 나온다고 밝혔습니다.
또 하나의 비유는 더치커피 원액으로 들어보겠습니다.
커피 10리터를 한 번에 보관하려면 아주 큰 통에 담아야 해서 부피도 크고, 무게도 무겁습니다.
그런데 더치커피 원액으로 1리터를 압축해서 만들어놓고, 필요할 때만 꺼내서 물을 타서 마시면 훨씬 효율적이게 됩니다.
대신 압축을 하면 맛이 일부 변할 수 있기 때문에 ‘정확도’가 100%에서 99%로 떨어질 수 있다 정도로 이해하시면 됩니다.
<앵커>
이 기술이 적용되면 그만큼 메모리 사용량이 줄어들기 때문에 수요도 감소할 수 있을 것 같습니다. 삼성과 SK하이닉스 등 메모리 3사도 주가에 영향을 받았는데, 실제 수요 감소로 이어질까요?
<기자>
터보퀀트가 나왔다고해서 AI 시장이 작아지는 것은 아닙니다.
AI 수요는 지속적으로 커지고 있고, 추론의 영역도 대폭 확대되고 있습니다.
또 엔비디아 중심의 GPU 시장 역시 큰 영향을 받지는 않을 것이라는게 전문가들의 의견입니다.
주문형 반도체(ASIC) 시장에서도 여전히 주로 엔비디아의 GPU를 활용하고 있기 때문입니다.
다만 구글의 LLM용 NPU나 TPU에 터보퀀트가 선제적으로 적용될 가능성이 있습니다.
'터보퀀트'는 고효율, 저전력을 위한 새로운 시도 정도로 볼 수 있습니다.
전문가들은 이제 막 논문이 발표됐기 때문에 곧바로 메모리 수요를 급감시킨다고 연결하기에는 무리가 있다고 설명합니다.
<앵커>
새로운 기술이 나왔기 때문에 메모리 업계 판도에도 변화가 생길 가능성이 있습니다. HBM의 구조가 바뀌거나 새로운 메모리가 등장할 가능성은 없습니까?
<기자>
터보퀀트의 등장으로 HBM이 용량 경쟁에서 기술 경쟁으로 이동할 가능성이 높습니다.
예를 들어 구글이 ‘우리는 4비트 양자화에 알고리즘이 최적화 돼 있으니 여기에 맞는 메모리를 달라’고 할 수 있습니다.
이럴 경우 양자화 규격에 맞춘 전용 컨트롤러를 탑재한 ‘하이브리드 메모리’를 만들어야합니다.
물론 이미 삼성과 SK하이닉스는 ‘커스텀 HBM'이라는 개념으로 준비를 하고 있습니다.
여기서 중요한 것은 단순히 대역폭을 늘리고, 고용량으로 승부를 보는 것이 아니라 AI의 로직 설계 능력까지 갖춰야하는 상황이 왔다는 겁니다.
HBM은 과거에는 규격화된 '기성품'이었지만 이제는 고객에 맞춘 '맞춤형(커스텀)'으로 변화하고 있습니다.
특정 양자화 규격에 맞게 ‘로직 다이’를 메모리 하단에 배치하는 구조가 필수가 됐다는 설명입니다.
엔비디아에 공급하는 HBM4에도 베이스 다이에 로직이 들어간 것과 같은 상황입니다.
HBM4부터는 사실상 시스템 반도체 기술이 들어간 ‘커스텀 HBM’이라고 볼 수 있는데요,
이에 삼성전자와 SK하이닉스도 단순한 메모리 제조사를 넘어 설계 단계부터 협력하는 역할을 강화하고 있습니다.
삼성전자는 파운드리와 메모리, 패키징까지 한 번에 처리하는 ‘턴키’ 전략을 계속 강조하는 것이 여기에 있습니다.
SK하이닉스도 어제(25일) 주주총회에서 HBM을 축으로 설계·패키징까지 아우르는 'AI 메모리 풀스택' 전략으로 나가겠다고 밝혔습니다.
앞으로의 반도체 시장은 메모리와 시스템 반도체 둘 다 잘해야 살아남을 수 있다는게 전문가들의 의견입니다.
<앵커>
잘 들었습니다.
관련뉴스
