LG유플, 옵트에이아이와 AI모델·연산 최적화 연구

LG유플러스는 인공지능(AI) 모델 최적화 전문기업 옵트에이아이와 토큰 최적화 기술 확보에 나선다고 2일 밝혔다. 토큰 최적화는 AI 모델의 크기를 줄이거나 연산 과정을 효율화해 같은 그래픽처리장치(GPU)로 더 많은 요청을 처리하도록 하는 기술이다.

LG유플러스는 AI 서비스 운영 경험을 활용해 기술 검증과 적용을 맡는다. 옵트에이아이는 AI 모델을 가볍고 빠르게 구동하는 기술을 연구·개발한다. 앞서 양사는 ‘엑사원’ 기반 소규모언어모델(SLM)에 경량화 기술을 적용해 스마트폰의 AI 전용 반도체인 신경망처리장치(NPU)에서 구동할 수 있도록 했다. 기존 중앙처리장치(CPU) 방식과 비슷한 성능을 유지하면서 전력 소모량은 78%, 모델 크기는 82% 줄였다.

두 회사는 온디바이스 AI에 이어 GPU 환경으로 공동 연구 범위를 넓히기로 했다. 특히 AI 모델이 답변을 생성하는 과정에서 연산 방식을 최적화해 같은 GPU에서 처리할 수 있는 토큰 양을 기존보다 최대 4배 늘리는 기술을 확보했다. 이상엽 LG유플러스 최고기술책임자(CTO)는 “다양한 파트너와 토큰 최적화 연구를 확대해 실제 서비스에 적용할 수 있는 성과를 내겠다”고 말했다.

라현진 기자 raraland@hankyung.com