KAIST는 한동수 전기및전자공학부 교수팀이 챗GPT 등 대규모언어모델(LLM) 인프라 비용을 크게 낮추는 기술 ‘스펙엣지’를 개발했다고 28일 밝혔다.
현재 LLM 서비스는 대형 데이터센터 내 고가의 그래픽처리장치(GPU)가 서버를 거쳐 휴대폰 등 모바일 기기로 추론 결과를 전송한다. 데이터센터에 과부하가 걸리고 전력 소모도 많아지는 구조다. 스펙엣지는 역으로 엔비디아 RTX4090 등과 같이 PC나 소형 서버 내 ‘엣지 GPU’가 토큰을 생성하면 데이터센터가 이를 검증한다. KAIST에 따르면 스펙엣지를 사용할 경우 토큰당 생성 비용이 67.6% 줄고 서버 처리량은 2.22배 향상됐다. 연구 성과는 이달 초 미국 샌디에이고에서 열린 인공지능(AI) 분야 저명 학회인 신경정보처리시스템학회(NeurIPS)에서 ‘주목할 논문’으로 발표됐다.
이해성 기자 ihs@hankyung.com
현재 LLM 서비스는 대형 데이터센터 내 고가의 그래픽처리장치(GPU)가 서버를 거쳐 휴대폰 등 모바일 기기로 추론 결과를 전송한다. 데이터센터에 과부하가 걸리고 전력 소모도 많아지는 구조다. 스펙엣지는 역으로 엔비디아 RTX4090 등과 같이 PC나 소형 서버 내 ‘엣지 GPU’가 토큰을 생성하면 데이터센터가 이를 검증한다. KAIST에 따르면 스펙엣지를 사용할 경우 토큰당 생성 비용이 67.6% 줄고 서버 처리량은 2.22배 향상됐다. 연구 성과는 이달 초 미국 샌디에이고에서 열린 인공지능(AI) 분야 저명 학회인 신경정보처리시스템학회(NeurIPS)에서 ‘주목할 논문’으로 발표됐다.
이해성 기자 ihs@hankyung.com
관련뉴스
