카카오는 자체 개발한 AI 능력 평가지표가 국제 AI 학회인 ‘ICLR(국제표현학습학회) 2026'의 논문으로 채택됐다고 3일 밝혔다.
이번 평가지표는 AI 모델의 ‘오케스트레이션’ 능력을 평가하는 목적으로 개발됐다. 오케스트레이션은 여러 개의 AI 모델과 서비스 등이 한 시스템 안에서 작동하게 하는 관리 프로세스를 뜻한다.
카카오는 LLM(대형언어모델)이 질의응답을 넘어 이용자가 요구하는 다양한 작업을 수행하도록 요구받는 ‘에이전틱 AI'에 맞춰 이번 평가지표를 마련했다고 설명했다.
평가지표는 오케스트레이션 능력 평가를 위해 여행·쇼핑·금융·일정 등 17개 서비스와 100여 개의 가상 도구를 포함해 구성됐다.
이를 통해 카카오는 사용자의 요청 변경이나 추가 질문과 같은 실제 대화 흐름을 토대로 시나리오를 구축하며 평가지표의 실용성을 높였다고 전했다.
카카오 관계자는 “향후에도 에이전트 간 협업 및 오케스트레이션 능력 강화를 위한 연구를 지속할 예정”이라며 “카카오의 에이전틱 AI 방향성에 부합하는 기술의 고도화를 추진해 갈 계획”이라고 말했다.
관련뉴스
