카카오가 사람처럼 보고, 듣고, 말하며 한국어와 한국 문화를 가장 잘 이해하는 고도화된 멀티모달 AI 기술의 연구 성과를 발표했다.
벤치마크 평가 결과, 영어 음성 성능에서 GPT-4o와 유사한 수준을, 한국어 음성 인식 및 합성, 감정 인식 능력에서는 높은 수준을 기록했다.
카카오는 12일 테크블로그를 통해 한국적 맥락 이해에 최적화된 통합 멀티모달 언어모델 '카나나-o', 멀티모달 임베딩 모델 '카나나-v-임베딩'의 개발 과정과 성능을 공개했다.
카나나-o는 텍스트와 음성, 이미지를 동시에 이해하고 실시간으로 답변하는 통합 멀티모달 언어모델이다.
글로벌 모델 대비 한국어 맥락 이해에서 높은 성능을 보유하고, 사람처럼 자연스럽고 풍부한 표현력을 갖추고 있는 것이 특징이다.
카카오는 카나나-o의 지시 이행 능력을 고도화해 사용자의 숨은 의도와 복잡한 요구사항까지 파악할 수 있도록 개선했다.
자체 구축한 데이터 세트로 학습을 진행했다. 이로써 다양한 모달리티의 입출력에 대해서도 기존 언어모델의 성능을 유지하고, 단순 질의응답을 넘어 요약, 감정 및 의도 해석, 오류 수정, 형식 변환, 번역 등 과업을 수행할 수 있도록 성능을 끌어올렸다.
또한, 고품질 음성 데이터와 직접 선호 최적화(DPO) 기술을 적용해 억양·감정·호흡 등을 정교하게 학습시켰다.
기쁨·슬픔·분노·공포 등 상황별 생생한 감정은 물론 미세한 음색·어조 변화 등에 따른 감정 표현 능력까지 향상했다.
호스트와 게스트가 대화를 주고받는 팟캐스트 형태의 데이터 세트를 구축해 끊김 없이 자연스럽게 이어지는 멀티턴 대화도 가능해졌다.
카카오는 향후 더욱 자연스러운 동시 대화와 상황에 맞는 소리 환경(사운드스케이프)을 실시간 생성할 수 있는 진화된 모델로 발전시킬 예정이다.
함께 공개된 카나나-v-임베딩은 텍스트와 이미지를 동시에 이해해 처리할 수 있는 한국형 멀티모달 모델이다.
텍스트로 이미지를 검색하거나, 사용자가 선택한 이미지와 관련된 정보를 검색하고, 이미지가 포함된 문서 검색 등을 지원한다. 이 모델은 실제 서비스 적용을 목표로 개발됐다.
현재 카카오는 카나나-v-임베딩을 내부에서 광고 소재의 유사도를 분석 및 심사하는 시스템에 적용 중이다.
향후 비디오나 음성으로 범위를 확대해 더욱 다양한 서비스에도 적용할 계획이다.
김병학 카카오 카나나 성과리더는 "실제 서비스 환경을 통해 사용자들의 일상 속 AI 기술 경험을 만들어 나가고, 사람처럼 상호작용 할 수 있는 AI의 구현에 주력해 갈 것"이라고 말했다.
관련뉴스
