카카오, AI 언어모델 성능평가툴 오픈소스로 공개

박해린 기자

입력 2024-09-27 17:39  

락토핏 당케어 광고 이미지
난각막NEM 광고 이미지
[카카오 제공]
카카오가 인공지능(AI) 기술 생테계의 구축화 활성화를 위한 노력으로 AI 언어모델의 펑션콜 성능을 평가할 수 있는 데이터셋을 구축하고 오픈소스로 공개했다고 27일 밝혔다.

펑션콜이란 AI 언어모델이 자체적으로 수행할 수 없는 동작을 지시하거나 사전에 학습하지 않은 정보를 실시간 받아올 수 있도록 언어모델과 외부 도구를 연결하는 기술을 의미한다. 언어모델을 기반으로 하는 서비스 구현에 있어 필수적으로 언어모델이 가진 한계를 해결해 새로운 기능으로 이어나갈 수 있다.

카카오는 펑션콜 기술의 고도화를 위해 한국어 대화 환경에서의 성능을 다면적으로 평가할 수 있는 데이터셋을 구축했다. 한국어 기반의 관련 데이터셋을 구축한 것은 카카오가 처음이다. 기존 데이터셋은 대부분 글로벌 빅테크에서 구축해 영어로 이뤄져 있었다.

데이터셋은 함수 이름과 인자 추출의 정확성, 함수 호출 결과 전달의 정확성, 누락 정보 인지를 통한 추가 질의 발생 여부, 호출 가능한 함수와의 관련성 감지 등을 평가하는 기준 항목으로 구성돼 있다.

타사의 데이터셋이 주로 언어 모델의 정확한 함수 호출 메시지 생성 중심으로만 구축된 것에 비해 카카오가 구축한 이번 데이터셋은 함수 호출 전후에 요구되는 사용자와의 적절한 상호 작용 메시지 생성 능력까지 평가 영역으로 포함했다는 점에서 차별성을 가진다는 것이 카카오의 설명이다.

카카오는 데이터셋을 오픈소스 커뮤니티 깃허브(GitHub)에 공개했다. 향후 해당 데이터셋의 규모를 늘리고 다른 언어 버전을 추가하는 등 사용성을 지속해서 확장할 계획이다.


관련뉴스

    top
    • 마이핀
    • 와우캐시
    • 고객센터
    • 페이스 북
    • 유튜브
    • 카카오페이지

    마이핀

    와우캐시

    와우넷에서 실제 현금과
    동일하게 사용되는 사이버머니
    캐시충전
    서비스 상품
    월정액 서비스
    GOLD 한국경제 TV 실시간 방송
    GOLD PLUS 골드서비스 + VOD 주식강좌
    파트너 방송 파트너방송 + 녹화방송 + 회원전용게시판
    +SMS증권정보 + 골드플러스 서비스

    고객센터

    강연회·행사 더보기

    7일간 등록된 일정이 없습니다.

    이벤트

    7일간 등록된 일정이 없습니다.

    공지사항 더보기

    open
    핀(구독)!