인공지능(AI) 스타트업 업스테이지가 한국어 기반 AI 평가 체계 'KLUE(클루)'를 공개한다고 17일 밝혔다. KAIST, 네이버, 구글 등 국내외 대표격 AI 연구기관과 기업들이 협력했다.
클루는 한국어 언어 모델의 공정한 평가를 위해 8개 종류의 데이터 집합을 구축했다. AI 모델들이 문장 유사도 비교, 자연어 추론, 개체명 인식, 관계 추출 등 폭넓은 범위를 평가받을 수 있도록 구성했다는 설명이다.
클루는 영한 번역문이 아닌 일상생활에서 사용되는 한국어 원문만으로 제작됐다. 한국어의 정확한 이해화 추론 능력을 검증할 수 있는 셈이다. 다양한 한국어 언어 모델이 동일한 평가 선상에서 비교될 수 있다는 점은 국내 자연어 처리 연구자들의 기대 요소다.
클루를 구성한 데이터는 저작권 문제가 없어 누구나 활용이 가능하다. 자연어이해(NLU) 관련 데이터셋이 특정 조건에 따라 저작물 배포를 허용하는 'CC-BY-SA 라이선스'로 공개된 것은 이번이 처음이다.
클루 프로젝트는 업스테이지의 주도 하에 네이버 클로바, 카카오 엔터프라이즈, 스캐터랩, 뤼이드 등에서 참여한 31명의 자연어 처리 전문가들이 약 7개월에 걸쳐 협업한 결과다. 네이버와 카카오엔터프라이즈, 구글 등이 클라우드 플랫폼을 지원했으며, 한국경제신문과 아크로팬이 뉴스 기사 데이터를 제공했다.
하정우 네이버 AI LAB 소장은 "한국어 AI 연구의 문제점이었던 양질의 벤치마크 데이터 부족 문제를 해결했으며, 정확한 모델 성능 평가를 위한 국내 첫 벤치마크"라고 말했다.
김성훈 업스테이지 대표는 "클루는 AI 생태계 활성화를 위한 첫 번째 기술 기여 프로젝트"라며 "앞으로도 컴퓨터 비전, 자연어 처리, 추천 시스템 등에 대한 결과물을 지속 공개하겠다"고 밝혔다.
완성된 데이터셋과 논문의 세부적 내용은 KLUE 홈페이지에서 확인할 수 있다. 오는 24일 이후에는 공식 리더보드에 모델을 제출할 수 있는 기능이 적용될 예정이다.
이시은 기자
관련뉴스
