블록체인 기반 인공지능(AI) 데이터 플랫폼 사하라AI(SAHARA)는 마이크로소프트(MS)와 협력해 멀티모달 AI(이미지·텍스트 등 다양한 정보를 함께 처리하는 AI)의 추론 능력을 평가하는 벤치마크 '매쓰비스타(MATHVISTA)'를 구축했다고 19일 밝혔다.매쓰비스타는 AI모델의 수학적 사고력을 측정하는 평가 체계다. 챗GPT, 바드, 클로드, 제미나이 등 주요 생성형 AI의 성능 검증에 활용되고 있다.
사하라AI는 매스비스타 구축에서 6000건 이상의 데이터라벨링을 맡아 수행했다. 데이터라벨링은 AI가 문제를 이해하고 풀이할 수 있도록 학습용 데이터를 가공하는 작업이다. 구체적으로 ▲산술 및 대수 ▲기하 및 통계 ▲고급 STEM 논리 ▲시계열 수치 추론 ▲수치 상식 추론 등 다양한 영역에 걸쳐 데이터라벨링이 이뤄졌다.
특히 이번 프로젝트에서는 단순 분류가 아닌 고정밀 데이터라벨링이 요구됐다. 마이크로소프트가 사하라AI를 선택한 배경이다.
하오 청(Hao Cheng) 마이크로소프트 리서치 수석 연구원은 "이번 프로젝트는 복잡한 지시 이해, 엄격한 작업자 테스트, 그리고 논리적 추론 기반의 정밀한 라벨링을 요구했다"라며 "기존 크라우드소싱 플랫폼이 수행하기 어려운 수준이었다"고 설명했다.
한편 매쓰비스타는 공개 이후 전 세계 연구기관 및 기업에서 활용되고 있다. 최근 한 달간 1만3000건 이상 다운로드됐고, 누적 다운로드는 27만건을 넘어섰다.
매쓰비스타를 사용해 주요 AI모델을 평가한 결과 최고 성능 모델인 GPT-4V의 정확도는 49.9%에 그쳐 사람보다 약 10% 낮은 수준을 기록했다. 이는 멀티모달 AI 추론 성능이 아직 발전할 수 있음을 보여주는 결과라고 회사 측은 설명했다.
션 런(Sean Ren) 사하라AI 공동창업자 겸 최고경영자(CEO)는 "마이크로소프트와의 협력은 고품질 데이터가 AI 성능 기준을 끌어올리는데 핵심 역할을 한다는 것을 보여준다"라며 "향후 글로벌 파트너와 협력을 확대해 AI 인프라 구축을 지속할 계획"이라고 밝혔다.
양사는 향후 추가적인 공동 프로젝트도 추진할 예정이다.
한경닷컴 뉴스룸 open@hankyung.com
관련뉴스
