삼성전자, 자체 개발 AI 업무 생산성 측정 지표 공개

삼성전자, 자체 개발 AI 업무 생산성 측정 지표 공개
트루벤치, 실제 업무 상황 반영·다국어 지원으로 차별화…'허깅페이스'에 공개

(서울=연합뉴스) 김민지 기자 = 삼성전자가 25일 자체 개발한 인공지능(AI) 업무 생산성 벤치마크 '트루벤치'(TRUEBench)를 공개했다.
트루벤치는 삼성전자 DX(디바이스경험)부문 선행 연구개발조직 삼성리서치가 사내 생성형 AI 모델 적용 경험을 바탕으로 개발한 벤치마크다.
10개 카테고리, 46개 업무, 2천485개 평가 기준으로 항목을 세분화해 AI 모델의 업무 생산성에 대한 집중 평가를 진행한다.

트루벤치는 사용자의 짧은 요청부터 최대 2만자의 긴 문서 요약까지 실제 업무 상황을 폭넓게 평가한다.
사용자는 한 번에 최대 5개 모델을 선택해 다양한 AI 모델의 성능을 비교해 파악할 수 있으며 응답 결과에 대한 평균 길이 등을 통해 성능과 효율성 지표를 동시에 비교할 수 있다.
영어 중심의 기존 벤치마크와 달리 트루벤치는 영어·한국어·일본어·중국어·스페인어 등 총 12개 언어를 지원한다.
영어와 한국어 등 여러 언어가 혼합된 교차 언어의 번역 기능 평가도 제공한다.
트루벤치는 AI 모델이 제공한 답변의 정확성뿐 아니라 사용자의 의도나 맥락까지 평가가 가능하도록 설계됐다.
사람이 구축한 평가 기준을 AI가 검토해 오류나 모순, 불필요한 제약이 없는지 확인하며 지속적인 교차 검증의 반복을 통해 주관적 편향을 최소화하고 일관성 있는 평가 결괏값을 제공하게 된다.
삼성전자는 글로벌 오픈소스 플랫폼 허깅페이스에 트루벤치의 데이터 샘플과 AI 모델들의 평가 결과가 표시된 리더보드를 공개했다.
jakmj@yna.co.kr
(끝)


<저작권자(c) 연합뉴스, 무단 전재-재배포, AI 학습 및 활용 금지>