트릴리온랩스, 자체 개발 LLM '트리-21B' 오픈소스로 공개

트릴리온랩스, 자체 개발 LLM '트리-21B' 오픈소스로 공개
"'언어 간 상호학습 시스템' 통해 학습 비용 1/12로 절감"


(서울=연합뉴스) 조성미 기자 = 인공지능(AI) 모델 개발사 트릴리온랩스가 텍스트 생성을 넘어 고차원적 언어 이해와 복잡한 문제 해결을 동시에 수행할 수 있도록 설계된 언어모델 트리(Tri)-21B를 오픈소스로 공개했다고 23일 밝혔다.
새 모델은 전작 트릴리온-7B보다 파라미터 수를 3배 이상 확장한 210억 개 규모다.
또, 그래픽처리장치(GPU) 1개 단위에서도 원활하게 작동할 수 있는 경량성과 효율성을 갖췄다.
트릴리온-21B는 종합지식(MMLU), 한국어 언어 이해(KMMLU), 수학(MATH), 코딩(MBPP Plus) 등 고난도 추론 중심 평가 지표에서 알리바바의 큐원3, 메타 라마3, 구글 젬마3 등 글로벌 중형 모델과 견줄만한 성능을 나타냈다.
트릴리온랩스는 해외 모델을 바탕으로 개발하는 파인튜닝 방식이 아닌 자체 기술력으로 데이터를 사전 학습해 AI 모델을 만드는 '프롬 스크래치' 방식을 쓴다.
또 '언어 간 상호학습 시스템'(XLDA)을 통해 모델 개발·학습 비용을 1/12로 절감했다.
언어 간 상호학습 시스템이란 AI 학습량이 많은 영어 기반 지식을 한국어 같은 상대적으로 학습량이 적은 언어로 효과적으로 전이하는 데이터 학습 방법론을 말한다.
트릴리온랩스는 이 시스템을 한국어처럼 데이터가 적은 일본어 등의 동북아 언어권 AI 모델 개발에서도 활용할 수 있다고 덧붙였다.
csm@yna.co.kr
(끝)


<저작권자(c) 연합뉴스, 무단 전재-재배포, AI 학습 및 활용 금지>