[위클리 스마트] 내가 안 읽은 '내 목소리 동화' 어떻게 만들어질까
KT 개인화 음성합성 기술 활용…30분 데이터로 딥러닝 기반 학습
(서울=연합뉴스) 채새롬 기자 = "배흘림기둥과 주심포 양식은 부석사 무량수전, 수덕사 대웅전 등에서 볼 수 있습니다."
"가은이는 크고 살찐 몸을 하얀 플란넬 옷으로 감싸고 서서, 폴라리스와 안드로메다를 찾았습니다."
약 1시간 30분 동안 이 같은 문장을 포함해 300문장을 읽고, 하루를 기다리자 기자 목소리로 읽는 '내 목소리 동화' 10권이 완성됐다.
KT[030200]가 지난달 29일 공개한 '내 목소리 동화'는 개인화 음성합성(P-TTS) 기술에 기반해 기가지니가 부모의 목소리로 아이에게 책을 읽어주는 서비스다. 연예인이나 성우가 아닌 일반인의 목소리로 P-TTS 기반 상용 서비스를 구현한 것은 이번이 처음이다.
실제 동화를 재생해봤더니 음절, 단어 간 연결이 끊기지 않아 무척이나 자연스럽고, 말끝을 내리는 억양 등 기자 말투의 특징이 들어가 있어 '싱크로율'이 높았다. '쿵쾅쿵쾅' '나풀나풀' 같은 의성어·의태어가 들어간 문장도 막힘없이 읽어 어떤 문장에서는 기자가 직접 읽는 것보다 낫다는 생각까지 들었다.
KT에 따르면 이 동화는 두 단계로 만들어진다. 먼저 전문 성우가 2만 문장을 녹음해 베이스 모델을 만들고, 2단계로 각각의 참여자가 녹음한 300문장을 이 모델 위에서 재훈련해 음색이나 억양 등 고유한 특색을 입힌다.
베이스 모델은 물론 일반인이 참여하는 300문장 내에도 대화체, 낭독체, 뉴스 등 문장이 고루 들어가 있기 때문에 상황에 맞는 표현이 가능하다.
두 번째 단계에는 총 20시간 정도가 소요된다. 참여자가 녹음한 음성 파일을 이어 붙이면 약 30분 분량의 음성이 나온다. 사람의 음성 안에는 1초에 1만6천개 정도의 디지털 값이 있는데, 1만6천개 ｘ 30분(1천800초) 분량의 디지털 값과 전체 문장의 자음·모음 수(1초 안에 들어가는 자음·모음 수 약 12개 ｘ 1천800초)의 관계를 학습하는 데 걸리는 시간이다.
장비를 갖춘 녹음실이 아니라 일반 스마트폰을 이용해 이뤄지는 작업인 만큼 잡음이 없는 공간에서 명료한 소리를 낼수록 실제 목소리와 비슷한 음성을 얻을 수 있다.
다만 아직 일반 동화구연처럼 풍부한 감정 표현은 되지 않는 점이 한계다. KT 융합기술원 박정석 음성합성&AI 비즈 프로젝트팀장은 "사람들이 놀라거나 화났을 때 표현방식이 다르기 때문에 일반화시키기 어렵다"며 "다음에는 기쁨, 화남, 놀람, 슬픔 등 감정을 세분화한 문장까지 녹음해 포함할 계획"이라고 설명했다.
이 같은 P-TTS 기반 기술은 여러 분야에 활용될 수 있다.
현재도 네이버 AI 스피커인 '클로바'에서 유인나 목소리를 쓰는 것이 대표적이다. B2B 시장에서는 콜센터에서 일반 성우 대신 기업 광고모델인 연예인 목소리로 실시간 대화를 이어가게 발전시킬 수 있다.
KT는 KBS와 손잡고 올 3·1절 다큐멘터리드라마에서 독립운동가 고 정재용·이갑선 선생의 목소리를 복원하기도 했다.
박 팀장은 "이론적으로 돌아가신 부모님, 배우자 등의 목소리도 데이터만 있다면 일정 수준까지 복원하는 것이 가능하다"고 말했다.
음성합성 기술이 발전하는 만큼 다른 사람의 목소리를 합성해서 악용할 경우를 막아야 한다는 과제가 있다. 박 팀장은 "녹음한 소리에는 방어코드를 넣어 합성한 소리라는 것을 알린다"며 "녹음을 할 때는 실제 소리보다 손실이 있어 자연의 소리만큼 정확한 복원은 어렵다. 그만큼 화자 인식도 발전하고 있기 때문에 원 소리와 구분할 수 있다"고 설명했다.
srchae@yna.co.kr
(끝)
<저작권자(c) 연합뉴스, 무단 전재-재배포 금지>
KT 개인화 음성합성 기술 활용…30분 데이터로 딥러닝 기반 학습
(서울=연합뉴스) 채새롬 기자 = "배흘림기둥과 주심포 양식은 부석사 무량수전, 수덕사 대웅전 등에서 볼 수 있습니다."
"가은이는 크고 살찐 몸을 하얀 플란넬 옷으로 감싸고 서서, 폴라리스와 안드로메다를 찾았습니다."
약 1시간 30분 동안 이 같은 문장을 포함해 300문장을 읽고, 하루를 기다리자 기자 목소리로 읽는 '내 목소리 동화' 10권이 완성됐다.
KT[030200]가 지난달 29일 공개한 '내 목소리 동화'는 개인화 음성합성(P-TTS) 기술에 기반해 기가지니가 부모의 목소리로 아이에게 책을 읽어주는 서비스다. 연예인이나 성우가 아닌 일반인의 목소리로 P-TTS 기반 상용 서비스를 구현한 것은 이번이 처음이다.
실제 동화를 재생해봤더니 음절, 단어 간 연결이 끊기지 않아 무척이나 자연스럽고, 말끝을 내리는 억양 등 기자 말투의 특징이 들어가 있어 '싱크로율'이 높았다. '쿵쾅쿵쾅' '나풀나풀' 같은 의성어·의태어가 들어간 문장도 막힘없이 읽어 어떤 문장에서는 기자가 직접 읽는 것보다 낫다는 생각까지 들었다.
KT에 따르면 이 동화는 두 단계로 만들어진다. 먼저 전문 성우가 2만 문장을 녹음해 베이스 모델을 만들고, 2단계로 각각의 참여자가 녹음한 300문장을 이 모델 위에서 재훈련해 음색이나 억양 등 고유한 특색을 입힌다.
베이스 모델은 물론 일반인이 참여하는 300문장 내에도 대화체, 낭독체, 뉴스 등 문장이 고루 들어가 있기 때문에 상황에 맞는 표현이 가능하다.
두 번째 단계에는 총 20시간 정도가 소요된다. 참여자가 녹음한 음성 파일을 이어 붙이면 약 30분 분량의 음성이 나온다. 사람의 음성 안에는 1초에 1만6천개 정도의 디지털 값이 있는데, 1만6천개 ｘ 30분(1천800초) 분량의 디지털 값과 전체 문장의 자음·모음 수(1초 안에 들어가는 자음·모음 수 약 12개 ｘ 1천800초)의 관계를 학습하는 데 걸리는 시간이다.
장비를 갖춘 녹음실이 아니라 일반 스마트폰을 이용해 이뤄지는 작업인 만큼 잡음이 없는 공간에서 명료한 소리를 낼수록 실제 목소리와 비슷한 음성을 얻을 수 있다.
다만 아직 일반 동화구연처럼 풍부한 감정 표현은 되지 않는 점이 한계다. KT 융합기술원 박정석 음성합성&AI 비즈 프로젝트팀장은 "사람들이 놀라거나 화났을 때 표현방식이 다르기 때문에 일반화시키기 어렵다"며 "다음에는 기쁨, 화남, 놀람, 슬픔 등 감정을 세분화한 문장까지 녹음해 포함할 계획"이라고 설명했다.
이 같은 P-TTS 기반 기술은 여러 분야에 활용될 수 있다.
현재도 네이버 AI 스피커인 '클로바'에서 유인나 목소리를 쓰는 것이 대표적이다. B2B 시장에서는 콜센터에서 일반 성우 대신 기업 광고모델인 연예인 목소리로 실시간 대화를 이어가게 발전시킬 수 있다.
KT는 KBS와 손잡고 올 3·1절 다큐멘터리드라마에서 독립운동가 고 정재용·이갑선 선생의 목소리를 복원하기도 했다.
박 팀장은 "이론적으로 돌아가신 부모님, 배우자 등의 목소리도 데이터만 있다면 일정 수준까지 복원하는 것이 가능하다"고 말했다.
음성합성 기술이 발전하는 만큼 다른 사람의 목소리를 합성해서 악용할 경우를 막아야 한다는 과제가 있다. 박 팀장은 "녹음한 소리에는 방어코드를 넣어 합성한 소리라는 것을 알린다"며 "녹음을 할 때는 실제 소리보다 손실이 있어 자연의 소리만큼 정확한 복원은 어렵다. 그만큼 화자 인식도 발전하고 있기 때문에 원 소리와 구분할 수 있다"고 설명했다.
srchae@yna.co.kr
(끝)
<저작권자(c) 연합뉴스, 무단 전재-재배포 금지>
관련뉴스
