가천대학교는 컴퓨터공학전공 최창 교수 연구팀이 정확도와 속도를 동시에 개선한 딥페이크 탐지 인공지능(AI) 기술을 개발했다고 3일 밝혔다.
연구 결과는 세계 최대 전기·전자 학술단체 IEEE가 발간하는 국제학술지 ‘IEEE Transactions on Consumer Electronics(Impact Factor 10.9, 상위 2.9%)’에 지난달 23일 게재됐다.
딥페이크는 인공지능으로 얼굴과 음성을 정교하게 합성한 가짜 영상이다. 탐지를 위해서는 영상(비디오)과 음성(오디오)을 동시에 분석해야 한다.
입력 데이터가 늘어날수록 연산량이 급증하고 처리 속도가 느려지는 한계가 있었다. CCTV처럼 실시간 판단이 필요한 환경에서는 치명적 제약으로 작용했다.
연구팀은 ‘MSG(Multimodal Semantic-Similarity Gate)’ 구조를 제안했다. 영상과 음성 간 의미 유사도를 먼저 계산한 뒤, 그 결과에 따라 연산 방식을 달리 적용하는 방법이다.
구조는 두 단계로 나뉜다. 1단계(Front-Stage)에서는 두 정보 간 의미 유사도를 산출해 처리 경로를 결정한다. 2단계(Back-Stage)에서는 선택된 경로에 따라 어텐션 방식을 적용한다.
어텐션은 여러 정보 중 중요한 부분에 집중하도록 하는 계산 기법이다. 의미 유사도가 낮으면 모든 정보를 그대로 비교·계산하는 ‘하드 어텐션’을 적용해 정밀도를 높인다. 반대로 유사도가 높으면 비슷한 정보를 묶어 연산을 줄이는 ‘소프트 어텐션’을 적용한다. 필요한 경우에만 정밀 연산을 수행하도록 설계한 것이다.
실험 결과 정확도는 거의 유지됐다. 연산량은 최대 28% 줄었고, 처리 속도는 최대 41% 빨라졌다. 성능 저하 없이 탐지 효율을 높였다는 평가를 받는다.
이 기술은 CCTV 모니터링, 출입통제 시스템, 모바일 얼굴 인증, 온라인 신원 확인 등 실시간 보안 환경에 적용할 수 있다.
최 교수는 “입력 정보를 줄이지 않으면서 필요한 경우에만 연산을 집중하는 구조가 핵심”이라며 “멀티모달 파운데이션 모델을 지속적으로 고도화해 실시간 보안·인증 기술 발전에 기여하겠다”고 말했다.
성남=정진욱 기자
관련뉴스
