복제한 'AI 음성'에 가족도 속았다

챗GPT와 같은 생성 인공지능(AI) 기술이 보이스 피싱 등 범죄에 악용될 수 있다는 주장이 제기됐다.

30일 관련 업계에 따르면 미국 월스트리트저널(WSJ)의 정보기술(IT) 칼럼니스트 조안나 스턴은 최근 ‘AI로 자신을 복제했는데 은행과 가족이 속았다’는 내용의 칼럼을 게재했다. 스턴은 음성 AI 스타트업 일레븐랩스의 프로그램으로 ‘음성 아바타’를 만든 뒤 가족이 자신의 실제 목소리와 구분할 수 있는지 알아봤다. 그의 여동생은 음성 아바타가 대화 중 숨을 쉬려고 멈추는 일이 없었다는 점을 제외하면 진짜와 매우 흡사하다는 반응을 보였다. 스턴의 아버지에겐 사회보장번호를 물었지만 눈치채지 못했다. 그는 미국 대형은행의 고객 서비스도 이용해봤는데 자동응답시스템이 AI 음성을 본인의 목소리로 인식해 직원에게 연결해줬다.

스턴은 AI 스타트업 신세시아의 프로그램을 활용해 아바타를 만들고 챗GPT로 생성한 대사를 입력했다. 화상회의에선 지나치게 곧은 자세와 위트 부족으로 진짜 사람이 아니란 사실이 들통났다. 하지만 상호작용이 적은 동영상 사이트에선 쉽게 들키지 않았다고 그는 밝혔다. 스턴은 “이들 프로그램 모두 AI 아바타가 비윤리적인 행동을 하는 것을 제한하지 않았다”며 “AI 아바타가 온라인 세상을 혼탁하게 만들 위험이 있다”고 경고했다.

최진석 기자 iskra@hankyung.com