굿모닝작전
[AI돋보기] 믿었던 메일·목소리까지…AI가 만든 불신의 해
생성형 AI, 사칭과 기만 공격의 핵심 도구로
연말 결산으로 본 피싱·딥페이크의 진화
(서울=연합뉴스) 심재훈 기자 = 11월의 어느 금요일 오후 4시. 대기업 전략기획팀 김 모 과장의 모니터에 메일 알림이 떴다. 발신자는 사내에서 깐깐하기로 소문난 최 모 상무였다.
제목은 '[긴급] 2026년 사업계획 수정안 검토 요청'.
"지난번 회의 때 지적했던 3분기 리스크 요인이 아직 반영 안 된 것 같네. 첨부한 수정 가이드라인 확인하고 오늘 퇴근 전까지 회신해줘."
최 상무가 입버릇처럼 쓰는 '리스크 요인'이라는 단어, 금요일 오후 특유의 업무 압박, 건조한 말투까지 영락없는 '최 상무'였다. 김 과장은 의심 없이 첨부 파일을 클릭했다. 그 순간, 견고했던 사내 보안망은 무력화됐다.
메일은 최 상무가 보낸 게 아니었다. 그가 과거에 작성한 보고서와 메일, SNS 글을 긁어모아 학습한 생성형 AI가 문체와 습관을 흉내 내 만든 정교한 '스피어 피싱(Spear Phishing)'이었다.
위는 가상의 사례지만 올해는 이처럼 AI가 사무실과 가정, 사람들의 일상 깊숙이 침투한 해였다.
특히 보안 역사에서는 AI가 인간을 겨냥한 공격이 일상화된 원년으로 기록될 전망이다.
올 한 해를 관통한 보안 키워드는 AI를 이용한 '사칭'과 '기만' 그리고 이에 맞선 창과 방패의 전쟁이었다.
◇ "김미영 팀장은 잊어라"…타깃 겨누는 '작살' 피싱
"OOO님 당첨되셨습니다."
2020년대 초반만 해도 피싱 메일은 어설픈 번역투와 맞춤법 오류 덕에 걸러내기 쉬웠다. 대량으로 뿌리고 하나만 걸려들라는 식의 '투망'질이었다.
하지만 올해 보안 업계가 지목한 최대 위협은 '초개인화 피싱'이다.
다크웹과 텔레그램 등 음지에서는 2023년부터 'WormGPT', 'FraudGPT' 같은 이른바 '블랙햇(Black Hat) LLM'이 활개 치고 있다. 이들은 윤리적 제한 없이 피싱 시나리오와 악성 코드를 뚝딱 만들어낸다.
"거래처 미수금 독촉 메일 써줘", "A사 인사팀장 톤으로 합격 통보 메일 작성해줘"라고 입력만 하면, 코딩을 전혀 모르는 공격자도 전문가 수준의 해킹 메일을 만들어내는 세상이 된 것이다.
특히 하반기에는 '리플라이 체인(Reply-chain)' 공격이 기승을 부렸다. 해킹한 이메일 계정의 대화 내역을 AI가 학습해, 마치 진행 중이던 업무의 답장인 척 끼어드는 수법이다.
상대방의 이름, 프로젝트명, 심지어 "지난번 회식 때 즐거웠습니다" 같은 사소한 맥락까지 짚어내며 악성 링크를 달아놓으니 당해낼 재간이 없다.
한 보안 전문가는 "과거의 피싱이 낚싯대였다면 지금은 타깃의 급소를 정확히 노리는 작살과 같다"며 "AI가 인간의 심리와 관계를 파고드는 핵심 도구가 됐다"고 혀를 내둘렀다.
◇ 눈과 귀도 믿지 말라…딥페이크 공포의 현실화
텍스트를 넘어 시청각 영역으로 번진 AI의 속임수는 올해를 공포로 몰아넣었다.지난 2월 홍콩 지사에서 발생한 300억 원 규모의 딥페이크 화상회의 송금 사기는 그 정점이었다.
화면 속 CFO(최고재무책임자)와 동료들은 자연스럽게 대화하며 송금을 지시했다. 직원은 의심 없이 2억 홍콩달러(약 340억 원)를 보냈다. 하지만 그들은 모두 AI가 합성한 가짜였다. 얼굴과 목소리는 물론, 회의를 주도하는 습관까지 완벽하게 복제된 '디지털 유령'들이었다.
국내에서도 상황은 다르지 않다.
"엄마, 나 사고 났어"라며 울먹이는 자녀의 목소리를 흉내 낸 보이스피싱은 이제 식상할 정도다.
수초 분량의 샘플만 있으면 목소리를 복제하는 기술 탓에 부모들은 '혹시나' 하는 의심보다 자식을 향한 공포에 먼저 반응하게 된다.
여기에 딥페이크 성 착취물 범죄까지 더해지며 "디지털 공간에 안전지대는 없다"는 절망감마저 퍼졌다.
정부가 AI 생성물 표시 의무화 등 대책을 내놨지만 해외 서버와 암호화 메신저를 타고 번지는 속도를 따라잡기엔 역부족이라는 지적이 나온다.
◇ 뚫느냐 막느냐…가해자 없는 '책임의 증발'
공격자가 AI라는 '창'을 갈고닦는 사이 보안 기업들은 AI라는 '방패'를 꺼내 들었다.
바야흐로 '알고리즘 군비 경쟁'이다.
사람이 일일이 룰을 만들어 막는 방식은 끝났다. 이제는 방어용 AI가 실시간으로 이상 징후를 탐지해 차단한다. 하지만 공격용 AI 역시 방어망을 우회하는 학습을 거듭하며 쫓고 쫓기는 추격전이 이어지고 있다.
문제는 기술이 아니다. 법과 제도가 속도를 못 따라가고 있다.
EU(유럽연합)가 AI법을 통해 규제의 닻을 올린 것과 달리 우리나라의 AI 기본법은 국회 문턱에서 맴돌며 '골든타임' 우려를 낳기도 했다.
더 뼈아픈 건 "AI 사고의 책임을 누구에게 물을 것인가"라는 질문이다.
개발사인가, 운영자인가 아니면 악용한 사용자인가.
2025년 발생한 수많은 분쟁은 명확한 판례 없이 책임 공방만 남겼다. 피해자는 있는데 가해자를 딱 잘라 말하기 힘든 이른바 '책임의 증발' 현상이다.
쿠팡 등 대형 플랫폼에서 유출된 개인정보가 AI 범죄의 '연료'로 쓰일 수 있다는 섬뜩한 경고만 남았을 뿐이다.
◇ 2026년의 과제…결국 '인간 증명'의 시대로
올해의 혼란을 뒤로하고 맞이할 2026년에 전문가들이 입을 모으는 키워드는 '인간 증명(Proof of Personhood)'이다.
온라인 너머의 상대가 봇(Bot)이 아닌 실제 사람임을 증명하는 기술이 생존 인프라가 됐다. 홍채 정보를 이용한 '월드코인' 같은 시도가 논란 속에서도 주목받는 이유다. SNS와 메신저들도 '사람 계정'을 인증하는 배지 도입을 서두르고 있다.
이제 보안의 패러다임은 '아무것도 신뢰하지 않는다'는 제로 트러스트(Zero Trust)로 굳어지고 있다.
AI는 분명 우리에게 압도적인 생산성을 선물했다. 하지만 연말 성적표에 적힌 '신뢰의 붕괴'라는 비용은 뼈아프다.
상사의 메일, 자녀의 목소리, 뉴스의 화면까지 의심부터 해야 하는 세상.
AI가 열어젖힌 판도라의 상자 앞에서 우리는 이제 "기술이 얼마나 뛰어난가"가 아니라 "인간다움을 어떻게 지킬 것인가"를 고민해야 하는 처지가 됐다.
president21@yna.co.kr
(끝)
<저작권자(c) 연합뉴스, 무단 전재-재배포, AI 학습 및 활용 금지>
생성형 AI, 사칭과 기만 공격의 핵심 도구로
연말 결산으로 본 피싱·딥페이크의 진화
(서울=연합뉴스) 심재훈 기자 = 11월의 어느 금요일 오후 4시. 대기업 전략기획팀 김 모 과장의 모니터에 메일 알림이 떴다. 발신자는 사내에서 깐깐하기로 소문난 최 모 상무였다.
제목은 '[긴급] 2026년 사업계획 수정안 검토 요청'.
"지난번 회의 때 지적했던 3분기 리스크 요인이 아직 반영 안 된 것 같네. 첨부한 수정 가이드라인 확인하고 오늘 퇴근 전까지 회신해줘."
최 상무가 입버릇처럼 쓰는 '리스크 요인'이라는 단어, 금요일 오후 특유의 업무 압박, 건조한 말투까지 영락없는 '최 상무'였다. 김 과장은 의심 없이 첨부 파일을 클릭했다. 그 순간, 견고했던 사내 보안망은 무력화됐다.
메일은 최 상무가 보낸 게 아니었다. 그가 과거에 작성한 보고서와 메일, SNS 글을 긁어모아 학습한 생성형 AI가 문체와 습관을 흉내 내 만든 정교한 '스피어 피싱(Spear Phishing)'이었다.
위는 가상의 사례지만 올해는 이처럼 AI가 사무실과 가정, 사람들의 일상 깊숙이 침투한 해였다.
특히 보안 역사에서는 AI가 인간을 겨냥한 공격이 일상화된 원년으로 기록될 전망이다.
올 한 해를 관통한 보안 키워드는 AI를 이용한 '사칭'과 '기만' 그리고 이에 맞선 창과 방패의 전쟁이었다.
◇ "김미영 팀장은 잊어라"…타깃 겨누는 '작살' 피싱
"OOO님 당첨되셨습니다."
2020년대 초반만 해도 피싱 메일은 어설픈 번역투와 맞춤법 오류 덕에 걸러내기 쉬웠다. 대량으로 뿌리고 하나만 걸려들라는 식의 '투망'질이었다.
하지만 올해 보안 업계가 지목한 최대 위협은 '초개인화 피싱'이다.
다크웹과 텔레그램 등 음지에서는 2023년부터 'WormGPT', 'FraudGPT' 같은 이른바 '블랙햇(Black Hat) LLM'이 활개 치고 있다. 이들은 윤리적 제한 없이 피싱 시나리오와 악성 코드를 뚝딱 만들어낸다.
"거래처 미수금 독촉 메일 써줘", "A사 인사팀장 톤으로 합격 통보 메일 작성해줘"라고 입력만 하면, 코딩을 전혀 모르는 공격자도 전문가 수준의 해킹 메일을 만들어내는 세상이 된 것이다.
특히 하반기에는 '리플라이 체인(Reply-chain)' 공격이 기승을 부렸다. 해킹한 이메일 계정의 대화 내역을 AI가 학습해, 마치 진행 중이던 업무의 답장인 척 끼어드는 수법이다.
상대방의 이름, 프로젝트명, 심지어 "지난번 회식 때 즐거웠습니다" 같은 사소한 맥락까지 짚어내며 악성 링크를 달아놓으니 당해낼 재간이 없다.
한 보안 전문가는 "과거의 피싱이 낚싯대였다면 지금은 타깃의 급소를 정확히 노리는 작살과 같다"며 "AI가 인간의 심리와 관계를 파고드는 핵심 도구가 됐다"고 혀를 내둘렀다.
◇ 눈과 귀도 믿지 말라…딥페이크 공포의 현실화
텍스트를 넘어 시청각 영역으로 번진 AI의 속임수는 올해를 공포로 몰아넣었다.지난 2월 홍콩 지사에서 발생한 300억 원 규모의 딥페이크 화상회의 송금 사기는 그 정점이었다.
화면 속 CFO(최고재무책임자)와 동료들은 자연스럽게 대화하며 송금을 지시했다. 직원은 의심 없이 2억 홍콩달러(약 340억 원)를 보냈다. 하지만 그들은 모두 AI가 합성한 가짜였다. 얼굴과 목소리는 물론, 회의를 주도하는 습관까지 완벽하게 복제된 '디지털 유령'들이었다.
국내에서도 상황은 다르지 않다.
"엄마, 나 사고 났어"라며 울먹이는 자녀의 목소리를 흉내 낸 보이스피싱은 이제 식상할 정도다.
수초 분량의 샘플만 있으면 목소리를 복제하는 기술 탓에 부모들은 '혹시나' 하는 의심보다 자식을 향한 공포에 먼저 반응하게 된다.
여기에 딥페이크 성 착취물 범죄까지 더해지며 "디지털 공간에 안전지대는 없다"는 절망감마저 퍼졌다.
정부가 AI 생성물 표시 의무화 등 대책을 내놨지만 해외 서버와 암호화 메신저를 타고 번지는 속도를 따라잡기엔 역부족이라는 지적이 나온다.
◇ 뚫느냐 막느냐…가해자 없는 '책임의 증발'
공격자가 AI라는 '창'을 갈고닦는 사이 보안 기업들은 AI라는 '방패'를 꺼내 들었다.
바야흐로 '알고리즘 군비 경쟁'이다.
사람이 일일이 룰을 만들어 막는 방식은 끝났다. 이제는 방어용 AI가 실시간으로 이상 징후를 탐지해 차단한다. 하지만 공격용 AI 역시 방어망을 우회하는 학습을 거듭하며 쫓고 쫓기는 추격전이 이어지고 있다.
문제는 기술이 아니다. 법과 제도가 속도를 못 따라가고 있다.
EU(유럽연합)가 AI법을 통해 규제의 닻을 올린 것과 달리 우리나라의 AI 기본법은 국회 문턱에서 맴돌며 '골든타임' 우려를 낳기도 했다.
더 뼈아픈 건 "AI 사고의 책임을 누구에게 물을 것인가"라는 질문이다.
개발사인가, 운영자인가 아니면 악용한 사용자인가.
2025년 발생한 수많은 분쟁은 명확한 판례 없이 책임 공방만 남겼다. 피해자는 있는데 가해자를 딱 잘라 말하기 힘든 이른바 '책임의 증발' 현상이다.
쿠팡 등 대형 플랫폼에서 유출된 개인정보가 AI 범죄의 '연료'로 쓰일 수 있다는 섬뜩한 경고만 남았을 뿐이다.
◇ 2026년의 과제…결국 '인간 증명'의 시대로
올해의 혼란을 뒤로하고 맞이할 2026년에 전문가들이 입을 모으는 키워드는 '인간 증명(Proof of Personhood)'이다.
온라인 너머의 상대가 봇(Bot)이 아닌 실제 사람임을 증명하는 기술이 생존 인프라가 됐다. 홍채 정보를 이용한 '월드코인' 같은 시도가 논란 속에서도 주목받는 이유다. SNS와 메신저들도 '사람 계정'을 인증하는 배지 도입을 서두르고 있다.
이제 보안의 패러다임은 '아무것도 신뢰하지 않는다'는 제로 트러스트(Zero Trust)로 굳어지고 있다.
AI는 분명 우리에게 압도적인 생산성을 선물했다. 하지만 연말 성적표에 적힌 '신뢰의 붕괴'라는 비용은 뼈아프다.
상사의 메일, 자녀의 목소리, 뉴스의 화면까지 의심부터 해야 하는 세상.
AI가 열어젖힌 판도라의 상자 앞에서 우리는 이제 "기술이 얼마나 뛰어난가"가 아니라 "인간다움을 어떻게 지킬 것인가"를 고민해야 하는 처지가 됐다.
president21@yna.co.kr
(끝)
<저작권자(c) 연합뉴스, 무단 전재-재배포, AI 학습 및 활용 금지>
관련뉴스
