역사왜곡에 가짜판례도…환각 취한 AI

생성형 인공지능(AI)이 존재하지 않는 사실을 진실인 것처럼 꾸며내는 ‘할루시네이션(환각)’ 현상이 심각한 사회 문제로 떠오르고 있다. 법정에서 허구 판례가 인용되고, 역사 서술마저 왜곡될 수 있다는 우려가 커지고 있다.

지난 2월 미국 와이오밍주 연방지방법원은 존재하지 않는 판례 문구 8건을 인용한 모건앤드모건 소속 변호사 세 명에게 최대 3000달러(약 420만원)의 벌금을 부과했다. 로이터통신 조사에 따르면 이처럼 ‘AI가 만들어낸 허위 판례 인용’으로 변호사들이 징계를 받거나 조사받은 사례는 2023~2024년 미국에서 최소 7건에 달한다. 지난 1월 미네소타법원에서는 카멀라 해리스 당시 부통령 딥페이크 사건을 계기로 제정된 ‘딥페이크 규제법’ 위헌 소송에서 제프 핸콕 스탠퍼드대 교수가 AI가 만들어낸 판례를 인용한 전문가 진술서를 제출했다가 배척됐다.

할루시네이션 현상은 역사 왜곡 논란까지 불러일으켰다. 얀 부르츠라프 코넬대 교수가 이끄는 연구팀은 지난달 AI가 홀로코스트 생존자 증언을 요약하는 과정에서 중요한 세부 사항을 생략하는 경향을 보였다는 연구 결과를 발표했다. 부르츠라프 교수는 “AI가 홀로코스트 증언조차 제대로 다루지 못한다면 이보다 미묘한 역사는 더 왜곡될 것”이라고 말했다.

임다연 기자 allopen@hankyung.com