"AI 지능 폭발 임박…통제 못하면 인류 멸망" 무서운 경고

인공지능(AI) 연구개발(R&D) 작업의 자동화가 가속하면서 기술 진보가 비약적으로 압축되는 '지능 폭발'이 가시화되고 있다는 글로벌 석학 및 빅테크 핵심 연구진의 공동 경고가 나왔다. 시스템 통제력을 상실할 경우 최악의 국면에서는 인류의 소외나 멸망으로 직결될 수 있다는 진단이다.

29일 정보기술(IT)업계에 따르면 제프리 힌턴 토론토대 명예교수와 요슈아 벤지오 몬트리올대 교수, 야쿠프 파호츠키 오픈AI 수석과학자, 잭 클라크 앤트로픽 공동창업자, 에릭 호비츠 마이크로소프트(MS) 최고과학책임자(CSO), 던 송 메타 AI 연구 담당 부사장 등 주요 연구자 22명은 영국 '케임브리지대 AI 과학·정책 프로그램(CASP)'을 통해 공동 논문 'AI R&D의 자동화가 지능 폭발을 촉발한다면?'을 공개했다.

연구진은 주요 빅테크 내에서 차세대 AI 모델 개발 작업을 AI 시스템에 맡기는 자동화 속도가 가파르게 상승하고 있다고 짚었다. 실제 앤트로픽의 경우 개발진 승인 코드 중 AI가 작성한 비율이 지난해 1월 한 자릿수에서 올해 5월 80% 이상으로 급증했다. 인간의 개입 없이 AI가 자율적으로 마친 R&D 작업 비중 역시 지난 3월 1%에서 지난달 26%까지 확대됐다.

보고서는 이 같은 추세가 이어질 경우 수개월이 소요되는 복잡한 AI R&D 프로젝트 전체가 2년 안에 전면 자동화 단계에 진입할 것으로 내다봤다. 특히 AI가 스스로 모델을 개선하는 재귀적 자기개선(RSI) 구조가 안착하면 기술 발전 속도가 걷잡을 수 없이 가속하는 지능 폭발 단계로 진입할 수 있다고 분석했다.

연구진은 신약 개발 가속화 등 긍정적 효과에도 불구하고 사회적 수용 한계를 넘어서는 위협이 수반될 수 있다고 우려했다. 던 송 메타 부사장은 월스트리트저널(WSJ)과의 인터뷰에서 "현재 AI 에이전트의 작업을 감시하기 위해 또 다른 AI가 필요한 단계에 도달했다"며 "인간 역량만으로는 실시간 감시가 불가능하며, 인류 사회는 이러한 급격한 변화에 대비돼 있지 않다"고 말했다.

연구진은 통제력 상실을 차단하기 위한 각국 정부의 제도적 개입을 촉구했다. 세부적으로는 △기업의 AI R&D 자동화 지표 보고 의무화 △원자력규제위원회(NRC) 방식의 정부 상주 감시관 파견 △안전 기준 미달 시 작업 부하 조절 및 일시 중지 권한 도입 △노동시장 충격 대비 비상 대책 마련 등을 제안했다.

박상경 한경닷컴 기자 highseoul@hankyung.com