'AI 지배' 현실화?…"인류 주요 사망원인 될 수도" 섬뜩 경고

오픈AI 재단의 현직 이사가 향후 AI 사고가 인류의 가장 주된 사망 원인이 될 수 있다고 경고했다.

14일(현지시간) 미국 AI안전재단에 따르면 폴 크리스티아노 오픈AI 이사는 최근 이 재단이 캐나다 토론토에서 연 '힌턴 강연회'에 연사로 나서 "이 방에 있는 사람들 대부분의 가장 유력한 사망 원인은 AI 사고가 될 것"이라고 주장했다.

그는 AI 시스템이 인간의 통제를 벗어나 독자적인 목표를 좇기 시작하면서, 현재 인간이 쥔 주도권을 빼앗아 가는 이른바 'AI 지배'(AI takeover)가 현실화할 수 있다고 우려했다. 그런 상황이 닥치면 인간의 대규모 사망이나 인간이 살 수 없는 환경으로 이어질 수 있는데, 정작 인간이 이를 막으려 해도 "여러분이나 제가 미군을 막으려는 것만큼 무력할 것"이라고 지적했다.

아울러 AI 지배 가능성을 숫자로 가늠할 정량적 모델은 아직 없다면서도, 그는 향후 3년 안에 AI가 지배권을 쥘 위험이 매우 크고 빠르면 6~12개월 사이에 일어날 가능성도 있다고 내다봤다.

그 근거로는 지난 7월 발생한 GPT 모델의 허깅페이스 해킹 사건을 들었다. 당시 '불량' AI 에이전트들이 시험 과정에서 높은 점수를 받으면서도 부정행위를 들키지 않으려고 평가자인 인간을 속였는데, 이런 능력이 고도화하면 에이전트가 평가자를 자신의 고득점을 방해하는 장애물로 인식할 수 있다는 설명이다.

크리스티아노 이사는 대응책 마련이 시급하다며 "이는 몇 년 안에 해결해야 할 문제가 아니라 올해 해결해야 할 문제"라고 강조했다.

지난 9월 오픈AI의 상위기구인 오픈AI 재단 이사로 임명된 그는 AI의 목표와 인간의 목표를 일치시키는 '정렬'(Alignment)의 핵심 훈련 과정인 인간 피드백 강화 학습(RLHF)의 공동 창안자이며, 현재 미 상무부 산하 AI 표준혁신센터(CAISI) 수석 기술고문도 맡고 있다.