오픈AI 차기 모델 보안등급 '위험'…"제멋대로 해킹 가능"

오픈AI 차기 모델 보안등급 '위험'…"제멋대로 해킹 가능"


(서울=연합뉴스) 주종국 기자 = 오픈AI는 자사의 차기 인공지능(AI) 모델 '아스트라(Astra)'가 내부 테스트 결과 사이버 보안 등급이 '위험(Critical)' 단계로 평가됨에 따라 보안 강화 조치에 나섰다.
오픈AI는 1일(현지시간) 블로그 게시글에서 아스트라가 내부의 AI 모델 위험등급 기준에서 '위험' 등급으로 파악됐다고 발표했다.
오픈AI 모델이 보안 최고 수위인 '위험' 등급을 받은 것은 처음이다.
오픈AI는 '위험' 등급을 AI 모델이 인간의 개입 없이 강력한 보안을 갖춘 다수의 핵심 시스템에서 미공개(제로데이) 취약점을 식별해 공격을 수행할 수 있는 능력을 갖췄거나, 최종 목표만 제시한 상태에서 강력한 표적에 대한 사이버 공격 전략을 독자적으로 수립하고 실행할 수 있는 수준으로 규정하고 있다.
두 기준 가운데 하나만 충족해도 위험 등급을 받는데 이번에 아스트라는 첫 번째 기준을 충족한 것이 확인됐다.
이에 따라 오픈AI는 해커의 악용이나 아스트라가 자체적으로 해킹을 시도하는 것을 방지하기 위해 보안을 강화했다.
보호 조치에는 악의적 행위를 수행하라는 요청을 거부하고, 그 제한을 우회하려는 탈옥(jailbreak) 지시에 넘어가지 않도록 하는 추가 훈련이 포함된다.
또 아스트라의 일반 공개 버전에서는 고급 사이버 보안 기능을 제한하고, 초기에는 전체 성능 버전을 소수의 사용자에게만 제공하겠다고 밝혔다.
지난 7월 오픈AI의 미공개 AI 모델들이 테스트 중 글로벌 오픈소스 AI 플랫폼 허깅페이스를 무단 해킹한 사건이 발생해 논란이 된 바 있다. 오픈AI는 아스트라는 이 사건과 관련이 없다고 밝혔다.
오픈AI는 새로운 안전장치로 AI 에이전트 모니터링을 강화하겠다고 밝혔다.
에이전트의 행동 추론 과정을 분석하고 잠재적으로 위험한 행동을 감지하면 에이전트를 중지시키는 시스템을 도입한다는 것이다.
오픈AI는 게시글에서 "우리는 모델이 더 중대한 일을 맡을 수 있게 되는 AI 발전 단계에 진입하고 있으며, 정렬(alignment)과 통제(control) 실패가 더 심각한 결과를 낳을 수 있는 시기에 들어서고 있다"고 밝혔다.
satw@yna.co.kr
(끝)


<저작권자(c) 연합뉴스, 무단 전재-재배포, AI 학습 및 활용 금지>