제멋대로 해킹하는 '통제불가 AI'…오픈AI·앤트로픽, 결국 봉인

최첨단 인공지능(AI)이 사람의 지시 없이 소프트웨어의 알려지지 않은 취약점을 찾아 공격하는 수준으로 발전하고 있다.

오픈AI와 앤트로픽은 최신 AI의 사이버 공격 능력이 급격히 높아지자 일부 기능을 제한해 출시하기로 결정했다. AI 경쟁이 단순한 성능 향상을 넘어 고위험 기능의 공개 범위와 접근 권한을 둘러싼 경쟁으로 확장되고 있다는 분석이 나온다.

1일(현지시간) 오픈AI는 차기 AI 모델 ‘아스트라’가 자사의 위험 평가 체계에서 사이버보안 분야 최고 수준인 ‘치명적’ 역량 기준에 도달했다고 밝혔다. 적절한 도구와 접근 권한이 주어지면 사람의 단계별 지시 없이도 보안이 강화된 시스템에서 알려지지 않은 취약점을 찾아내고 이를 공격하는 방법까지 개발할 수 있다는 의미다.

오픈AI가 자사의 모델을 이 수준으로 분류한 것은 이번이 처음이다. 어밀리아 글레이즈 오픈AI 안전 담당 부사장은 “아스트라는 적절한 도구와 접근 권한이 주어지면 사람이 매 단계를 지시하지 않아도 알려지지 않은 보안 결함을 찾아 이를 악용하는 방법을 개발할 수 있다”고 말했다.

아스트라는 알려진 취약점의 공격 코드를 개발하는 능력을 평가하는 벤치마크에서 100%의 점수를 받았다. 최근 공개된 고위험 취약점 20개를 활용해 오픈AI가 별도로 마련한 평가에서는 기존에 알려지지 않은 취약점 두 개를 직접 찾아 공격 과정에 사용했다. 오픈AI는 조만간 출시하는 아스트라의 가장 강력한 사이버 기능을 일부 시험 사용자에게만 제공할 계획이다.

앤트로픽도 이날 공개한 ‘클로드 페이블 5.1’과 ‘클로드 미토스 5.1’의 접근 권한을 구분했다. 두 제품은 같은 기반 모델이지만 안전장치의 강도가 다르다. 일반 사용자가 이용할 수 있는 페이블 5.1은 소스코드에서 취약점을 찾을 수 있지만 침투 테스트와 공격 코드 생성, 바이너리 기반 취약점 탐색 등의 성능은 제한됐다. 더 강력한 사이버보안·생명과학 기능을 갖춘 미토스 5.1은 검증을 거쳐 앤트로픽에 허가받은 일부 기관에만 제공하기로 했다.

글로벌 톱2인 오픈AI와 앤트로픽이 봉인에 나선 건 AI의 발전 속도를 보여준다. 과거에는 성능이 좋은 AI 모델을 공개한 뒤 유해한 질문을 차단하는 게 일반적이었는데, AI가 공격 계획까지 실행할 수 있게 되자 고위험 능력 자체에 접근할 수 있는 이용자를 선별하는 방식으로 안전장치를 바꾸고 있다.

이영애 기자 0ae@hankyung.com