"말도 안 된다" 수학계 발칵…AI가 푼 수학 난제

인공지능(AI)이 수학자들이 수십 년간 풀지 못했던 문제를 포함해 722편의 수학 원고를 한꺼번에 공개했다. 결과물 가운데 하나를 본 저명 수학자는 "인간이 해냈다면 의문의 여지 없이 즉시 필즈상을 받았을 것"이라고 평가했다. 다만 일부 결과는 아직 독립적인 검증을 거치지 않아 실제 수학적 성과로 인정받을지는 추가 확인이 필요하다.

8일 오픈AI와 월스트리트저널(WSJ) 등에 따르면 오픈AI는 전날 내부에서 개발 중인 AI 모델이 생성한 수학 원고 722편을 공개했다. 서로 관련된 논문을 묶으면 372개 결과군으로, 정수론과 대수기하학, 수리논리학 등 여러 분야를 아우른다.

오픈AI는 기존 수학 평가에서 모델의 성능이 한계에 도달하자 아직 해결되지 않은 연구 문제로 시험 범위를 넓혔다. AI에 약 4000개 문제를 제시한 뒤 의미가 있다고 판단한 결과를 추려 원고와 증명 자료로 정리했다. 결과 한 건을 얻는 데 사용된 연산량은 평균적으로 챗GPT 프로가 약 3시간 동안 추론하는 수준이었다.

가장 큰 관심을 받은 것은 '준리만 가설'에 관한 결과다. 리만가설은 소수의 분포와 관련된 수학계의 대표적인 난제로, 상금 100만달러가 걸린 밀레니엄 프라이즈 문제 가운데 하나다.

오픈AI가 공개한 원고는 리만가설 자체를 완전히 증명한 것은 아니다. 리만 제타함수와 디리클레 L함수의 영점이 존재하지 않는 영역을 실수부 7분의 8보다 큰 범위까지 넓혔다고 주장한다. 오픈AI는 이를 준리만 가설을 해결한 결과로 소개했다.

앨릭스 콘토로비치 미국 럿거스대 석좌교수는 이 결과를 두고 "인간이 이 일을 해냈다면 의문의 여지 없이 즉시 필즈상을 받았을 것"이라고 평가했다. 필즈상은 4년마다 만 40세 미만 수학자에게 수여되는 수학계 최고 권위의 상이다.

이번 공개물에는 리만가설을 포함해 아직 해결되지 않은 밀레니엄 프라이즈 문제 3개와 관련한 진전이 담겼다. 다만 이들 난제 자체가 최종 해결된 것은 아니다. 독립적인 학자들의 검토와 재현을 거쳐 증명이 옳은지, 기존 연구보다 얼마나 발전했는지 평가해야 한다.

공개된 원고 가운데 상당수에는 수학적 증명을 컴퓨터로 검사할 수 있는 프로그래밍 언어 ‘린’(Lean)을 이용한 형식 검증 자료가 포함됐다. 그러나 모든 결과가 형식 검증을 마친 것은 아니다.

오픈AI도 저장소 안내문에서 결과들의 검증 단계가 서로 다르며, 형식 검증이 이뤄지지 않은 원고에는 오류가 있을 수 있다고 밝혔다. 현재 공개된 자료는 확정된 수학적 정답이라기보다 수학계가 본격적으로 검증해야 할 대규모 연구 결과물에 가깝다.

그럼에도 수학계가 받은 충격은 작지 않다. WSJ에 따르면 오픈AI가 대량의 증명을 공개할 것이라는 소문이 퍼지자 일부 수학자들은 자신들이 진행하던 AI 보조 연구를 먼저 발표하기 위해 서둘렀다. AI가 인간 연구자의 미발표 성과를 앞질러 공개할 수 있다는 불안감이 현실로 다가온 것이다.

수학계는 AI가 난제를 푸는 방식과 연구 성과를 공개하는 절차에도 문제를 제기하고 있다. 필즈상 수상자 20여명을 포함한 수학자들은 AI 기업이 비공개 모델로 미해결 문제를 시험하고 결과를 마케팅에 활용하면 인간의 수학적 이해와 연구 생태계를 훼손할 수 있다고 경고했다.

프린스턴 고등연구소를 중심으로 구성된 '수학과 AI 자문그룹'은 AI가 만든 결과도 기존 학술 연구와 마찬가지로 공개적인 검토와 수정, 인용 절차를 거쳐야 한다고 제안했다. 오픈AI는 이번 원고를 수정 이력과 인용 정보를 남길 수 있는 깃허브 저장소에 공개하고 자문그룹의 권고를 반영했다고 설명했다.

다만 수학계가 요구한 '비공개 자체 모델을 이용한 고등 수학 문제 시험 중단'은 받아들이지 않았다. 오픈AI는 수학과 과학의 발전을 지원할 도구 개발을 가속하려면 내부 최첨단 모델을 계속 평가하는 것이 중요하다고 밝혔다.

이송렬 한경닷컴 기자 yisr0203@hankyung.com