인공지능(AI) 기능이 적용된 스마트안경을 활용한 부정행위 우려가 커지는 가운데 독일에서 시험과 비슷한 환경을 가정해 AI를 대상으로 실험한 결과, 과거 미국 대학입학자격시험(SAT) 문제의 80% 이상을 맞혔다는 연구 결과가 나왔다.
1일 독일 마르틴 루터 할레-비텐베르크대 루퍼트 우르반스키·랄프 페터스 연구진이 제17회 컴퓨터지원교육 국제학술대회(CSEDU 2025)에서 발표한 '대면 시험의 공정성을 위협하는 대규모 언어모델·비전언어모델: 스마트안경과 컴퓨터 비전을 활용한 평가' 논문에는 미 SAT 문항을 바탕으로 한 AI 모델의 문제풀이 능력 실험 결과가 담겼다.
실험은 과거 공개된 SAT 시험 문항 중 독해 396개와 수학 324개 등 총 720개 문항을 대상으로 진행됐다.
다만 이번 실험은 연구진이 실제 작동하는 AI 커닝 안경을 만들어 시험장에서 검증한 것은 아니다. 대신 연구진은 스마트안경과 AI를 연결해 시험을 보게 하는 대신, 스마트안경으로 시험지를 바라볼 때 나타날 수 있는 이미지 왜곡을 인위적으로 재현하는 방식을 했다.
스마트안경으로 다소 떨어진 거리에서 시험지를 바라보는 상황을 모사해 문제지 이미지를 생성했다. 시험 상황에 가깝도록 시험지 이미지에 약 75도 회전에 해당하는 원근 왜곡을 적용했고, 3픽셀의 흐림 효과 및 5%의 노이즈를 더했다.
이 같이 가공한 문제 이미지를 구글과 오픈AI의 거대언어모델(LLM)에 1문제씩 제공해 풀도록 했다. 구글의 '제미나이 1.5 프로-002'에게 적용한 결과, 수학 문제는 87.96%, 독해 문제는 78.54%를 맞혀 전체 정답률이 82.78%를 기록했다.
오픈AI의 'GPT-4o'는 전체 정답률이 75.69%였다. 수학 정답률은 74.69%, 독해는 76.52%로 나타났다.
또한 이미지 왜곡이 없는 상태의 문제를 제시하면 정답률이 개선됐다. GPT-4o의 전체 정답률은 87.22%, 제미나이의 경우 84.58%로 집계됐다.
이 같은 결과에 대해 연구진은 화질이 좋지 않은 상황에서도 상용 AI 모델이 시험 문제를 높은 정확도로 풀 수 있다는 점을 짚고 스마트안경이 대면 시험의 공정성을 위협할 수 있다고 판단했다. 다만 시험 문제는 한 페이지에 한 문항만 보이도록 가공돼 여러 문항 중 일정 문제를 AI가 찾아야 하는 실제 시험 상황이 충분히 반영되지는 않았다.
연구진은 "스마트안경이 시험 문제를 AI에 전달하는 입력 수단으로 활용될 가능성이 있다"며 "화면 표시 기능이 없는 스마트안경은 익숙하지 않은 사람이 보기에는 일반 안경과 사실상 구별하기 어렵다"고 강조했다.
오정민 한경닷컴 기자 blooming@hankyung.com
관련뉴스
