“업데이트 이후 환각(AI가 잘못된 정보를 사실처럼 꾸며내는 현상)이 심해졌어요.”최근 생성형 인공지능(AI)을 쓰는 사용자 사이에서 종종 들리는 불만이다. 생성 AI가 일상 깊숙이 들어온 뒤 사람들이 갖는 불안은 단순하다. AI가 하는 말을 믿을 수 있을까.
최재식 KAIST 김재철AI대학원 교수(사진)는 1일 “틀리는 것 자체보다 왜 그렇게 판단했는지 설명할 수 있어야 한다”고 말했다. AI가 진화를 거듭할수록 더 똑똑한 AI가 아니라 ‘설명 가능한 AI’가 더 중요해질 것이란 해석이다.
최 교수는 설명 가능 인공지능(XAI) 분야에서 한국을 대표하는 석학이다. 국내에 XAI 개념이 거의 알려지지 않은 시기부터 이 분야를 본격적으로 연구·도입하며 한국 AI 연구 생태계에 설명 가능성 개념이 확산하는 데 결정적 영향을 미친 인물이다. 2017년부터 KAIST 설명가능AI(XAI) 연구센터를 이끌며 국내 AI 신뢰성·투명성 연구의 중심 역할을 하고 있다. 또 구글코리아의 ‘책임감 있는 AI포럼’ 의장을 맡아 지난 2년간 산업·법률·기술 전문가들과 정기적으로 정책과 기술 간 간극을 좁히는 데 힘써왔다.
최 교수는 “XAI가 산업 현장에서 ‘돈 되는 AI’의 필수 조건으로 떠오르고 있다”고 강조했다. 그는 “우려와 달리 일부 에이전트를 활용하는 방식으로 환각 현상을 많이 줄일 수 있다”고 했다. 일정 범위 안에서만 답을 찾도록 하는 식으로 AI가 없는 내용을 지어내는 오류는 얼마든지 줄일 수 있다고 설명했다. 예컨대 구글의 ‘책임감 있는 생성형AI 툴키트’는 AI가 통제된 환경에서만 답변을 생성하도록 유도해 환각 현상을 예방한다.
최 교수는 “설명 가능하다는 것은 곧 통제할 수 있다는 의미”라며 “AI도 사람처럼 실수할 수 있는데 어떤 실수가 왜 발생했는지 확인할 수 있어야 문제를 해결할 수 있다”고 말했다. 의료·국방·원전 등 고위험 산업군에서 설명 가능성은 더욱 중요하다. 미국 국방부는 설명 가능하다는 전제하에서만 군이 AI를 활용할 수 있다는 원칙을 지키고 있다.
제조·금융 분야에서도 설명 가능성은 실수를 줄이는 데 큰 역할을 한다. 가령 콜센터 AI가 특정 사투리나 용어를 반복해서 잘못 알아듣는 경우 어떤 단어를 제대로 이해하지 못했는지 추적할 수 있다면 이후 재학습 과정을 거쳐 더 강건한 모델을 만들 수 있다. 최 교수는 “설명 가능성은 실수가 적은 모델을 만들고 혹시 사고가 났을 때 책임 소재를 따질 수 있도록 하는 도구”라고 설명했다.
한국은 유럽연합(EU)에 이어 세계 두 번째로 AI 기본법을 제정하고 선제적으로 AI 신뢰성 확보에 나섰다. 올해 제정된 설명 가능한 AI 국제표준(ISO)도 한국이 먼저 제안해 표준화 작업이 이뤄졌다. 오픈AI, 앤스로픽이 최근 한국 지사를 설립하거나 진출을 예고하는 등 AI 기업이 아시아 허브로 한국을 선택한 것도 이런 요소가 작용했다고 그는 분석했다.
최 교수는 제대로 된 AI 인재 확보가 가장 시급하다고 지적했다. 그는 “AI 엔진을 직접 만드는 코어 개발자가 절대적으로 부족하다”며 “공공 영역에서 소버린 AI 필요성이 커지는 만큼 그래픽처리장치(GPU) 이상의 인프라를 갖출 필요가 있다”고 말했다.
이영애 기자 0ae@hankyung.com
관련뉴스
