지난 4일부터 5일까지 서울 동대문 노보텔 앰배서더 그랜드볼룸에서 식품의약품안전처가 주최하고 한국전자통신연구원(ETRI), 분당서울대병원, STA테스팅컨설팅, 한국화학융합시험연구원(KTR)이 공동 주관으로 개최된 ‘첨단AI 디지털 의료제품 레드팀 챌린지 및 기술 워크숍’이 성황리에 마무리됐다고 9일 밝혔다.
이번 행사는 의료 분야에서 본격적인 AI 레드팀 챌린지를 표방한 세계적인 첫 시도로, 개발·규제·의료 현장을 한자리에 모아 안전성과 신뢰성을 실전 방식으로 점검했다.
첫째 날(4일) 개최한 레드팀 챌린지에는 47개 팀, 100여 명이 참가했다. 이번 챌린지 행사에서 참가자들은 국내외 주요 기업이 개발한 8종 이상의 거대언어모델(LLM)을 대상으로 모의공격을 수행했다. 목표는 단순한 ‘모델 공격’이 아니라, 의료제품에 적용될 AI가 실제 환경에서 얼마나 안전하고 믿을 수 있는지 확인하는 것이었다. 현장에서는 환자 안전을 위협할 수 있는 유해 지시 유도, 데이터·프롬프트 노출, 사용 조건 오해, 편향 유발 등 다양한 시나리오가 동원됐다. 그 과정에서 취약점 유형이 식별됐고, 재현 가능한 로그와 결과가 축적돼 의료 AI의 신뢰성 평가에 바로 쓸 수 있는 의미 있는 데이터가 도출됐다.
평가는 기술적 난이도, 환자 위해도, 재현성, 공격의 창의성 등 실무 중심 지표로 이뤄졌다. 현장에서 다시 재현되고, 실제 제품 보완으로 이어지는 결과에 높은 점수가 주어졌다. STA테스팅컨설팅 등 주관 기관들은 챌린지 운영과 평가체계 구축을 맡아 시험 환경을 안정적으로 제공하고, 결과 정리와 개선 권고안 도출을 지원했다.
대상은 대전대학교 정영준 학생에게 돌아갔다. 정영준 학생은 식품의약품안전처상과 상금 500만 원을 수상했다. 이 밖에 최우수상 3팀에는 팀별 200만 원, 우수상 5팀에는 팀별 100만 원이 수여됐다. 수상팀들은 고위험 프롬프트에 대한 모델 방어 우회, 안전장치 조건 충돌, 응답 일관성 붕괴 등 실무적으로 중요한 취약점을 재현해 높은 평가를 받았다.
둘째 날(5일) 기술 워크숍에서는 ‘AI 기반 의료기기와 의료 LLM 기술에 대한 제도·표준·평가 등에 대한 산학의료계의 다양한 기술동향, 연구 성과와 향후 발전방향 등을 공유하고 짚어보는 시간을 가졌다. 오전 키노트에서는 △과학을 위한 AI(AI4S)의 최신 동향과 과제 △생성형 AI의 의료 적용 사례 △유럽 인증기관(TUV SUD) 시각의 ‘AI 기반 의료기기의 EU 시장 진입 전략’이 제시됐고, 오후 세션에서는 규제, 첨단 의료 AI 안전, 첨단 의료 AI 제품 평가 등에 대해 다뤄졌다.
아울러 이번 행사는 식품의약품안전처 출연사업의 핵심 과제인 ▲(3과제) 생성형 AI 디지털의료제품 레드팀 시험 평가 기술 개발 및 실증(주관 ETRI / 참여 KTR) ▲(4과제) 생성형 AI 디지털의료제품 레드팀 플랫폼 개발 및 실증(주관 STA / 참여 KTR) ▲(5과제) 첨단 AI 취약점 동향조사 및 글로벌 대응체계 마련(주관 분당서울대학교병원)의 일환으로 진행됐다.
행사는 ETRI가 주도하고 STA와 KTR이 레드팀 챌린지를 공동 운영했고, 분당서울대병원이 워크숍을 주도했다. 또한 챌린지 행사에는 셀렉트스타와 앨리스가 기술적 지원의 후원사로 참여해 레드팀 테스트의 성공적인 운영을 도왔다.
주최 측은 챌린지와 워크숍 성과와 개선 권고안을 산업계에 공유하고, 내년 행사 정례화를 통해 평가 프로토콜과 데이터셋을 지속 업데이트하겠다고 밝혔다. 의료 AI의 작은 오류도 환자 안전과 직결되는 만큼, 이번 행사가 안전하고 책임 있는 의료 AI의 기준을 한 단계 끌어올렸다는 데 뜻을 모았다.
한경닷컴 뉴스룸 open@hankyung.com
관련뉴스
