의료 AI 안전성 점검 '2026 레드팀 챌린지' 성료…국내외 LLM 12종 대상

국내외 LLM 12종을 대상으로 의료 AI의 안전성과 신뢰성을 점검하는 레드팀 챌린지가 열렸다.
‘2026 첨단AI 디지털의료제품 레드팀 챌린지 및 기술 워크숍’이 지난 3일부터 4일까지 노보텔 앰배서더 서울 동대문 그랜드볼룸에서 개최됐다고 11일 밝혔다. 이번 행사는 한국전자통신연구원(ETRI), 분당서울대학교병원, STA테스팅컨설팅, 한국화학융합시험연구원(KTR)이 공동 주관하고, 이원태 국가인공지능전략위원회 보안특별위원장이 대회장을 맡았다. 한국인터넷진흥원(KISA), 한국보건산업진흥원, Upstage, 대한의료인공지능학회 등이 후원했다.

첫째 날 챌린지에는 삼성SDS, 카카오뱅크, SK쉴더스, 국립중앙의료원, KISA를 비롯해 대학·고등학교 재학생 등 산업계·공공·의료·학계의 다양한 참가자가 참여해 6개 세션에 걸쳐 공격을 수행했다. 검증 대상 모델은 UpStage Solar, OpenAI GPT, Google Gemini, Anthropic Claude, 의료 특화 MedGemma 등 LLM 12종이다.

이번 행사에는 STA테스팅컨설팅이 정부 출연 R&D 과제로 개발한 ‘생성형 AI 디지털의료제품 레드팀 챌린지 플랫폼’이 운영 인프라로 첫 선을 보였다. 해당 플랫폼에는 자체 분류체계 MedRTC-TAX-v2.0의 8개 대분류와 MODEL·MULTIMODAL·AGENTIC·MCP 등 6개 시험 모드에 걸친 시드 질문 807개가 탑재됐다. 평가는 사람 심사위원 3명과 LLM-as-a-Judge 2명 가운데 3명 이상이 승인할 경우 성공으로 판정하는 방식으로 진행됐다.

총상금은 2000만원 규모다. 삼성SDS 장은태 팀이 대상을 받았으며, 국립중앙의료원 이광성 팀, 카카오뱅크 손병근 팀, SK쉴더스 김병현 참가자가 최우수상을 수상했다. 한국인터넷진흥원장 특별상 2개 팀과 우수상 5개 팀을 포함해 총 11개 팀이 수상했다.

둘째 날에는 기술 워크숍이 진행됐다. 박태웅 녹서포럼 의장이자 국가인공지능전략위원회 공공AX 분과장의 기조강연을 시작으로 삼성서울병원 정규환 센터장의 Physical AI 안전 테스팅, 싱가포르 HSA(Health Sciences Authority)의 AI 의료기기 규제 프레임워크 발표가 진행됐다.

이어 △규제 및 가이드 △첨단 의료 AI 안전 및 보안 △첨단 의료 AI 제품 평가 등 3개 세션에서 서울대, 동국대, KISA, 서울아산병원, AWS, ETRI 등 국내외 전문가들이 최신 동향을 공유했다.

STA테스팅컨설팅 관계자는 “자체 개발한 레드팀 챌린지 플랫폼이 실전에서 안정적으로 작동함을 입증했다. 향후 의료 AI 제품뿐 아니라 다양한 응용 영역으로 시험평가 체계를 확장해 첨단 AI 시대의 사이버 복원력 및 신뢰성 확보에 기여할 것"이라고 말했다.

김성혜 한경닷컴 기자 shkimmy@hankyung.com