서울대학교 전기정보공학부 도재영 교수 연구팀(AIDAS Lab)은 삼성병원과의 임상 협업 및 글로벌 반도체·AI 기업 엔비디아(NVIDIA) AI 기술센터(NVAITC)와의 공동연구를 통해 개발한 의료 특화 시각-언어 모델(VLM) ‘메딕-AD(MEDIC-AD)’가 세계 최고 권위의 인공지능 컴퓨터 비전 학술대회인 ‘CVPR 2026’에 구두 발표(Oral Presentation)로 채택 및 ‘Award Candidate’로 선정되었다고 밝혔다. 이번 연구는 기존의 의료용 인공지능 모델들이 광범위한 의학 지식은 보유하고 있으나, 정작 실제 임상 현장에서 필수적인 병변 탐지, 시계열 증상 추적, 그리고 판단 근거에 대한 시각적 설명 능력이 부족하다는 핵심적인 한계를 해결하기 위해 기획되었다.

실제 임상 현장의 난제를 정면으로 겨냥

이번 연구에서 개발된 '메딕-AD'는 의료 현장에서 실제로 요구되는 세 가지 핵심 과제—병변 탐지, 증상 추적, 설명 가능성—를 동시에 해결하는 데 초점을 맞췄다. 기존 의료 AI 모델 대부분이 방대한 의학 지식을 습득하는 데 집중한 반면, 실제 임상에서는 영상 속 이상 병변을 정확히 찾아내고(탐지), 이전 촬영과 비교해 질병이 나아졌는지 악화됐는지를 판단하며(추적), 그 판단 근거를 의료진이 눈으로 확인할 수 있어야 한다(설명). 메딕-AD는 이 세 가지를 하나의 모델 안에서 구현했다는 점에서 기존 연구와 차별화된다.

특히 환자의 경과 관찰 과정에서 AI가 "변화 없음", "호전", "악화"를 정확히 분류할 수 있다면, 의료진의 판독 부담을 줄이고 미세한 변화를 조기에 포착하는 데 실질적인 도움이 된다. 놓치기 쉬운 초기 병변의 발견이나 치료 반응의 신속한 평가 등, 임상적 파급효과가 크다는 평가다.

핵심 AI 기술: 세 단계로 쌓아 올린 임상 지능

메딕-AD의 기술적 핵심은 세 단계로 구성된 순차적 학습 구조(Stage-wise Framework)다.

1단계는 이상 탐지(Anomaly Detection)다. 연구팀은 '이상 인식 토큰()'이라는 새로운 학습 요소를 비전-언어 모델(VLM)의 트랜스포머 레이어에 삽입했다. 이 토큰은 정상 패치와 비정상 패치를 구별하는 확률 맵(Anomaly Attention Map)을 생성하고, 이를 통해 모델이 병변 영역에 집중력을 높인다. 뇌 MRI, 두부 CT, 흉부 X선 등 다양한 영상 모달리티에서 학습된 이 구조 덕분에 훈련 데이터에 없던 새로운 질환도 zero-shot으로 탐지할 수 있다.

그림 1. MEDIC-AD 모델 구조도

2단계는 변화 추적(Difference Reasoning)이다. 기존 모델들은 두 장의 영상을 단순히 이어 붙여 처리하는 방식이어서 시간에 따른 임상적 변화를 포착하는 데 한계가 있었다. 메딕-AD는 '차이 토큰()'을 도입해, 동일 환자의 이전 영상과 현재 영상에서 각각 추출한 이상 특징을 명시적으로 비교·분리한다. 이를 통해 전체적인 밝기 변화나 촬영 각도 차이 같은 비임상적 변수에 흔들리지 않고, 실제 병변의 증감만을 포착해 질병 진행 상태를 정밀하게 추론한다.

그림 2. MEDIC-AD를 벤치마크(MMXU)에 검증한 예시. 두 X-Ray 상 증상의 변화를 탐지하고, 탐지의 근거를 시각화함.

3단계는시각적 설명 가능성(Visual Explainability)이다. AI 진단의 신뢰도를 높이기 위해서는 "왜 이런 판단을 내렸는가"를 의료진에게 보여줄 수 있어야 한다. 메딕-AD는 1단계에서 학습된 토큰과 ConvNeXt 기반의 분할 헤드를 결합해, 모델의 판단 근거가 된 영상 내 특정 영역을 히트맵(heatmap)으로 시각화한다. 이는 AI의 결론과 시각적 근거를 일치시켜 임상 신뢰도를 높이는 핵심 기능이다.

엔비디아 AI 기술센터와의 공동 연구로 글로벌 수준 검증

이번 연구에서 엔비디아 AI 기술센터(NVAITC)와의 협력은 단순 컴퓨팅 지원을 넘어, 대규모 모델 최적화와 연구 방향 전반에 걸친 공동 연구로 이루어졌다. 세계 최고 수준의 AI 인프라와 전문성을 보유한 엔비디아와의 협업은 모델의 완성도와 글로벌 경쟁력을 높이는 데 기여했다.

임상 데이터 측면에서는 삼성창원병원 홍파 교수 연구팀과의 협업을 통해 실제 환자 300명의 흉부 X선 장기 추적 데이터를 확보했다. 공개 벤치마크 데이터셋에서 훈련·평가하는 일반적인 AI 연구를 넘어, 실제 병원 워크플로우에서 수집된 데이터로 성능을 검증했다는 점에서 임상 적용 가능성이 한층 높다는 평가다.

GPT-4o·Claude 등 글로벌 모델 대비 우수한 성능 입증

연구 결과, 메딕-AD는 병변 탐지와 증상 추적, 시각적 설명 가능성 세 가지 과제 모두에서 기존 의료 AI 모델을 포함해 오픈AI의 GPT-4o, 앤트로픽의 Claude-3.5 등 세계적인 대형 언어 모델을 능가하는 성능을 보였다. 특히 장기 임상 데이터 기반 질병 변화 분석 벤치마크(MMXU)에서 전체 정확도 65.5%를 기록해, 차세대 기반모델인 Lingshu(62.0%) 및 Citrus-V(57.1%)를 크게 앞섰다. 히트맵 품질을 평가하는 시각적 설명 가능성 지표(mIoU)에서는 경쟁 모델(Citrus-V, mIoU 32.6%) 대비 최대 87.6까지 월등한 수치를 달성했다.

이번 연구는 서울대학교 전기정보공학부 박우현, 김재익, 조성환 학생이 참여하고 도재영 교수가 교신저자로 참여했으며, 정부의 '추경 고성능 컴퓨팅 지원 사업' 우수 사례로도 선정됐다.

연구팀은 향후 의료 영상과 임상 텍스트, 환자 데이터를 통합하는 차세대 멀티모달 의료 파운데이션 모델 연구로 확장할 계획이다. 도재영 교수는 "이번 연구는 의료 AI의 단순한 성능 개선을 넘어, 탐지·비교·설명이라는 실제 임상 진단 과정을 AI 모델 내부에 구현했다는 데 의의가 있다"며 "병원·산업계와의 지속적인 협력을 통해 환자 진단과 치료에 실질적으로 기여하는 신뢰할 수 있는 AI 기술을 구현해 나가겠다"고 밝혔다.