삼성서울병원 의료 AI ‘지오메드 2’, 한미 의사 시험 기반 벤치마크 최고점

한국 의사 국가시험 기반 평가 97.70점·미국 의사면허 시험 기반 평가 94.82점
두 평가 모두 비교 모델 중 1위…실제 임상 성능은 별도 검증 필요

• 삼성서울병원이 AI 전문 기업 제로원에이아이와 개발한 의료 특화 인공지능(AI) 모델 ‘지오메드 2(ZEO Med 2)’가 한국과 미국 의사 시험 기반 벤치마크에서 병원 측이 공개한 비교 대상 모델 가운데 가장 높은 점수를 기록했다.

  삼성서울병원은 지오메드 2가 한국 의사 국가시험 기반 ‘KorMedMCQA-Doctor’ 평가에서 97.70점, 미국 의사면허 시험 기반 ‘MedQA’ 평가에서 94.82점을 얻었다고 29일 밝혔다.

  
  

• 

  삼성서울병원과 제로원에이아이가 공동 개발한 의료 특화 인공지능 ‘지오메드 2(ZEO Med 2)’가 한국 의사 국가시험 기반 KMLE 벤치마크와 미국 의사면허 시험 기반 MedQA 벤치마크에서 비교 대상 모델 가운데 가장 높은 점수를 기록했다. /삼성서울병원 제공

  
  

  병원이 공개한 비교표에 따르면 한국 의사 시험 기반 평가에서는 ‘Gemma-4-31B-it’가 97.01점으로 뒤를 이었다. 지오메드 2와의 차이는 0.69점이다.

  미국 의사면허 시험 기반 평가에서도 Gemma-4-31B-it가 94.74점을 기록해 지오메드 2보다 0.08점 낮았다. 비교 모델들의 순위는 두 평가에서 일부 달랐지만, 지오메드 2는 두 벤치마크 모두 가장 높은 점수를 기록했다.

  다만 미국 평가에서 2위 모델과의 격차가 0.08점에 그친 만큼 점수 차이의 실질적 의미를 판단하려면 문항 수와 반복 평가 여부, 모델별 프롬프트와 추론 설정 등 세부 평가 조건을 함께 살펴야 한다. 이러한 조건은 병원이 공개한 자료만으로는 모두 확인하기 어렵다.

  이번 결과는 실제 국가시험 응시 성적이 아니라 의사 시험 문항을 바탕으로 구성된 벤치마크 평가 결과다. 시험문제 풀이 성능을 측정한 수치인 만큼 실제 진료 정확도나 임상 안전성을 입증한 결과로 볼 수는 없다.

  지오메드 2는 과학기술정보통신부의 첨단 그래픽처리장치(GPU) 활용 지원 사업을 통해 개발됐다. 삼성서울병원 응급의학과 차원철·손명희 교수 연구팀과 제로원에이아이가 공동으로 참여했다.

  모델 정보와 벤치마크별 성능, 평가 로그, 재현성 검증용 코드와 가중치 파일은 AI 모델 공유 플랫폼 ‘허깅페이스(Hugging Face)’에 공개됐다.

  차원철 교수는 “정부에서 지원한 GPU와 병원이 보유한 풍부한 임상 경험 및 데이터, 그리고 AI 전문 기업의 기술력이 합쳐진 결과”라고 설명했다.

  연구팀은 지오메드 2를 실제 의료 현장에서 활용할 수 있도록 추가 고도화할 계획이다. 임상 데이터를 기반으로 성능을 높이고, 음성과 영상 등 복합 정보를 함께 처리하도록 기능을 확장한다. 의료 현장에서 모델의 작동 범위를 통제하기 위한 안전 설계와 모델 경량화도 병행할 예정이다.

  차 교수는 “이제는 시험문제를 얼마나 더 잘 맞히느냐보다 음성·영상까지 아우르고 실제 서비스에 안정적으로 연결되며, 가볍게 어디서든 쓸 수 있는 모델을 만드는 것이 관건”이라며 “의료 현장에 실질적으로 기여하는 임상 특화 AI로 발전시켜 나가겠다”고 말했다.

  
  

• 김정아 기자 [e-mail]

최신뉴스

Copyright ⓒ 디지틀조선일보&dizzo.com