영상 판독 시험서 'AI 오류 판단' 수용률, 전공의 52%·전문의 20%

"AI 활용 때 의료진의 독립적 판단 중요…'자동화 편향' 경계해야"

[자료 이미지]

(서울=연합뉴스) 김길원 기자 = 인공지능(AI)이 의사의 진단을 돕는 시대다. 엑스레이나 컴퓨터단층촬영(CT) 영상을 분석해 질환을 찾아내고, 의료진이 놓칠 수 있는 이상 징후까지 포착하는 AI 기술이 빠르게 발전하고 있다.

그렇다면 AI 진단이 늘수록 환자도 더 안전해질까.

반드시 그렇지만은 않을 수 있음을 보여주는 연구 결과가 나왔다.

국내 연구팀이 의료진을 대상으로 시험한 결과, 영상의학과 전공의들은 정확도가 높은 AI가 잘못된 판단을 제시했을 때 절반이 넘는 사례에서 그 판단을 수용하는 것으로 나타났다.

반면 경험이 풍부한 영상의학 전문의들은 AI의 오류를 상대적으로 잘 가려냈다.

국제학술지 'npj 디지털 메디신'(npj Digital Medicine) 최신호에 따르면 서울아산병원 융합의학과 김남국 교수 연구팀은 삼성창원병원, 단국대병원, 서울대병원, 미국 매사추세츠종합병원 등과 공동으로 이런 내용의 연구 결과를 발표했다.

연구팀은 신생아에게 발생하는 응급질환인 '기복증'을 진단하는 상황에서 의료진이 AI의 판단에 얼마나 영향을 받는지 분석했다.

기복증은 복강 안에 비정상적으로 공기가 차는 상태다.

신생아에게서는 장에 구멍이 생기는 장천공 등으로 발생할 수 있으며, 신속한 진단과 치료가 이뤄지지 않으면 생명을 위협할 수 있다.

이 질환은 주로 엑스레이 영상에서 복강 내 공기가 있는지를 확인해 진단한다. 하지만 신생아는 장기가 작고 영상 소견이 미묘해 경험이 부족한 의료진에게는 판단이 쉽지 않을 수 있다.

연구팀은 이런 특성을 이용해 의료진이 AI의 도움을 받을 때 실제 판단이 어떻게 달라지는지 살폈다.

이 연구에는 소아영상의학 전문의 6명, 신생아 전문의 3명, 영상의학과 전공의 5명 등 모두 14명이 참여했다.

연구팀은 11개 의료기관에서 확보한 신생아 엑스레이 영상 125장을 활용해 의료진에게 AI의 진단 결과를 제시했다.

AI는 정확도가 높은 모델과 의도적으로 오류를 포함한 모델로 구분했다.

의료진이 서로 다른 조건에서 영상을 판독하도록 한 뒤 총 1천750건의 판독 결과를 분석했다.

이 결과 의료진의 경험 수준에 따라 AI의 잘못된 판단을 받아들이는 정도에 뚜렷한 차이가 있었다.

정확도가 높은 AI가 잘못된 결과를 제시했을 때 영상의학과 전공의들은 25건 중 13건(52.0%)에서 AI의 판단을 그대로 수용했다.

반면 소아영상의학 전문의들은 같은 조건에서 AI가 잘못 판단한 30건 중 6건(20.0%)만 받아들였다.

연구팀은 이런 현상을 사람이 기계나 AI의 판단을 지나치게 신뢰한 나머지 자신의 지식이나 관찰 결과보다 자동화 시스템의 결론을 우선하는 '자동화 편향'으로 설명했다.

예컨대 의료진이 엑스레이 영상에서 이상 소견을 발견했더라도 AI가 '정상'이라고 판단하면 자신의 의심을 접거나, 반대로 AI가 질환이 있다고 제시하면 충분한 확인 없이 이를 받아들일 수 있다는 의미다.

흥미로운 점은 AI가 부정확한 결과를 자주 제시하는 상황에서 경험 많은 의료진의 대응이었다.

연구팀이 의도적으로 오류를 포함한 AI를 제시했을 때 신생아 전문의 3명은 AI가 잘못 판단한 72건 가운데 66건(91.7%)을 바로잡았다.

연구팀은 이를 AI의 오류를 감시하고 필요할 때 판단을 바로잡는 일종의 '감시자 행동'으로 해석했다.

AI의 판단을 무조건 따르는 대신 자신의 임상 경험과 영상 소견을 바탕으로 결과를 다시 검토하는 태도가 진단의 안전성을 높일 수 있다는 것이다.

연구팀은 이번 연구 결과를 바탕으로 의료진이 AI의 잘못된 판단을 직접 경험하고 이를 가려내는 훈련을 할 수 있도록 온라인 교육용 실습 프로그램도 개발해 무료로 공개했다.

연구팀은 "이미 갖춰진 임상 능력이 AI 의존으로 약해지는 '탈숙련화'뿐 아니라, 처음부터 AI에 의존해 스스로 판단하는 능력을 충분히 익히지 못하는 '미숙련화' 문제가 발생할 수 있다"면서 "의료 AI의 임상적 가치를 판단할 때 알고리즘 자체의 정확도뿐 아니라 의료진과 AI가 함께 오류에 대응하는 능력, 즉 인간과 AI가 결합한 진료체계의 안전성을 평가해야 한다"고 말했다.

bio@yna.co.kr

Copyright 연합뉴스 All rights reserved. 무단 전재 및 재배포 금지.