수능 서·논술형 AI가 채점한다면…"같은 답안 점수 달라질수도"

불편하시다면 뒤로 가기를 눌러주세요

평가원 연구진 "점수 산출 과정 '블랙박스'…공정성·신뢰성 한계"

"고부담 평가선 AI 보조수단으로 쓰고 인간 검토 강화해야"

(서울=연합뉴스) 오보람 기자 = 국가교육위원회(국교위)가 대학수학능력시험(수능)에 서·논술형 평가를 도입하는 방안을 검토하면서 대규모 답안을 처리할 인공지능(AI) 자동채점 기술에도 관심이 쏠리고 있다.

AI를 활용하면 수십만명의 답안을 신속하게 채점하고 채점자에 따른 편차를 줄일 수 있다는 기대가 나오지만, 현재 기술로는 채점의 공정성과 신뢰성을 충분히 담보하기 어렵다는 지적도 제기된다.

28일 교육계에 따르면 국교위가 검토 중인 수능 서·논술형 평가 도입과 내신 서·논술형 평가 확대의 최대 난제로는 채점이 꼽힌다.

현행 수능처럼 객관식 문항 위주로 출제하면 정답 여부를 일률적으로 판별할 수 있지만, 서·논술형은 학생이 작성한 답안의 논리 구조와 근거, 개념 이해 등을 종합적으로 평가해야 하기 때문이다.

대학입학제도 특별위원회를 직접 이끄는 차정인 국교위원장은 AI 채점이 이런 문제를 해결할 수 있다고 주장하고 있다.

그러나 한국교육과정평가원(평가원) 연구진이 최근 발간한 이슈페이퍼에서 국내외 AI 자동채점 연구 동향을 검토한 결과, AI에 채점을 맡기기 위해서는 넘어야 할 산이 적지 않은 것으로 나타났다.

AI가 어떤 근거와 과정을 거쳐 특정 점수를 산출했는지 알기 어려운 '블랙박스'문제가 대표적이다.

연구진에 따르면 미국 교육평가원(ETS)은 과거 사람 채점자와의 일치도가 높은 자동 채점 모델을 개발하고도 점수 산출 근거를 설명하기 어렵다는 이유로 실제 채점에 도입하지 않았다. 수험생이나 학부모가 점수에 이의를 제기할 경우 그 근거를 설명하기 어렵기 때문이다.

연구진은 또 생성형 AI가 점수 산출에 대한 구체적인 설명을 제시하더라도 문제가 완전히 해결되는 것은 아니라고 짚었다. AI가 내놓은 설명이 실제 점수를 산출한 근거와 일치한다는 보장이 없어서다.

AI가 서·논술형 평가에서 측정하려는 능력을 제대로 평가하는지에 대한 의문도 제기된다. AI가 답안의 논리나 근거의 질보다 글자 수 등 표면적인 특징에 의존해 점수를 산출할 위험이 있다는 것이다.

연구진은 이 경우 사고력과 논증 능력 등을 평가하겠다는 서·논술형 도입 취지를 제대로 구현하지 못하는 결과로 이어질 수 있다고 지적했다.

채점의 일관성과 재현성도 해결해야 할 과제로 꼽힌다.

생성형 AI는 정해진 규칙에 따라 정답을 판별하기보다 입력된 문맥을 토대로 개연성 높은 결과를 확률적으로 생성한다.

이 때문에 프롬프트나 답안 입력 순서, 모델 버전, 세부 설정 등에 따라 결과가 달라질 수 있고, 같은 답안과 채점 기준을 입력하더라도 매번 동일한 점수와 평가가 나온다고 보장하기 어렵다고 연구진은 지적했다.

이런 한계 때문에 학생의 진학과 선발을 좌우하는 수능과 같은 '고부담 평가'에 AI를 활용할 때는 더욱 엄격한 기준이 필요하다고 연구진은 제언했다. 또 AI의 역할을 축소하고 인간의 검토 비중을 강화해야 한다고 덧붙였다.

연구진은 "AI는 점수를 결정하는 주체가 아니라 교사의 판단을 지원하는 보조 체계로 위치해야 한다"며 고부담 평가에서는 해석 가능성이 높은 채점 방법을 우선 활용할 것을 권고했다.

rambo@yna.co.kr

인기상품 확인하고 계속 읽어보세요!

5

원치 않을 경우 뒤로가기를 눌러주세요.