[테크톡노트] 벤치마크 1위가 탈락…독파모 '사용성' 논란(종합)

다음 내용이 궁금하다면?

불편하시다면 뒤로 가기를 눌러주세요

모티프, 성능평가 앞서고도 전문가·사용자 평가서 뒤져

1차 독자성 이어 2차 사용성…평가지표 신뢰성 쟁점
과기정통부 "참여기업 합의 거쳐…서비스 역량 검증 필수"

(서울=연합뉴스) 오지은 기자 = 정부의 독자 인공지능(AI) 파운데이션 모델(독파모) 사업이 단계 평가를 거칠 때마다 평가지표를 둘러싼 논란에 휩싸이고 있다.

1차 평가에서 자체 기술력을 가리는 독자성 기준이 도마 위에 오른 데 이어 2차 평가에서는 벤치마크 1위였던 모티프테크놀로지스가 전문가·사용자 평가에서 낮은 점수를 받아 탈락하면서 사용성 평가의 객관성과 투명성이 새로운 쟁점으로 떠올랐다.

◇ 벤치마크 1위 모티프 탈락…당락 가른 '사용성 평가'

29일 정보통신기술(ICT) 업계에 따르면 이번 2차 평가의 쟁점으로 떠오른 사용성 지표는 데이터셋 기반의 벤치마크(정량 평가)와 대비되는 개념으로 AI 모델이 산업 현장과 서비스 환경에서 유의미하게 쓰일 수 있는지 검증하는 척도다.

총 100점 만점 중 60점의 배점이 배정된 전문가·사용자 평가가 사실상 활용성 지표의 핵심을 이뤘다.

산·학·연 전문가가 모델의 기술적 완성도와 비즈니스 연계성, 산업 파급효과 등을 들여다보는 전문가 정성평가에 35점이, 개발사 정보를 가린 상태에서 실시간으로 프롬프트를 입력해 문맥 이해도와 지시 이행 능력, 환각(할루시네이션) 억제력 등을 측정하는 사용자 체감평가에 25점이 각각 배정됐다.

사용자 평가는 전문 사용자(15점)와 일반 국민(10점)이 참여하는 블라인드 테스트 방식으로 진행됐다.

정부가 모티프의 이의신청 이후 공개한 세부 성적표를 보면 정량적 벤치마크 점수와 활용성 지표 간의 뚜렷한 차이가 나타났다.

글로벌 공인 지표인 아티피셜 어낼리시스 인텔리전스 인덱스(AAII)에서 1위를 차지하며 벤치마크 총합 1위(24.6점)를 기록한 모티프는 전문가 평가(27.1점)와 사용자 평가(14.1점) 등 활용성 부문에서 경쟁사 대비 낮은 점수를 받아 종합 4위(65.8점)로 고배를 마셨다.

반면 SK텔레콤[017670](70.6점), 업스테이지(69.9점), LG AI연구원(69.0점) 등은 사용자 평가에서 18∼19점대의 고른 점수를 얻으며 정량 평가 결과를 뒤집고 1∼3위에 올랐다.

정부는 벤치마크 수치가 높아도 실전 서비스 환경에서 오류가 잦거나 효용이 떨어지면 국가대표 AI로서의 경쟁력을 갖추기 어렵다는 점을 들어 사용성 평가의 정당성을 강조한다.

하지만 모티프를 비롯한 업계 일각에서는 정량 지표와 달리 전문가·사용자 중심의 사용성 평가는 질의 환경이나 평가단의 성향에 따라 점수 편차가 발생할 수 있어 채점 기준을 더욱 투명하게 정립해야 한다는 목소리를 내고 있다.

◇ 1차는 '독자성'·2차는 '사용성'…평가 때마다 기준 논란

독파모 사업에서 평가지표를 둘러싼 갈등이 불거진 것은 이번이 처음이 아니다.

앞선 독파모 1차 평가에서는 글로벌 오픈소스 기반 파생 모델과 자체 개발 모델 간의 기술적 기여도를 평가하는 독자성 지표의 기준이 모호하다는 지적이 제기되며 한 차례 홍역을 치른 바 있다.

1차 평가의 독자성에 이어 2차 평가의 활용성까지 논란이 잇따르면서 독파모 3차 평가의 신뢰도를 높이기 위한 가이드라인 보완이 시급하다는 지적이 나온다.

다만 과기정통부는 이번 평가 기준이 정부의 일방적인 조치가 아니라 참여 기업 간 사전 합의 내용을 거친 절차라는 입장이다.

과기정통부는 독파모 2차 평가 기준과 결과를 공개하는 보도설명자료에서 "1차 평가 이후 모델의 독자성 확보 뿐만 아니라 실제 산업 현장과 서비스 환경에서 어떻게 쓰이는지가 중요하다는 지적이 많아 사용성(활용성) 배점을 상향하고 실사용자 평가 25점을 도입했다"라며 "평가 전 최종안을 (참여기업에) 안내했으며 당시 정예팀의 이견이 없었다"라고 밝힌 바 있다.

또한 정성평가의 공정성을 확보하기 위해 전문가 평가(10명)에서는 최고·최저점을 제외한 산술 평균을 적용했고, 사용자 평가 역시 이해충돌 검증을 마친 AI 스타트업 대표 49명과 인구통계 쿼터제로 선발된 국민 185명을 대상으로 블라인드 테스트와 최소 3분 이상의 체감 평가 가이드라인을 준수했다는 입장이다.

아울러 과기정통부는 3차 평가에서 경쟁 방식을 보완하겠다는 계획도 시사했다.

배경훈 부총리 겸 과기정통부 장관은 "누구나 인정할 수 있는 세계적인 수준의 모델을 만들기 위해 정부 투자 집중 방식과 평가 제도의 보완을 검토하겠다"고 말했다.

built@yna.co.kr

[네팔 대홍수] 두산·남동발전팀, 악천후·운항불허로 헬

인기상품 확인하고 계속 읽어보세요!

5

원치 않을 경우 뒤로가기를 눌러주세요.