[AI픽] 독파모 또 '룰' 잡음…모티프 이의제기에 공정성 논란 재연

다음 내용이 궁금하다면?

불편하시다면 뒤로 가기를 눌러주세요

벤치마크 1위 모티프 최하위 탈락…점수·배점 산식 공개 요구

후발팀 추가 선발·GPU 지원까지…평가 원칙·투명성 도마

(서울=연합뉴스) 한상용 기자 = 정부의 독자 AI 파운데이션 모델(독파모) 사업이 평가 기준과 절차를 둘러싼 논란에 다시 휩싸였다.

초기 평가에서 네이버클라우드가 탈락하며 '독자 개발' 기준 논쟁이 일어난 데 이어 이번에는 벤치마크 성능이 가장 높았던 모티프테크놀로지스가 최하위로 탈락하자 평가의 투명성과 사업 방향을 두고 또다시 잡음이 일고 있다.

◇ 벤치마크 1위 모티프 탈락…"평가 산식·세부 점수 공개해야"

모티프테크놀로지스는 27일 독파모 2차 단계평가 결과에 대해 과학기술정보통신부에 정식 이의신청을 냈다고 밝혔다.

항목별·업체별 상세 점수와 채점 기준, 벤치마크 배점 산식, 전문가·사용자 평가 방식과 결과를 공개해 달라는 요구다.

모티프는 자체 개발한 '모티프 3'가 글로벌 AI 분석기관 아티피셜 어낼리시스의 지능지수(AAII)에서 47점을 받아 독파모 참여 모델 가운데 가장 높은 성적을 냈다.

2차 평가에서 살아남은 업스테이지(37점), SK텔레콤[017670](35점), LG AI연구원(31점)보다 높은 점수다.

모티프는 글로벌 프론티어 모델과의 성능 격차를 좁히는 것이 사업의 핵심 목표인데, 벤치마크에서 확인된 성능 차이가 최종 평가에 제대로 반영되지 않았다고 지적했다.

AAII 47점과 31점의 격차가 25점 만점 환산 과정에서 약 4점 차이로 줄었다며 배점 산식의 근거를 공개해야 한다고 요청했다.

특히 전문가와 사용자 평가에서 브랜드 인지도, 서비스 완성도 등 모델의 본질적 성능과 다른 요소가 결과에 얼마나 영향을 미쳤는지도 확인할 필요가 있다는 입장이다.

모티프는 사용자 평가의 블라인드 방식을 요청했지만 반영 여부와 구체적 평가 조건을 알 수 없다고 주장했다.

IT 업계 한 관계자는 "독파모 평가 기준이 구체적으로 공개되지 않아 깜깜이식 평가가 이뤄지는 측면이 있다"며 "기업별 AI 모델의 특성과 강점이 다른데도 일률적인 잣대로 평가하는 점 역시 문제"라고 지적했다.

◇ 후발팀 추가 선발·GPU 지원도 도마…"평가 원칙 먼저 세워야"

독파모 사업 진행 과정에서의 잡음은 이뿐만이 아니다.

애초 모티프의 독파모 경쟁 합류 과정에서도 형평성 문제가 제기됐다.

모티프는 초기 5개 정예팀에는 들지 못했다.

그러나 지난 1월 1차 평가에서 네이버클라우드 등 2개 팀이 탈락한 뒤 정부가 2월 추가로 1개 팀을 뽑는 과정에서 새로 합류했다.

정부는 모티프에 B200 GPU 등을 지원하고, 기존 팀보다 한 달 늦은 2∼7월을 개발 기간으로 부여했다.

기존 팀은 6월 말, 모티프는 7월 말 각각 개발한 모델을 제출했으며 정부는 이를 토대로 이번달까지 2차 평가를 진행했다.

후발 주자에게 경쟁 기회를 주는 취지였지만, 추가 선발팀에 별도 지원과 일정이 적용되면서 기존 팀과의 경쟁 조건이 달라졌다는 논란도 불거졌다.

결국 정부가 추가 합류시킨 스타트업이 2차 평가에서 다시 탈락하자 선발과 지원 원칙이 처음부터 일관됐는지 되짚어봐야 한다는 목소리가 나온다.

정부는 모티프가 벤치마크 성과가 높았어도 전문가·사용자 평가에서 낮은 점수를 받았다고 설명했지만, 전체 점수와 세부 평가 내용은 공개하지 않아 해당 결과의 타당성을 외부에서 검증하기 어렵다는 지적도 받는 상황이다.

위정현 중앙대 가상융합대학 학장은 "단기간의 선발 과정과 지금의 평가 제도의 문제가 해결되지 않으면 공정성 논란은 또다시 벌어질 것"이라며 "탈락팀에는 주홍글씨가 낙인되는 부작용이 생길 수 있고, (평가 점수가) 실제 역량과는 다른 부당한 평가로 받아들일 수 있다"고 말했다.

앞서 네이버클라우드 탈락 때는 '프롬 스크래치' 기준이, 이번에는 성능·사용성·평가 비중과 정보 공개가 쟁점이 됐다.

업계에서는 국가 AI 대표팀을 고르는 사업이라면 결과만 통보할 것이 아니라 참여 기업과 업계가 납득할 수 있는 평가 원칙을 먼저 세워야 한다는 지적도 나온다.

gogo213@yna.co.kr

인기상품 확인하고 계속 읽어보세요!

5

원치 않을 경우 뒤로가기를 눌러주세요.