[AI프리즘] 독파모 글로벌 평가 '이변'…모티프·업스테이지 1·2위

다음 내용이 궁금하다면?

불편하시다면 뒤로 가기를 눌러주세요

스타트업 두 곳, AAII서 SKT·LG 제치고 상위권

1차 선두 LG는 4위…한국어 미반영·벤치맥싱 한계 지적도

(서울=연합뉴스) 권하영 기자 = 국가대표 인공지능(AI)을 선발하는 독자 AI 파운데이션 모델(독파모) 프로젝트 2차 평가에서 글로벌 성능 지표상 스타트업들이 대기업을 앞서는 결과가 나왔다.

모티프테크놀로지스와 업스테이지가 글로벌 AI 성능 평가 지수에서 각각 1·2위를 차지한 반면 1차 평가 1위였던 LG AI연구원은 최하위로 밀렸다.

다만 해당 지표는 전체 평가의 일부인 데다 한국어 성능을 반영하지 않고 벤치마크 점수 자체를 겨냥한 이른바 '벤치맥싱' 논란도 있어 이를 독파모 모델의 실제 경쟁력이나 최종 평가 결과로 단정하기는 어렵다는 지적이 나온다.

◇ 스타트업 모티프·업스테이지, AAII서 대기업 앞서

13일 AI 업계에 따르면 글로벌 AI 성능 평가 기관 아티피셜 애널리시스가 산출하는 '아티피셜 애널리시스 인텔리전스 지수(AAII)'에서 독파모 4개 참여사 모델의 최신 점수는 모티프테크놀로지스 '모티프 3'가 47점으로 가장 높았다. 이어 업스테이지 '솔라 오픈2'가 37점, SK텔레콤[017670] '에이닷엑스(A.X)-K2'가 35점, LG AI연구원 'K-엑사원(EXAONE) 2.0'이 31점 순이었다.

LG AI연구원은 지난해 12월 독파모 1차 평가에서 벤치마크 종합 33.6점으로 1위를 차지한 바 있어 이번 결과가 더욱 눈길을 끈다.

다만 이번 AAII 점수가 독파모 2차 평가 최종 결과를 곧바로 의미하지는 않는다.

독파모 2차 평가에서 벤치마크 평가는 총 100점 만점 중 40점을 차지하며, 이 중 AAII가 25점, 한국지능정보사회진흥원(NIA) 벤치마크 평가가 15점을 담당한다. 나머지 배점은 전문가 평가(35점)와 사용자 평가(25점)로 구성된다.

AAII는 지식·추론·코딩 등 영역별 개별 벤치마크 여러 개를 묶어 단일 점수로 환산하는 종합 지수 방식이다. 모델의 전반적인 지적 능력을 하나의 수치로 비교하는 데는 유용하나, 어떤 벤치마크를 묶느냐에 따라 점수 변동이 크다. 버전 업데이트마다 수학 등 특정 분야가 통째로 빠지기도 하며, 주요 벤치마크 교체 시 10~20점 수준의 변동도 발생한다.

◇ 한국어 빠진 AAII 한계…'벤치맥싱' 논란도 변수

특히 한국어 벤치마크가 반영되지 않는다는 점이 한계로 꼽힌다.

한국어를 포함한 다국어 이해 능력이나 특정 산업 과업에서의 성능, 운영 효율 등은 AAII만으로 가늠하기 어렵다는 것이다.

이런 가운데 벤치마크 점수 자체의 신뢰성을 둘러싼 논란도 여전하다.

AI 업계에서는 벤치마크 취약 항목을 집중적으로 공략해 실제 성능과 무관하게 점수만 끌어올리는 행위를 '벤치맥싱'이라고 부른다.

오픈AI 공동 창업자 출신인 안드레이 카파시 앤트로픽 AI 연구원은 지난해 연간 보고서를 통해 "벤치마크에 대한 신뢰를 잃었다"고 밝힌 바 있다.

국내 AI 업계 관계자도 "벤치마크 점수만 올린 모델이 실제 성능까지 담보하지는 않는다"고 말했다. 정부는 전문가 평가와 이용자 평가를 병행하는 만큼 벤치마크 과적합 문제가 있더라도 충분히 보완될 수 있다는 입장이다.

정부는 12일 마감한 국민 평가를 마지막으로 독파모 2차 평가 결과를 조만간 발표할 예정이다. 최종 평가에서 4개 참여사 중 3팀이 생존해 다음 단계로 진출한다.

kwonhy@yna.co.kr

"AI 창업, 마음껏 도전하세요"…과기부, 청년 맞춤 삼성전자 달리자 그룹 시총 2천조원 회복…SK그룹은 1

인기상품 확인하고 계속 읽어보세요!

5

원치 않을 경우 뒤로가기를 눌러주세요.