[AI프리즘] 벤치마크 1위도 탈락…'국가대표 AI' 기준 바뀌었다

다음 내용이 궁금하다면?

불편하시다면 뒤로 가기를 눌러주세요

성능 점수보다 실사용·생태계 경쟁력…LG·SKT·업스테이지 진출

프론티어 AI 경쟁에 지원체계 재편…수조원대 투자·예산 관건

(서울=연합뉴스) 권하영 기자 = 국가대표 인공지능(AI)을 가리는 '독자 AI 파운데이션 모델'(독파모) 프로젝트가 2차 평가를 거치며 단순한 벤치마크 성능을 넘어 실제 활용성과 산업 생태계 확산 능력을 핵심 경쟁력으로 삼는 방향을 분명히 했다.

글로벌 AI 성능 평가에서 참여팀 중 가장 높은 점수를 기록한 모티프테크놀로지가 종합평가에서 탈락하고 LG AI연구원, SK텔레콤[017670], 업스테이지가 다음 단계에 진출하면서다. 특정 지표에 최적화해 점수를 끌어올리는 이른바 '벤치맥싱' 우려가 제기된 상황에서 벤치마크뿐 아니라 전문가 검증과 사용자 평가를 함께 반영한 종합 경쟁력이 실제 당락을 갈랐다는 점에서 주목된다.

독파모의 과제는 이제 평가 방식에서 국가 AI 투자 전략으로 옮겨가고 있다. 미국과 중국을 중심으로 프론티어급 AI 모델이 국가 전략자산으로 부상하면서 정부도 여러 기업에 컴퓨팅 자원을 나눠 지원하는 현행 경쟁 방식을 넘어 세계 최고 수준의 모델을 육성할 수 있도록 지원 체계를 재편하겠다는 방침을 밝혔다.

◇ 벤치마크 아닌 종합 경쟁력…'벤치맥싱' 논란 넘었다

18일 과학기술정보통신부와 정보통신산업진흥원(NIPA)은 독파모 2차 단계종합평가 결과, 4개 정예팀 가운데 업스테이지와 SK텔레콤, LG AI연구원(가나다 순)이 다음 단계에 진출하고 모티프테크놀로지스가 탈락했다고 밝혔다.

정부는 이번 평가 결과의 업체별 세부 점수와 순위는 공개하지 않았다. 다만 벤치마크(배점 40점)·전문가(35점)·사용자(25점) 평가로 구성된 항목에서 1위와 4위 업체간 점수 격차는 각각 4.0점, 2.4점, 5.0점으로 매우 근소했다고 전했다.

이 같은 결과는 종합평가 발표 직전 공개된 글로벌 벤치마크 성적과는 상반된 양상을 보여 눈길을 끈다.

탈락팀인 모티프테크놀로지스는 독파모 벤치마크 평가 40점 중 한국지능정보사회진흥원(NIA) 자체 벤치마크(15점)와 더불어 총 25점을 차지하는 글로벌 AI 모델 평가 기관 아티피셜 애널리시스의 인텔리전스 인덱스(AAII)에서 47점으로 독파모 경쟁사 중 가장 높은 점수를 차지했다.

이는 미국 앤트로픽과 오픈AI 등을 포함한 글로벌 AI 모델 가운데도 10위권 수준으로, 업스테이지(37점), SK텔레콤(35점), LG AI연구원(31점)보다 최소 10점 이상 앞선 성적이었다.

그러나 실제 벤치마크와 전문가·사용자 평가를 모두 합산한 종합평가에서는 최종 4위에 그쳤다.

류제명 과기정통부 제2차관은 이날 정부서울청사 브리핑에서 "모티프테크놀로지스는 기술력 측면에서 뛰어난 성과를 보여줬으나 전체 배점의 75점에 해당하는 사용성과 활용성 부문에서 다른 기업보다 다소 낮은 평가를 받았다"고 설명했다.

이어 "이번 평가에서는 3개 영역의 1위 기업이 모두 달랐고, 일관되게 모든 영역에서 1등을 차지한 팀은 없었다"며 "특정 평가 항목 하나가 결과를 좌우했다기보다 여러 요소가 종합적으로 반영된 결과"라고 말했다.

이는 글로벌 벤치마크 고득점만으로 최종 경쟁력이 결정되지 않는 평가 체계가 실제로 작동했음을 보여준 사례로 해석된다.

앞서 업계 일각에서는 일부 참여 기업이 특정 벤치마크 성능 향상을 지원하는 해외 전문업체와 협력한 사례를 두고 이른바 '벤치맥싱' 우려를 제기한 바 있다.

그동안 AI 업계에서는 취약한 벤치마크 항목만 집중 공략해 점수를 높이는 방식이 실제 AI 성능과 경쟁력을 왜곡할 수 있다는 지적이 꾸준히 제기돼 왔다.

그러나 정부는 AAII 운영사인 아티피셜 애널리시스에 공식 분석을 의뢰한 결과 "평가를 위한 체계적인 암기나 과적합 문제가 입증될 만한 단서를 찾지 못했다"는 답변을 받았다며 관련 논란을 일축했다.

결국 이번 평가는 벤치마크 점수뿐 아니라 전문가 검증과 실제 활용성, 산업 확산 가능성까지 함께 반영한 결과라는 점에서 의미가 있다는 평가다. 정부 역시 독파모를 단순히 성능 수치가 높은 모델이 아니라 실제 산업과 공공 현장에서 활용될 국가대표 AI를 선발하는 사업으로 끌고 가겠다는 방향성을 분명히 했다.

◇ 사용성과 확산 전략 앞세운 3개 팀…최종 경쟁 돌입

실제 다음 단계에 진출한 3개 팀은 각각 차별화된 활용성과 생태계 확장 전략을 앞세워 종합 경쟁력을 인정받았다.

SK텔레콤의 'A.X K2'는 수리 추론과 한국어 분야에서 비교군 최상위 성능을 확보했으며, 대규모 상용 서비스에 실제 탑재된 경험을 바탕으로 사용성 측면에서 높은 평가를 받았다. 국방 분야 모델 적용과 제조 산업 특화 에이전트, 법무·세무 분야 시연 등 다양한 산업 적용 사례도 강점으로 꼽혔다.

독파모 참여팀 가운데 유일한 스타트업인 업스테이지의 '솔라 오픈 2'는 포털 다음(Daum)과 기업용(B2B) 에이전트 플랫폼 운영사 타임리를 인수해 국민 체감형 서비스 연계를 추진한 점이 긍정적으로 평가됐다. 퓨리오사AI 등 국산 신경망처리장치(NPU) 환경에서 다음 서비스를 실증한 점도 경쟁력으로 거론됐다.

국내 최대 규모인 7천500억개 파라미터를 갖춘 LG AI연구원의 'K-엑사원 2.0'은 글로벌 국제기구와 협업 전략을 마련하고 안전하고 신뢰할 수 있는 AI 개발 활동을 지속해온 점, 에이전틱 AI 분야 차별화된 경쟁력을 확보한 점 등이 강점으로 평가받았다.

3개 팀은 이번 결과를 바탕으로 내년 초 최종 2개 팀을 가리는 3차 평가에 나선다.

이들 정예팀에는 올해 하반기 엔비디아 B200 기준 768장의 그래픽처리장치(GPU)가 정부 지원으로 제공되며, 이를 기반으로 모델 성능 고도화와 산업·공공 분야 적용 실적 확대를 추진할 계획이다.

◇ 프론티어 AI 시대…분산 지원 넘어 전략 재편

다만 독파모는 이제 평가 경쟁을 넘어 국가 차원의 AI 투자 전략이라는 더 큰 과제와 마주하고 있다. 글로벌 AI 경쟁이 프론티어급 모델 확보를 중심으로 재편되고 있기 때문이다.

올해 6월 미국 행정부가 앤트로픽의 최고 성능 AI 모델 '미토스'에 대한 외국 국적자 접근을 일시 차단하는 수출 통제를 단행하면서 AI 모델이 국가 전략자산으로 취급되는 흐름이 본격화됐다. 중국에서도 프론티어급 오픈 웨이트 모델이 잇따라 등장하며 미·중 AI 패권 경쟁은 더욱 치열해지고 있다.

이런 상황에서 여러 기업에 GPU를 분산 지원하는 현재 방식만으로 세계 최고 수준의 프론티어 모델을 육성할 수 있겠느냐는 문제 제기도 커지고 있다.

배경훈 부총리 겸 과학기술정보통신부 장관은 지난달 20일 취임 1주년 기자간담회에서 "앤트로픽 미토스와 같은 프론티어급 모델을 개발하려면 최신 GPU '베라 루빈' 기준 약 1만장이 필요하며 가격은 3조5천억원 수준"이라고 밝힌 바 있다.

이 같은 현실을 고려해 정부도 독파모 지원 체계 전반을 재검토하고 있다.

류 차관은 이날 브리핑에서 "지금과 같은 경쟁 방식을 탈피해 프론티어 기업들의 모델에 버금가는 모델 경쟁이 가능한 방식으로 재편하자는 공감대가 있다"며, 기존 방식을 뛰어넘는 새로운 지원체계를 관계부처와 논의 중이라고 밝혔다.

GPU 등 컴퓨팅 자원을 한 곳에 집중할지, 지원 대상과 컨소시엄 구조를 어떻게 바꿀지 등 핵심 정책이 모두 재검토 대상이 될 것으로 보인다.

관건은 결국 예산이다.

프론티어급 AI 개발에는 수조원 규모의 컴퓨팅 인프라 투자가 필요한 만큼 정부의 재정 지원 규모가 뒷받침되지 않으면 지원 방식 개편만으로는 세계 최고 수준의 모델 육성에 한계가 있다는 지적이 나온다. 향후 정부 예산 편성과 국가 AI 투자 전략이 독파모의 성패를 좌우할 핵심 변수로 꼽힌다.

류 차관은 "3차 평가는 예정대로 진행하되 지원 방식과 후속 사업 구조는 관계부처 협의를 거쳐 별도로 마련할 계획"이라며 "프론티어 AI 경쟁력을 확보할 수 있는 방향으로 제도를 정비하겠다"고 말했다.

정부는 독파모와 별개로 고성능 AI 확산에 따른 사이버 보안 위협에 대응하기 위해 '보안 특화 파운데이션 모델' 개발 사업도 함께 추진하고 있다.

한편, 과기정통부는 이번 2차 평가에 대한 이의 제기 절차가 마무리되는 대로 3차 평가 일정과 배점 방식을 참여 기업들과 협의해 확정할 예정이다. 내년 초 최종 2개 팀 선발 일정은 유지하되, 지원 체계와 사업 방향은 예산 확보 상황과 정책 논의를 반영해 조정할 방침이다.

kwonhy@yna.co.kr

울산 7월 수출 20.3%↑…석유제품·석유화학 등 견인 제주시 첫 메리어트 브랜드 '쉐라톤 제주호텔' 내달 개

인기상품 확인하고 계속 읽어보세요!

5

원치 않을 경우 뒤로가기를 눌러주세요.