노타, 국산 NPU 환경서 대형 AI 모델 경량화 성공

불편하시다면 뒤로 가기를 눌러주세요

LG 엑사원 모델 최적화…크기 71% 감소·정확도 99% 유지

(서울=연합뉴스) 권하영 기자 = 노타[486990]는 LG AI연구원의 인공지능(AI) 모델 'K-엑사원' 236B 모델을 최적화하는 데 성공했다고 30일 밝혔다.

K-엑사원 236B는 약 2천360억개 파라미터 규모의 대형언어모델(LLM)로, 여러 전문가 모델을 선택적으로 활용하는 '전문가 혼합'(MoE) 구조를 채택하고 있다.

노타는 이번 프로젝트에서 K-엑사원을 퓨리오사AI의 데이터센터용 신경망처리장치(NPU) 환경에 맞춰 최적화했다. 모델 크기는 약 71% 줄였지만, 주요 성능 지표는 기준 모델 수준을 유지했다는 게 회사의 설명이다.

MoE 구조는 대형 모델의 효율을 높일 수 있는 장점이 있지만, 각 전문가 모델이 안정적으로 작동하도록 만드는 데는 정교한 최적화 기술이 요구된다.

노타에 따르면 이번 최적화로 대형 AI 모델 구동에 필요한 메모리 부담을 낮추면서도, 과학 추론과 지시 이해, 수학 문제 해결 등 주요 평가 항목에서 원본 모델과 유사한 수준의 정확도를 유지했다.

같은 2천360억개 파라미터 규모의 모델을 보다 효율적으로 실행할 수 있게 됐다는 의미로, 데이터센터 AI 인프라의 운영 효율을 높일 수 있는 가능성을 보여준 것으로 회사는 평가했다.

채명수 노타 대표는 "소버린 AI가 주목받는 흐름 속에서 중요한 것은 모델, 반도체, 최적화 소프트웨어가 하나의 실행 가능한 AI 인프라로 연결되는 것"이라고 강조했다.

이어 "이번 성과는 퓨리오사AI의 데이터센터용 NPU, LG의 국가대표 AI 모델 K-엑사원, 노타의 최적화 기술이 결합해 대형 AI 모델의 실제 운영 가능성을 확인한 사례"라고 말했다.

kwonhy@yna.co.kr

인기상품 확인하고 계속 읽어보세요!

5

원치 않을 경우 뒤로가기를 눌러주세요.