[AI픽] 리벨리온, 국산 NPU로 SKT 'A.X K1' 구동 성공

불편하시다면 뒤로 가기를 눌러주세요

5천190억 파라미터 AI 모델, 리벨서버서 안정 실행

지도형 에이전트 실증…소버린 AI 상용화 가능성 제시

(서울=연합뉴스) 권하영 기자 = 인공지능(AI) 반도체 기업 리벨리온은 SK텔레콤[017670]의 독자 AI 파운데이션 모델 'A.X K1'을 자사 서버 인프라에서 성공적으로 구동했다고 23일 밝혔다.

5천190억개 파라미터(매개변수) 규모의 대형 모델을 국산 AI 반도체 서버에서 안정적으로 실행하며 서빙 효율을 입증했다는 평가다.

A.X K1은 전문가 혼합(MoE) 구조를 채택해 500억개 이상의 파라미터를 보유하면서도 추론 시에는 약 330억개 파라미터만 활성화해 높은 효율성을 확보한다.

리벨리온은 이 같은 MoE 모델을 지원하기 위해 다양한 연산을 칩에 최적화된 방식으로 분산 처리하는 병렬 처리 기술을 전용 소프트웨어(SW)에 구현했다.

자사 AI 반도체 서버 '리벨서버' 단일 구성만으로도 수많은 사용자 요청을 병목 현상 없이 실시간 처리할 수 있다는 설명이다.

회사 측은 이를 통해 글로벌 고성능 그래픽처리장치(GPU) 서버에 준하는 인프라 역량을 갖추면서도 데이터센터 구축·운영 부담을 크게 줄일 수 있다고 강조했다.

리벨리온은 단순 모델 구동에 그치지 않고 '지도(Map)형 에이전트 서비스' 데모를 통해 실제 활용 가능성도 선보였다.

여러 사용자가 동시에 '주말에 이용 가능한 약국' 등 각기 다른 질문을 입력해도 A.X K1이 이를 실시간으로 처리해 지도 위에 즉각 결과를 표출하는 방식이다.

박성현 리벨리온 대표는 "이번 실증은 국산 초거대 모델과 국산 NPU의 결합만으로 대규모 AI 서비스를 운영할 수 있음을 보여준 소버린 AI의 실질적 사례로, 인프라 효율성과 실사용 가능성을 모두 입증했다는 데 의미가 있다"고 말했다.

리벨리온은 과학기술정보통신부의 독자 AI 파운데이션 모델 사업 SKT 컨소시엄 구성원으로서 국산 NPU 기반 인프라 실증 작업을 이어가고 있다.

kwonhy@yna.co.kr

인기상품 확인하고 계속 읽어보세요!

5

원치 않을 경우 뒤로가기를 눌러주세요.