다음 내용이 궁금하다면?
불편하시다면 뒤로 가기를 눌러주세요
매개변수 120B급 확대…"추론 속도 3배 향상"
[롯데이노베이트 제공. 재판매 및 DB 금지]
(서울=연합뉴스) 한상용 기자 = 롯데이노베이트[286940]는 AI 플랫폼 '아이멤버' 언어 모델을 고도화했다고 26일 밝혔다.
이번 모델은 사용자 질문에 깊이 있는 설명과 논리적인 답변을 제공하는 방향으로 개선됐다고 롯데이노베이트는 설명했다.
파라미터(매개변수)는 기존 320억개(32B)에서 1천200억개(120B)로 업그레이드해 복잡한 질의에서도 맥락을 정리해 답변을 구성하는 능력이 강화됐다는 것이다.
롯데이노베이트에 따르면 해당 모델 성능 평가 결과 수능 국어 영역 기반의 '수능 국어 QA'(CSATQA)에서는 78.31점을 기록했다.
한국어 이해와 전문 지식 추론, 수학 추론 등 주요 지표에서도 성능 개선이 확인됐다고 전했다.
또한 양자화 기술이 적용된 최신 모델 아키텍처를 기반으로 시스템을 최적화해 동일한 그래픽처리장치(GPU) 환경에서 추론 속도를 기존 대비 약 3배 향상했다.
이를 통해 기존 32B 모델 운영 인프라만으로도 120B급 대형 모델을 안정적으로 구동할 수 있게 됐다.
기존 한국어 중심이던 플랫폼에 영어와 일본어를 추가해 다국어 지원도 강화했다.
롯데이노베이트 관계자는 "앞으로도 아이멤버의 성능과 속도, 보안 수준을 지속적으로 업그레이드하고 산업·업무 특화 모델을 꾸준히 발전시켜 나가겠다"고 말했다.
gogo213@yna.co.kr
Copyright 연합뉴스 All rights reserved. 무단 전재 및 재배포 금지.
인기상품 확인하고 계속 읽어보세요!
원치 않을 경우 뒤로가기를 눌러주세요.