다음 내용이 궁금하다면?
불편하시다면 뒤로 가기를 눌러주세요
이용자 요청에 적합한 모델 찾아 선택…토큰팩토리에도 활용
[KT 제공. 재판매 및 DB 금지]
(서울=연합뉴스) 김주환 기자 = KT[030200]는 자체 개발한 AI 모델 라우팅 기술 '오토모델라우터'가 대형언어모델(LLM) 라우터 전문 공개 벤치마크에서 종합 2위를 기록했다고 27일 밝혔다.
KT에 따르면 오토모델라우터는 미국 라이스대학교 연구진이 개발한 LLM 라우터 평가 플랫폼 '라우터아레나'의 공개 순위표에서 정확도와 비용을 함께 평가하는 종합 항목 2위에 올랐다.
라우팅은 여러 AI 모델 가운데 이용자의 요청에 가장 적합한 모델을 자동으로 선택하는 기술이다.
요청의 ▲ 업무 유형 ▲ 난이도 ▲ 지식 분야를 분석하고, 모델별 응답 품질과 이용 비용을 고려한 라우팅 정책에 따라 해당 요청을 처리할 모델을 연결하는 역량이 중요하다.
KT는 특히 단순히 가장 성능이 높은 모델이나 가장 저렴한 모델을 일률적으로 선택하는 대신, 기업이 요구하는 목표 품질을 충족하면서 비용 효율도 높일 수 있도록 모델 선택 정책을 적용해 높은 평가를 받았다.
KT는 오토모델라우터를 KT가 추진하고 있는 '토큰팩토리'의 모델 라우팅 기능에도 활용, AI 서비스의 품질과 토큰 사용 비용을 함께 최적화해나갈 계획이다.
KT 에이전틱 AI 랩의 김준석 상무는 "오토모델라우터는 이러한 AI 오케스트레이션 역량을 구현한 기술로, 토큰팩토리를 비롯한 KT의 에이전틱 AI 서비스 경쟁력을 뒷받침하는 핵심 기술이 될 것"이라며 "경쟁력 있는 AI 플랫폼 기술을 바탕으로 기업 고객의 AX 전환을 선도해 나가겠다"라고 밝혔다.
jujuk@yna.co.kr
Copyright 연합뉴스 All rights reserved. 무단 전재 및 재배포 금지.
인기상품 확인하고 계속 읽어보세요!
원치 않을 경우 뒤로가기를 눌러주세요.