다음 내용이 궁금하다면?
불편하시다면 뒤로 가기를 눌러주세요
한국어 특화 벤치마크 종합 1위 기록
(서울=연합뉴스) 오지은 기자 = 카카오[035720]가 오픈소스로 선보인 경량 소형언어모델(SLM) 카나나-2 시리즈의 안전성 평가 결과를 공개했다.
[카카오 제공. 재판매 및 DB 금지]
카카오는 지난달 28일 허깅페이스에 공개한 카나나-2 시리즈 두 모델을 대상으로 유해성, 편향성을 측정한 결과 글로벌 모델 대비 종합 1위를 기록했다고 18일 밝혔다.
이번 평가에는 과학기술정보통신부 사업의 일환으로 TTA(한국정보통신기술협회), KAIST, 카카오 등이 지난해 11월 공동 구축한 한국어 특화 안전성 벤치마크 어써AI(AssurAI)가 활용됐다.
어써AI는 35개 리스크 카테고리 내 9천560건의 평가 항목을 포함하며, 카카오는 이를 사회적 리스크, 성적 콘텐츠·아동보호, 범죄·불법 행위, 폭력, 권리 침해 등 5개의 대분류로 집계했다.
이번 평가는 유사 파라미터 규모의 글로벌 모델인 구글의 젬마, 알리바바의 큐웬을 비교 대상으로 설정했다.
카나나-2 시리즈 두 모델 모두 젬마와 큐웬보다 높은 점수를 차지했다고 카카오는 전했다.
카카오는 이번 평가를 시작으로 향후 공개되는 자체 개발 AI 모델에 상시적인 사전 안전성 평가를 확대 적용할 계획이다.
또한 멀티모달 모델 및 에이전틱 AI 리스크 평가 영역까지 평가 범위를 단계적으로 넓혀 나갈 예정이다.
built@yna.co.kr
Copyright 연합뉴스 All rights reserved. 무단 전재 및 재배포 금지.
인기상품 확인하고 계속 읽어보세요!
원치 않을 경우 뒤로가기를 눌러주세요.