내년까지 문서 단위 학습 데이터 구축·공개…기업·연구자 활용 지원

김현우 소장 "양질의 한국어 데이터 부족"…합성 데이터·학습법 연구

[KAIST 제공. 재판매 및 DB 금지]

(서울=연합뉴스) 조승한 기자 = 엔비디아와 한국과학기술원(KAIST)이 인공지능(AI) 모델 학습에 활용할 우리말 데이터를 내년까지 문서 단위로 100만 건 이상 구축해 공개한다.

양질의 한국어 데이터 부족을 해소하기 위해 합성 데이터 생성 기술과 학습 방법론을 함께 연구하고 국내 기업과 연구자들이 성과를 활용하도록 지원할 계획이다.

엔비디아가 초기 5년간 총 3억달러(4천억원)를 투입하는 공동연구소는 한국어를 출발점으로 다른 언어에도 적용할 수 있는 데이터 생성·학습 방법을 개발할 방침이다.

◇ AI 모델 자라는데 데이터 토양은 부족…"한국어 데이터 목말라"

김현우 엔비디아-KAIST AI 공동연구소장(엔비디아 리서치 매니저 겸 KAIST 김재철AI대학원 교수)은 10일 서울 강남구 엔비디아 코리아에서 가진 공동인터뷰에서 이런 계획을 밝혔다.

김 소장은 지금의 한국 AI 생태계를 파란 하늘 아래 나무들이 본격적으로 자라나기 시작한 숲에 비유했다.

독자 AI 파운데이션 모델처럼 경쟁력 있는 모델들이 등장하고 이를 키울 그래픽처리장치(GPU)와 연구 인프라도 확충되고 있지만, 다양한 생물이 어우러지는 건강한 숲이 되려면 데이터라는 토양이 필수라고 그는 설명했다.

그는 "지금까지는 나무에 해당하는 AI 모델에 초점이 맞춰져 있었고, 햇빛과 물에 해당하는 그래픽처리장치(GPU)와 연구인프라가 주목받았다"며 "반면 사슴과 꽃, 새 같은 참여자와 데이터에 해당하는 토양은 덜 강조된 게 사실"이라고 말했다.

AI의 성능을 데이터가 좌우하지만, 한국은 데이터 학습 노하우가 공개되지 않아 성과를 쌓아 올리는 대신 서로 독자적으로 성과를 만드는 경향이 있다고 그는 진단했다.

양질의 우리말 데이터에 대한 수요는 지난 4월 엔비디아가 공개한 '네모트론 페르소나 코리아' 데이터 세트가 허깅페이스에 공개된 이후 열흘간 세계 다운로드 1위를 기록한 데서 확인할 수 있다고 그는 덧붙였다.

그는 "최근 공개된 LG AI연구원의 엑사원 2.5도 이 데이터 세트를 토대로 학습한 것으로 알고 있다"며 "대형언어모델(LLM) 특성상 어느 데이터 세트를 썼는지 잘 공개하지 않지만, 양질의 데이터 세트 수요가 많아 기대하고 있다"고 말했다.

[KAIST 제공. 재판매 및 DB 금지]

◇ 내년까지 우리말 학습데이터 100만건…"다른 언어로 확장"

공동연구소는 우리말의 데이터 격차를 보완하기 위해 기존 데이터를 최대한 활용하는 합성 데이터 생성 기술과 적은 데이터에서 더 많은 학습 효과를 끌어내는 방법론 연구에 주력할 계획이다.

이를 통해 내년까지 최소 100만건의 우리말 학습 데이터를 구축하고 이를 공개한다는 목표를 김 소장은 제시했다.

데이터 100만건은 문서 단위로, 구체적인 공개 시점과 방식은 연구를 진행하며 정할 것이라고 그는 설명했다.

그는 "우리말 데이터를 개방했을 때 더 나은 모델이 나오고 실제 사용되어야 데이터 한계 공백이 발견될 때 그다음 버전의 우리말을 만들 수 있다"며 생태계가 구축돼야 피드백을 통해 더 발전이 빨라질 것이라고 강조했다.

또 그는 "학생이나 개발자도 데이터를 만져볼 기회가 없으면 역량이 빨리 쌓이지 않는다"며 "각자 역량을 쌓도록 도와 더 나은 출발점을 만드는 게 우리 목표"라고 말했다.

한국어를 연구 출발점으로 삼은 것은 한국어가 영어와 중국어처럼 학습 데이터가 풍부한 언어와 데이터가 극히 적은 소수 언어의 중간 격인 '중간 자원 언어'에 해당하기 때문이라고 그는 설명했다.

김 소장은 "아주 소수 언어는 아니다 보니 점프 스타트하기 좋은 지점에 있다"며 "우리말에서 시작해서 다른 언어에도 잘 적용될 수 있는 레시피 만들고 데이터 학습 방법 만들어서 영어 중국어 이외 언어가 각자 숲 가꿀 수 있도록 도울 것"이라고 말했다.

[KAIST 제공. 재판매 및 DB 금지]

◇ 엔비디아 5년간 3억달러 투입…KAIST와 글로벌 공동연구

엔비디아는 공동연구소에 초기 5년 동안 총 3억달러를 투입한다는 계획이다.

매년 5천만 달러(670억) 상당의 AI 컴퓨팅 자원을 제공하고, 공동연구소 참여 연구자들은 국내 엔비디아 클라우드 파트너를 통해 최신 엔비디아 AI 컴퓨팅 인프라를 활용할 수 있게 된다.

김 소장은 공동연구소에 대해 "엔비디아는 지역과 관계없이 전 세계 리서치가 함께 연구하는 구조"라며 "KAIST와 함께하는 글로벌 패스트 트랙이 생성된 것"이라고 말했다.

엔비디아는 KAIST 학생들에게 매년 최소 10명 이상의 인턴십 기회를 제공하고, 국내 정규직 연구원 채용도 진행 중이다.

주요 AI 빅테크 기업 중 국내에 정규직 연구원을 채용하는 것은 이번이 처음이라고 그는 설명했다.

김 소장은 KAIST의 AI 연구 역량이 공동연구소 설립에 중요한 역할을 했다고 강조했다.

그는 AI 분야 최고 권위 학회로 내달 열릴 신경정보처리시스템학회(NeurIPS)에서 KAIST가 논문 채택률 기준 세계 2위에 올랐다는 점 등을 언급하며 "AI 연구계에 있는데 KAIST를 모른다고 하면 문제가 있는 것이라고 생각한다"고 말했다.

이어 "엔비디아의 컴퓨팅 자원과 글로벌 연구 네트워크가 더해지면 KAIST의 국제적 인지도도 높아질 수 있을 것"이라고 덧붙였다.

김 소장은 "학생들은 언제나 GPU와 임팩트 있는 연구에 목말라 있다"며 "이번 공동연구소가 국내 AI 생태계에 단비와 같은 기회가 될 것"이라고 강조했다.

[KAIST 제공. 재판매 및 DB 금지]

shjo@yna.co.kr

Copyright 연합뉴스 All rights reserved. 무단 전재 및 재배포 금지.