[편집자 주 = 한국국제교류재단(KF)의 지난해 발표에 따르면 세계 한류 팬은 약 2억2천500만명에 육박한다고 합니다. 또한 시간과 공간의 제약을 초월해 지구 반대편과 동시에 소통하는 '디지털 실크로드' 시대도 열리고 있습니다. 바야흐로 '한류 4.0'의 시대입니다. 연합뉴스 동포·다문화부 K컬처팀은 독자 여러분께 새로운 시선으로 한국 문화를 바라보는 데 도움이 되고자 전문가 칼럼 시리즈를 준비했습니다. 시리즈는 매주 게재하며 K컬처팀 영문 한류 뉴스 사이트 K바이브에서 영문으로도 보실 수 있습니다.]

[본인 제공]

최근 몇 달 사이, 인공지능(AI) 업계 한가운데서 꽤 불길한 말이 연이어 나왔다. 일론 머스크는 올해 1월 "우리는 AI 훈련에서 누적된 인간 지식의 총합을 고갈시켰다"며 "이 문제는 지난해에 이미 발생했다"고 말했다. 이 발언은 과장이 아닌, 업계 내부에서 이미 돌고 있던 위기의식을 공개적으로 드러낸 말에 가깝다.

구글 딥마인드 CEO이자 노벨상 수상자 데미스 허사비스 역시 "앞으로 AI가 최근 몇 년처럼 빠른 속도로 발전하리라 기대해서는 안 된다"고 경고했다.

AI가 학습할 데이터가 부족하다니, 직관적으로는 이해하기 어렵다. 인터넷에는 매일 수억 건의 게시물, 사진, 동영상이 쏟아지고, 디지털 정보량은 기하급수적으로 증가하고 있기 때문이다. 하지만 AI 연구자와 기업이 바라보는 현실은 다르다. 문제는 '데이터의 양'이 아니라 '학습에 쓸 만한 고품질 데이터'가 빠르게 줄어들고 있다는 점이다.

[연합뉴스 자료 사진]

◇ 숫자로 보는 데이터 고갈의 현실

대형 언어모델의 역사는 곧 데이터 소비량의 역사이기도 하다. 2020년 공개된 GPT-3는 약 3천억 개 토큰(단어·문장 조각 단위)에 해당하는 텍스트를 학습했다. 불과 3년 뒤인 2023년 GPT-4는 약 12조 개 토큰을 학습한 것으로 알려져 있다. 40배에 가까운 증가다. 2024년 4월 출시된 메타의 라마3는 15조 개 이상의 토큰을, 이듬해 나온 라마4는 일부 모델이 40조 개 이상을 학습했다고 발표했다. 1년 사이에 또 한 번 2배 가까이 늘어난 셈이다.

모델의 세대가 바뀔 때마다 데이터 요구량은 기하급수적으로 커지고 있다. GPT 계열만 봐도, GPT-4 이후 GPT-4.1, GPT-4.1 미니, GPT-5, GPT-5.1, GPT-5.2 등 새로운 버전이 몇 달 간격으로 등장하고 있다. 이렇게 잦은 업데이트는 경쟁 때문이기도 하지만, 동시에 '더 나은 성능을 위해 더 많은, 혹은 더 정제된 데이터'를 지속해 주입해야 하는 구조의 결과다.

문제는, 사람이 새로 만들어내는 양질의 데이터는 연간 약 4% 수준으로 늘어나지만, 최첨단 모델이 한 번 학습에 소비하는 데이터는 그보다 훨씬 빠른 속도로 늘어나고 있다는 점이다. 실제로 여러 연구 기관은 인터넷에 공개된 인간 생성 텍스트 중, AI 학습에 쓸 만한 고품질 데이터는 전체의 10%도 되지 않는다고 추산한다.

맞춤법·문법 오류가 심하거나, 스팸·중복·저품질 콘텐츠, 혐오 발언, 단순 광고 문구 등을 걸러내고 나면 남는 텍스트는 생각보다 적다. 여기에 저작권과 프라이버시 문제로 마음대로 쓸 수 없는 데이터까지 제외하면, 상업적 AI 모델이 합법적으로 활용할 수 있는 학습 재료는 더욱 줄어든다.

그래서 최근 대형 AI 기업이 언론사·출판사·음원사와 잇달아 데이터 사용 계약을 맺는 이유도 여기에 있다. 이미 웹에서 긁어모을 수 있는 공개 데이터는 상당 부분 활용했고, 이후로는 돈을 내고 정제된 콘텐츠를 사 와야 하는 단계에 들어섰다는 뜻이다.

◇ 합성 데이터라는 해결책과 그 한계

이 난관을 넘기 위해 AI 업계가 내세운 해법이 '합성 데이터'(synthetic data)다. 말 그대로 AI가 스스로 생성한 텍스트·이미지·코드를 다시 학습 데이터로 사용하는 방식이다. 실제 사용자 데이터를 수집하기 어렵거나, 민감 정보 때문에 마음대로 쓸 수 없는 분야에서는 이미 오래전부터 사용되던 방법이고, 최근에는 대형 언어모델 학습에도 본격적으로 도입되고 있다.

시장조사 기관 가트너는 '2024년 AI 프로젝트에 사용된 데이터의 60%가량이 이미 어떤 형태로건 합성 데이터'라고 추산한다. 주요 빅테크 기업은 생산 공정 시뮬레이션, 자율주행, 의료 진단, 금융 리스크 분석 등 다양한 영역에서 합성 데이터를 활용하고 있다. 언어모델 분야에서도, 인간이 직접 만든 데이터와 AI가 생성한 데이터를 섞어 학습하는 사례가 늘고 있다. (2편에서 계속)

임기범 인공지능 전문가

▲ 서울과학종합대학원 대학교(aSSIST) 객원교수. ▲ 현 AI경영학회 이사. ▲ ㈜나루데이타 CTO 겸 연구소장. ▲ ㈜컴팩 CIO. ▲ 신한 DS 디지털 전략연구소장 역임.

<정리 : 이세영 기자>

seva@yna.co.kr

Copyright 연합뉴스 All rights reserved. 무단 전재 및 재배포 금지.