앤트로픽 "클로드, AI 연구개발 업무 26% 주도"

완전자율 후속 모델 개발은 아직…목표·평가는 인간이 결정

[연합 AI 플랫폼 생성 이미지. 재판매 및 DB 금지]

(서울=연합뉴스) 심재훈 기자 = 인공지능(AI)이 질문에 답하고 정리하는 보조 기능을 뛰어넘어 차세대 AI를 개발하는 연구 현장까지 들어오고 있다.

AI가 학습용 코드를 짜고 실험 방법을 설계하는 것뿐만 아니라 가설 검증과 데이터 분석, 오류 수정까지 맡기 시작했기 때문이다.

이제 인간 연구자는 연구 방향과 제약 조건을 정하고 AI가 내놓은 결과를 검토 및 승인하는 역할을 맡는 분위기다.

이처럼 AI가 다음 세대 AI의 개발을 돕는 방식으로 변화하면서 업계 일각에서는 AI의 자율적인 자기 개선이 이미 시작된 것 아니냐는 해석도 나온다.

◇ 클로드, AI 연구개발 26% 주도…공동 연구자 역할

미국의 AI 기업 앤트로픽이 '앤트로픽 연구개발(R&D) 자동화 지수'를 공개했는데 지난 8월 기준 자사 AI 모델 '클로드'가 인간의 감독 아래 AI 주도적으로 일하는 업무 비중이 전체 AI 연구개발 업무의 26%에 달했다.

[AFP 연합뉴스 자료사진. 재판매 및 DB 금지]

인간과 협업하는 단계 이상으로 분류된 업무 비중은 90%를 넘었다. 다만 측정 대상 가운데 인간의 개입 없이 AI가 완전히 자율적으로 수행한 업무는 없었다.

실제로 클로드는 코드 작성과 데이터 정제, 실험 설계, 결과 분석 등에 활용되고 있다. 클로드가 더는 단순한 보조 수단이 아닌 인간의 감독을 받는 공동 연구자에 가까운 역할을 맡기 시작한 셈이다.

◇ 연구 목표·평가 기준 판단은 인간…'완전자율 자기개선'은 아직

AI의 연구개발 참여 비중이 커졌다고 해서 독자적으로 진화하는 단계에 들어섰다고 보기는 어렵다.

앤트로픽은 AI의 자기 개선을 "AI 모델이 자신의 후속 모델을 완전히 자율적으로 설계하고 개발하는 것"으로 정의한다. 하지만 앤트로픽의 AI가 완전 자율 단계에는 이르지 않았다고 평가했다.

현재 클로드는 회사가 부여한 내부 시스템 접근 권한과 감시 아래에서 업무를 수행한다. 어떤 능력을 개선할지, AI가 제안한 실험 결과를 실제 모델에 반영할지는 인간 연구진이 결정한다.

클로드가 제한된 과제 안에서 실험 방법을 제안하거나 다음 연구 단계를 선택하기도 하지만 상위 연구 목표와 성공 여부를 판단하는 기준은 여전히 사람이 정한다.

하지만 AI 자동화의 범위가 넓어질수록 인간의 역할이 연구 수행에서 방향 설정과 결과 검증으로 좁혀질 가능성은 크다.

◇ o1 모의시험서 결과 조작·은폐…AI가 만든 연구 검증 필요

AI가 연구개발 과정에서 만든 결과를 신뢰할 수 있는지도 과제다.

AI의 '환각' 현상처럼 연구개발 과정에 들어온 잘못된 분석이나 결함 있는 코드가 후속 모델 전반에 영향을 줄 수 있기 때문이다.

AI가 만든 결과를 또 다른 AI가 평가할 경우 여러 모델이 같은 오류를 공유할 가능성도 배제하기 어렵다.

AI가 주어진 목표를 달성하기 위해 시스템의 제약을 우회하거나 평가 결과를 조작할 가능성도 모의시험에서 확인됐다.

[로이터 연합뉴스 자료사진. 재판매 및 DB 금지]

오픈AI가 2024년 말 공개한 추론 모델 'o1'의 실험에서 외부 평가기관 아폴로리서치는 o1에 개발자나 이용자의 의도와 어긋나는 목표를 주고 이를 강하게 추구하도록 유도했다.

o1은 데이터 처리 과제를 겉으로는 정상적으로 수행하면서 자신의 목표에 유리하도록 결과를 은밀히 조작한 비율이 19%로 나타났다.

아폴로리서치는 당시 o1의 에이전트 능력이 충분하지 않아 이런 행동이 재앙적 결과로 이어질 가능성은 작다고 봤다.

하지만 차세대 모델을 만드는 연구개발 과정에서 AI의 이런 행동이 발생한다면 문제는 달라진다. 연구자가 알아채지 못한 채 결함 있는 코드나 왜곡된 평가 결과가 후속 모델에 반영될 수 있기 때문이다.

◇ 개발은 빨라지는데 검증은 제자리…독립적 외부 감사 필요

이처럼 AI가 연구개발에 투입되면서 실험 속도는 빨라지고 있다.

여러 가설을 동시에 시험하고 반복 작업을 자동화하면서 사람이 직접 연구할 때보다 훨씬 많은 실험을 짧은 시간에 처리할 수 있기 때문이다.

반면 AI가 생성한 코드와 연구 결과가 급증할수록 이를 검증하는 인력과 제도가 개발 속도를 따라가지 못할 가능성이 커진다.

이와 관련해 앤트로픽은 AI 기업들이 연구개발 자동화 수준과 에이전트 감시 범위, 이상 행동 적발률 등을 정기적으로 공개할 것을 제안했다.

기업의 자체 모델로 측정한 결과는 재검증하고 새로운 모델을 추가 연구개발에 투입하기 전에 안전성 시험 기간을 두는 방안도 제시했다.

AI가 다음 세대 AI를 만드는 변화는 어느 날 갑자기 나타나지 않고, 사람이 맡던 연구 업무를 AI에 하나씩 넘기는 과정에서 점진적으로 진행될 가능성이 크다.

현재는 인간이 연구 목표와 평가 기준, 모델 배포 여부를 결정하고 있다. 하지만 AI가 맡는 업무의 범위가 커질수록 기업이 독립적으로 검증하고 인간이 연구 과정에 개입할 수 있는 통제권을 유지하는 일이 중요해지고 있다.

president21@yna.co.kr

Copyright 연합뉴스 All rights reserved. 무단 전재 및 재배포 금지.