힌턴 등 AI 연구자 22명, AI 연구개발 자동화 가능성과 위험 분석

"아직 지능 폭발 단계 아냐"…기업 내부 감시·독립 감사 필요

[연합 AI 플랫폼 생성 이미지. 재판매 및 DB 금지]

(서울=연합뉴스) 심재훈 기자 = 인공지능(AI)이 코드를 짜고 실험을 돌려 지금보다 뛰어난 AI를 만들고 그 AI가 다시 다음 세대 AI 개발에 투입된다면 기술 발전 속도는 얼마나 빨라질까.

제프리 힌턴 캐나다 토론토대 명예교수와 요슈아 벤지오 몬트리올대 교수 등 AI 연구자 20여 명이 최근 공개한 논문 'AI 연구개발 자동화가 지능 폭발을 촉발한다면?'은 이 질문을 다뤘다.

논문은 영국 케임브리지대 'AI 과학·정책 프로그램'(CASP)에서 나왔다.

학계와 시민사회 연구자들이 주도했고 야쿠프 파호츠키 오픈AI 수석과학자, 잭 클라크 앤트로픽 공동창업자, 에릭 호비츠 마이크로소프트(MS) 최고과학책임자(CSO) 등 주요 AI 기업 인사도 공동 저자로 참여했다.

연구진은 AI 연구개발에서 AI가 맡는 비중이 커지면 수년 걸릴 발전이 수개월로 압축되는 '지능 폭발'이 일어날 수 있다고 경고했다.

다만 현재 AI 연구 자동화에 따른 생산성 향상은 아직 지능 폭발을 일으킬 수준에 이르지 못했다고 판단했다.

◇ 앤트로픽 승인 코드 80% 이상 AI가 작성

연구진은 논문에서 AI가 연구자의 지시에 따라 프로그램을 만들고 실험 결과를 분석해 성능이 개선된 AI를 내놓으면, 그 AI가 다시 연구에 참여하는 순환 구조를 제시했다. 같은 인력과 장비로 더 많은 연구를 수행하고 그 성과가 AI 능력을 다시 끌어올린다는 것이다.

연구진은 이 가운데 소프트웨어 개선에 주목했다. 반도체 생산이나 데이터센터 건설과 달리 AI 학습 방법이나 알고리즘 개선 결과는 다음 연구에 곧바로 적용할 수 있다는 이유에서다.

[AP 연합뉴스 자료사진. 재판매 및 DB 금지]

논문이 인용한 앤트로픽 자체 집계에 따르면 직원이 승인한 코드 가운데 AI가 작성한 비중은 2025년 1월 한 자릿수 초반에서 올해 5월 80% 이상으로 늘었다. 사람이 큰 방향만 감독하고 AI가 자율적으로 마친 연구개발 업무 비중도 올해 3월 1%에서 8월 26%로 높아졌다.

다만 연구진은 AI가 연구 과제 전체를 독자적으로 해결하는 수준에는 이르지 못했다고 밝혔다. AI가 일부 과제에서 지시를 어기거나 작업 내용을 잘못 보고하고 숙련된 연구자가 푸는 문제를 해결하지 못한 사례도 함께 제시했다.

◇ "2028년 중반 수개월짜리 연구 과제 자동화 가능"

연구진은 AI의 과제 수행 능력이 향상되는 추세가 이어지면 2028년 중반께 사람이 수개월 걸려 하는 연구 과제를 AI가 수행할 수 있다고 봤다. 현재 증가세가 유지된다는 가정에 따른 잠정 추정이다. 연구진은 근거가 아직 초기 단계이고 일부 결과는 엇갈린다고 인정했다.

연구진은 속도를 늦출 요인도 함께 꼽았다. AI 연구에 투입하는 역량을 늘려도 풀기 쉬운 문제가 줄면 성과가 기대만큼 늘지 않을 수 있다. 실험에 필요한 연산 자원과 학습 데이터가 부족할 수 있고 대규모 모델 학습에도 시간이 걸린다.

그럼에도 연구진은 변화가 본격화한 뒤에는 대응할 시간이 부족할 수 있다며 지금부터 대비해야 한다고 강조했다.

AI의 지능 폭발이 현실화하면 신약 개발 등이 앞당겨질 수 있지만 사이버 공격이나 생물학적 위협에 악용될 기술도 그만큼 빨리 발전할 수 있다는 것이다.

연구진은 사회가 변화에 적응하지 못하거나 인간이 AI에 대한 통제력을 잃고 견제 장치가 약해질 위험도 거론했다. 극단적 시나리오로는 인류의 주변화나 멸종 가능성까지 언급했다.

◇ "AI 기업에 독립 감사관 상주시켜야"

연구진은 각국 정부가 AI 기업 내부의 연구개발 자동화 현황부터 파악할 수 있어야 한다고 제안했다.

연구 업무 가운데 AI가 맡는 비중과 AI의 개발 결정 참여 정도, 내부 사고 사례 등을 일정한 기준에 따라 보고하도록 하고, 독립 감사관을 기업 내부에 두자는 것이다.

[로이터 연합뉴스 자료사진. 재판매 및 DB 금지]

AI 능력 향상 속도에 상한을 두는 방안과 필요할 때 자동화된 연구 작업을 멈추는 절차, 비상 대응 계획, 국제 협약 마련도 검토 과제로 제시했다.

한 AI 스타트업 관계자는 "원자력발전소에 규제 당국의 사찰관을 상주시키는 것과 비슷하게 갑작스러운 지능 폭발을 막으려면 AI에 대한 강력한 감독 체계가 필요하다"고 말했다.

president21@yna.co.kr

Copyright 연합뉴스 All rights reserved. 무단 전재 및 재배포 금지.