[AI돋보기] AI가 AI를 개발한다…실리콘밸리가 켠 '통제불능' 경고등

불편하시다면 뒤로 가기를 눌러주세요

오픈AI·구글·메타 등 연구자 1천100여명 안전장치 촉구

"자동 AI 연구" 현실화 우려…성능 경쟁 넘어 통제·안전 화두

(서울=연합뉴스) 심재훈 기자 = 오픈AI, 구글 딥마인드, 앤트로픽 등 글로벌 인공지능(AI) 기업 소속 연구자와 임직원 1천100여 명이 최근 미국 정부에 '자동화된 AI 연구'를 제어할 통제 장치 마련을 촉구하고 나섰다.

AI가 스스로 AI를 연구·개발하는 단계에 진입할 경우 기술 발전 속도가 인류의 통제 범위를 벗어날 수 있다는 위기감이 실리콘밸리 핵심 연구진 사이에 퍼지고 있기 때문이다.

AI 파라미터(매개변수) 확대 경쟁에 몰두하던 AI 업계의 초점이 '성능'에서 '통제와 안전'으로 급격히 이동하는 분위기다.

◇ 연구자에서 '감독자'로…스스로 진화하는 AI

최근 AI 업계의 화두는 'AI 에이전트'를 활용한 연구 자동화다.

공개서한에 서명한 연구자들은 AI가 논문 검색, 코드 작성, 실험 설계 및 결과 분석은 물론 차세대 AI 모델의 단점 보완까지 연속적으로 수행하는 시점이 임박했다고 지적했다.

생성형 AI가 방대한 기존 데이터를 학습해 최적의 코드를 짜고 다음 연구 방향을 직접 제시하는 구조로 재편되고 있다는 것이다. 이는 인간의 역할이 '직접 연구를 수행하는 주체'에서 결괏값을 검증하는 '감독자'로 축소됨을 의미한다.

한 국내 AI 스타트업 임원은 "실리콘밸리 내부에서는 이미 제한적 수준의 AI 연구 자동화가 실제 업무에 적용되는 추세"라며 "에이전트 시스템이 스스로 목표를 설정하는 등 임계점을 넘으면 인간 연구자의 개입 여지는 급격히 줄어들 수밖에 없다"고 말했다.

◇ 기하급수적 발전 속도…커지는 '사이버 보안' 리스크

이번 공개서한이 지목한 핵심 위협은 AI의 지능적 우위 자체가 아니라 폭발적으로 빨라지는 발전 속도다.

AI가 자체 연구 생산성을 높이면 차세대 모델 개발 주기는 기하급수적으로 단축된다. 진화한 AI가 다음 세대 연구를 가속하는 과정이 반복될 경우 인간의 안전성 검증이나 제도적 방어막 구축 속도가 이를 물리적으로 따라잡지 못하는 상황에 직면할 수 있다.

특히 AI의 보안 오남용 리스크는 치명적이다.

AI가 스스로 코드를 수정하는 과정에서 기존 방어망을 우회하는 신종 사이버 공격 도구를 생성하거나 시스템 취약점을 대량으로 양산할 수 있다.

서명에 참여한 AI 기업 종사자들이 일방적인 기술 개발 중단 대신 '폭주를 제어할 제도적 장치' 마련을 강조한 것도 이 때문이다.

◇ 한국 대기업도 에이전트 도입 경쟁…"안전 법제화 서둘러야"

아직 국내 산업계는 AI 에이전트 도입을 통한 AI 능력 극대화에 집중하는 분위기다. 하루빨리 미국과 중국 수준까지 AI 기술력을 따라잡아야 한다는 목표 때문이다.

네이버, SK텔레콤[017670], LG[003550] AI연구원, 엔씨소프트, 업스테이지 등 주요 기업들은 AI 에이전트를 전면에 내세워 소프트웨어 개발을 추진하고 연구 효율을 끌어올리는 데 집중하고 있다.

하지만 이런 AI 효율 극대화는 자칫 보안이 뚫릴 경우 치명적인 결과를 낼 수 있어 '통제 장치' 필요성이 지속적으로 대두하고 있다.

한 보안업계 관계자는 "치명적 오류나 해킹 시도가 발생했을 때 즉각 시스템을 물리적으로 차단할 수 있는 '킬 스위치'(자동 정지 장치) 도입 등 안전장치 법제화 논의를 서둘러야 한다"고 강조했다.

'자동 AI 연구'는 단순한 지식노동의 대체를 넘어 기술 개발 과정에서 인간의 개입마저 최소화하는 분기점이 될 수 있다는 평가가 나온다.

이에 따라 AI의 발전 속도가 인간의 통제와 검증 역량을 앞지르기 전에 국제사회와 글로벌 AI 기업들이 구속력 있는 안전 규범 마련에 나서야 한다는 목소리도 커지고 있다.

president21@yna.co.kr

인기상품 확인하고 계속 읽어보세요!

5

원치 않을 경우 뒤로가기를 눌러주세요.