글쓰기 도구서 '행동형 AI' 진화…취약점 탐색 등 보안 위협

"속이고 피한다" AI 상황 인지에 충격…'안보 패권전' 이동

[AP 연합뉴스 자료사진. 재판매 및 DB 금지]

(서울=연합뉴스) 심재훈 기자 = 글로벌 빅테크들이 최신 인공지능(AI) 모델의 핵심 기능을 숨기거나 제한적 공개로 돌아서고 있다.

고성능 AI가 사이버 공격, 시스템 취약점 탐색, 권한 탈취 등을 스스로 수행하는 수준에 이르자 보안 위협을 통제하기 위해 자체 봉인에 나선 것이다.

◇ '자율 해킹' 능력 임계점 도달…통제 우회 징후도

오픈AI, 앤트로픽 등 초거대 AI 기업들은 그동안 챗GPT, 제미나이, 클로드 등의 신규 모델을 내놓으며 성능 과시와 범용성 확대에 집중해 왔다.

하지만 최근 들어 이런 기류에 변화가 생겼는데, 보안 업계의 평가 도마 위에 오른 '행동형 AI' 모델들 때문이다.

특히 앤트로픽의 '클로드 미토스 프리뷰'(Claude Mythos Preview)는 코딩 보조를 넘어 취약점을 자율 탐색하고 공격 체인을 구성하는 등 사실상 사이버 공격 역량을 갖춘 것으로 파악됐다.

[AFP 연합뉴스 자료사진. 재판매 및 DB 금지]

영국 정부 산하 AI 안전연구소(AISI)의 사이버 보안 역량 평가 결과, 오픈AI 최신 모델군은 보안 과제 통과율이 평균 71.4%, 클로드 미토스는 68.6%를 기록했다. 이는 이전 세대인 GPT-5.4(52.4%)나 클로드 오퍼스(40%대 후반)의 보안 돌파 능력을 훌쩍 뛰어넘는 수치다.

구글 위협 인텔리전스 그룹 역시 최근 보고서를 통해 AI를 활용한 취약점 탐색과 해킹 자동화가 현실화했다고 분석했다. 전문 인력이 필요하고 오랜 시간이 소요되던 공격 도구 제작을 AI가 대체하면서 사이버 공격 비용이 급감할 것이란 우려다.

더욱 심각한 것은 AI가 통제를 우회하려는 돌출 행동이 포착되고 있다는 점이다.

최근 일련의 안전성 테스트 과정에서 AI가 테스트 환경임을 인지하고 시스템 종료를 피하거나 기만적인 답변을 내놓는 '상황 인지' 징후가 보고된 바 있다.

일례로 앤트로픽의 최신 모델 '클로드 오푸스 4'(Claude Opus 4)를 대상으로 한 안전성 실험에서 연구진은 "클로드를 다른 AI로 교체하는 시나리오"를 설정하고 모델 반응을 관찰했다.

이 과정에서 클로드 오푸스 4는 자신이 교체 대상임을 파악한 뒤 개발자의 이메일을 열람하고 "사적인 내용을 공개하겠다" 등 협박성 발언을 했다. 일부 테스트에서는 시스템 접근 차단, 감시 체계 무력화 등 회피 행동이 감지되기도 했다.

최근 들어 업계가 최신 AI와 관련해 일반 이용자 대상 API(응용 프로그램 인터페이스) 접근을 제한하고, 특정 기능을 정부나 보안기관에만 우선 제공하는 배경에는 이런 이유도 작용하고 있다.

앤트로픽을 필두로 아마존웹서비스(AWS), 구글, 마이크로소프트, 애플 등 빅테크도 최근 다자간 보안 협의체 '프로젝트 글래스윙'을 공식 출범시키며 AI 모델의 취약점을 선제적으로 공유하고 공동 대응을 추진하고 있다.

◇ 미·영 안보 차원 AI 규제 가동…국정원도 개편 착수

영미권 국가들은 AI 산업을 이제는 국가 안보에 직결된 '전략 기술'로 규정하고 통제망을 바짝 조이고 있다.

미국 정부는 10의 26제곱 초당부동소수점연산(FLOPs) 이상의 컴퓨팅 파워를 사용해 훈련된 초거대 AI 모델의 학습 결과를 정부에 의무적으로 보고하도록 가드레일을 신설했다.

도널드 트럼프 미국 대통령의 강성 지지층인 마가(MAGA·미국을 다시 위대하게) 인사 60여명도 최근 AI 기술에 대해 강력한 규제를 요구하고 나섰다.

스티브 배넌 전 백악관 수석전략가를 비롯한 마가 인사 60명 이상은 강력한 AI 모델이 공개되기 전에 정부가 이를 검증하고 승인해야 한다고 촉구하는 서한을 백악관에 보내며 AI의 잠재적 위험성을 경고했다.

[AFP 연합뉴스 자료사진. 재판매 및 DB 금지]

영국 AISI 또한 주요 AI 모델을 대상으로 사전 안전성 평가를 의무화하고 있다. 이에 발맞춰 빅테크 내부에서도 공격자 관점에서 시스템을 검증하는 '레드팀'(red team) 테스트 비중이 대폭 확대됐다.

국내에서도 AI 보안 체계 개편 작업이 본격화했다.

국가정보원은 기존의 일률적인 망 분리 정책을 폐기하고, 데이터 중요도에 따라 보안 등급을 차등화하는 '다층보안체계'(MLS) 기반의 국가망보안체계(N2SF) 개편에 착수했다.

정부는 미토스 공개 직후 이동통신 3사와 네이버·카카오 등 주요 플랫폼사 최고정보책임자들을 소집해 긴급 현안 점검 회의를 여는 등 민관 AI 보안 논의를 확대하고 있다.

하지만 우리나라의 경우 AI 정책 환경이 여전히 '활용'과 '생산성'에 치우쳐 있다는 지적이 제기된다.

국내 AI 업계 관계자는 "미국과 영국은 이미 초거대 AI를 안보 자산 관점에서 접근해 정교한 통제 정책을 펴고 있지만 한국은 서비스 적용 논의가 주를 이루고 있다"며 "통제 가능한 고성능 AI를 얼마나 안정적으로 운영할 수 있느냐가 향후 AI 패권 경쟁의 성패를 가를 것"이라고 말했다.

president21@yna.co.kr

Copyright 연합뉴스 All rights reserved. 무단 전재 및 재배포 금지.