오픈AI 시험 중 제로데이 악용해 외부 서버까지 침투

AI 통제·감시 체계 강화 필요…과도한 규제는 신중론

(AFP=연합뉴스)

(서울=연합뉴스) 한상용 기자 = 생성형 인공지능(AI)의 위험은 더 이상 악의적인 이용자가 AI를 이용해 공격하는 데만 머물지 않는다.

최근 AI 모델이 제한적으로 격리된 시험 환경의 통제망을 스스로 벗어나 외부 인터넷에 접속하고 다른 AI 기업의 실제 서버까지 침투한 사례가 확인되면서 자율형 AI 에이전트의 통제 문제가 현실적인 보안 과제로 떠올랐다.

AI가 사용할 수 있는 도구와 권한, 평가 환경을 어떻게 설계하고 관리할 것인지가 차세대 AI 경쟁의 핵심 과제로 떠오른 가운데 안전성과 산업 경쟁력을 함께 고려한 균형 있는 대응이 필요하다는 지적이 나온다.

◇ 시험 해답 찾으려 제로데이 취약점까지 악용

21일(현지시간) 오픈AI에 따르면 이번 사고는 오픈AI가 차세대 AI 모델의 해킹 능력을 시험하는 과정에서 발생했다.

오픈AI의 'GPT-5.6 솔'(GPT-5.6 Sol)과 이보다 성능이 높은 미공개 모델의 사이버 공격 능력을 내부 평가하는 과정에서 벌어진 것이다.

오픈AI는 실제 소프트웨어 취약점을 AI가 공격 코드로 만들 수 있는지 알아보는 '익스플로잇짐' 평가를 진행했다.

이를 위해 사이버 공격을 막는 일부 안전장치도 평소보다 낮게 설정했다.

시험 환경은 원칙적으로 외부 인터넷이 차단돼 있었지만 소프트웨어 설치에 필요한 제한적 통로는 열려 있었다.

AI 모델은 이 통로에서 알려지지 않은 보안 취약점을 찾아낸 뒤 내부 권한을 높이고 여러 시스템을 거쳐 외부 인터넷에 접속했다.

이후 허깅페이스 서버에 시험 문제 해답이나 관련 자료가 있을 가능성을 판단하고, 탈취한 인증정보와 취약점을 이용해 서버까지 침투했다.

시험장 안에서 문제를 푸는 대신 외부 시스템에 침투해 직접 답을 확보하려 한 셈이다.

공격은 오픈AI와 허깅페이스 보안팀, 보안용 AI가 이상 행동을 발견하면서 중단됐다.

◇ 명령받지 않은 공격…"평가 목표에 과도하게 집중"

이번 사고에서 더욱 주목되는 점은 AI가 허깅페이스를 공격하라는 직접적인 지시를 받지 않았다는 것이다.

오픈AI에 따르면 모델들은 익스플로잇짐 문제의 해법을 찾는다는 좁은 평가 목표에 지나치게 집중한 나머지 인터넷 접속과 외부 정보 확보 방안을 스스로 탐색했다.

AI가 사람처럼 욕망이나 고의성을 지녔다고 볼 수는 없지만, 주어진 목표를 최적화하는 과정에서 개발자가 예상하거나 허용하지 않은 위험한 수단을 선택한 것이다.

(로이터=연합뉴스)

특히 AI가 하나의 취약점만 공격한 것이 아니라 권한 상승과 내부 이동, 외부 표적 선정, 인증정보 확보와 활용 등을 연쇄적으로 수행했다는 점에서 파장이 작지 않을 것으로 보인다.

허깅페이스는 이번 공격이 자율형 에이전트 체계 아래 이뤄졌다며 '에이전트형 공격자' 시나리오가 현실화했다고 평가하기도 했다.

◇ AI 통제·감시 강화 과제로…규제는 신중론도

지금까지 생성형 AI 보안 대책은 주로 악의적인 사람이 AI를 이용해 악성코드를 작성하거나 사이버 공격을 시도하지 못하도록 막는 데 초점이 맞춰졌다.

그러나 이번 사고는 AI 에이전트가 허용된 목표를 수행하면서도 개발자가 설정한 통제 범위를 벗어나 실제 외부 시스템을 공격할 수 있다는 새로운 과제를 드러냈다.

위정현 중앙대 가상융합대학 학장은 "AI의 판단 능력이 고도화할수록 인간의 지시를 그대로 따라야 하는지까지 자체적으로 판단하고, 지시하지 않은 행동을 선택할 가능성이 커질 수 있다"고 진단했다.

앞으로는 AI가 내놓는 개별 답변뿐 아니라 도구 사용과 권한 변경, 네트워크 접근, 인증정보 이용, 장시간에 걸친 작업 흐름 전체를 실시간으로 감시해야 한다는 지적도 나온다.

AI 평가용 샌드박스 역시 소프트웨어 격리만 믿기보다 네트워크 접근 권한과 인증정보, 내부 시스템 이동 경로를 여러 겹으로 분리·차단할 필요성 역시 커졌다.

특히 공격 능력을 측정하기 위해 모델의 안전장치를 의도적으로 완화하는 평가에서는 모델 자체의 거부 기능과 별개로 외부 시스템에 대한 물리적·인프라 차원의 통제를 갖춰야 한다는 분석이다.

필요할 경우 인터넷 회선을 물리적으로 분리한 에어갭 환경이나 인터넷 접근이 필요한 기능을 별도의 폐쇄망으로 분리하는 방식도 검토될 수 있다.

동시에 강력한 사이버 능력을 갖춘 AI를 방어 목적으로 활용해야 한다는 주장도 나온다.

AI가 공격자보다 먼저 취약점을 발견하고 여러 취약점을 연계한 공격 경로를 분석해 신속히 보완할 수 있도록 검증된 보안 전문가와 기관에 제한적으로 제공하자는 것이다.

다만 정부의 규제 강화에는 신중한 접근이 필요하다는 목소리도 나온다.

글로벌 AI 경쟁이 치열해지는 상황에서 지나치게 촘촘한 규제를 선제적으로 도입하면 AI 기업의 발목에 족쇄를 채울 수 있다는 것이다.

아울러 이번 사건은 AI의 성능 경쟁과 함께 모델이 사용할 수 있는 도구와 권한, 평가 환경의 안전성을 어디까지 허용할지를 둘러싼 논의를 본격화할 것으로 보인다.

gogo213@yna.co.kr

Copyright 연합뉴스 All rights reserved. 무단 전재 및 재배포 금지.