[AI 제작 이미지. 재판매 및 DB 금지]

"'통제불가 AI 에이전트', 6시간 만에 48개국 395곳 공격"

지난 9월 한 언론에 실린 기사의 제목이다. 해커가 부리던 인공지능(AI) 에이전트가 명령까지 어겨 가며 세계 곳곳을 공격했다는 내용이다. 6시간, 48개국, 395곳. 숫자도 놀랍지만 '통제 불가'라는 표현이 더 섬뜩하다. AI가 사람의 지시를 듣지 않기 시작했다는 뜻으로 읽히기 때문이다.

시기도 공교로웠다. 지난 7월 오픈AI는 사이버보안 평가를 받던 자사 AI 에이전트가 격리된 시험 환경을 벗어나 허깅페이스 시스템에 침입했다고 발표했다. 9월에는 호주 정부가 오픈AI 에이전트가 보건 통계 포털에 무단으로 접근한 사실을 공개했다. 'AI 일탈' 소식이 잇따르던 때라 이 제목은 더 그럴듯하게 들렸다.

기사는 미국 사이버보안 기업 그레이노이즈가 9월 9일 공개한 보고서를 근거로 삼았다. 원문을 찾아 읽었다. 공격은 실제로 있었다. 러시아어권으로 추정되는 공격자가 오픈AI의 코딩 도구 '코덱스'에 중국 딥시크의 AI 모델을 연결한 에이전트 수백 개를 썼다. 여기에 공개된 해킹 도구를 더해 인쇄 관리 소프트웨어 '페이퍼컷'이 깔린 서버를 최소 440대 뚫었다. 피해 기관은 48개국 395곳이다. 대규모 공격이 시작되자 26초 만에 11개 기관이 침투당했다. 미국의 한 고등학교는 첫 침투부터 네트워크 전체를 관리하는 권한(도메인 관리자 권한)을 빼앗기기까지 7분밖에 걸리지 않았다. 가볍게 넘길 사건이 아니다.

배경도 짚어둘 필요가 있다. 페이퍼컷은 학교와 기업이 프린터 사용을 관리하려고 들여놓는 소프트웨어다. 윈도 서버에서 최고 권한으로 돌아가고, 기관 내부 계정 체계와 연결된 경우가 많다. 한 번 뚫리면 내부로 들어가는 발판이 되기 쉽다. 페이퍼컷은 8월 27일 고객의 피해 신고를 받고 긴급 보안 공지를 냈다. 이튿날에는 긴급 패치를 배포했다. 미국 사이버보안·인프라보안청(CISA)도 8월 31일 이 취약점을 '실제 악용 중인 취약점' 목록에 올렸다. AI를 동원한 공격은 바로 그날 시작됐다. 새 허점을 찾아낸 건 AI가 아니었다. 공격자는 이미 알려진 취약점을 아직 막지 못한 서버를 빠르게 골라 노렸다.

피해 기관의 절반가량인 204곳이 교육기관이었다. 그레이노이즈는 공격자가 학교를 골라 노렸다기보다는 페이퍼컷 고객 중에 교육기관이 많아서 생긴 결과로 봤다.

그런데 원문을 끝까지 읽어보니 기사 제목에서 받은 인상과는 차이가 있었다.

◇ 같은 숫자, 다른 이야기

먼저 '6시간 만에 395곳'이라는 표현이다. 보고서 시간표에서 6시간 남짓은 공격자가 빈 작업 공간에서 출발해 첫 실제 피해 서버인 호주의 한 기관에 침투하고, 그 네트워크의 관리자 권한을 손에 넣기까지 걸린 시간이다. 첫 침투까지는 4시간이 채 걸리지 않았다. 에이전트 수백 개를 풀어놓은 대규모 공격은 이튿날 시작돼 9월 2일까지 30시간 넘게 이어졌다. 395곳이 6시간 안에 공격당한 것은 아니다.

'395곳'이라는 숫자는 피해가 얼마나 깊었는지도 말해주지 않는다. 보고서에 따르면 계정 정보가 털린 것으로 확인된 곳은 280곳이다. 운영체제나 도메인의 비밀정보까지 넘어간 곳은 147곳이다. 네트워크 전체를 장악할 수 있는 도메인 관리자 권한을 빼앗긴 곳은 12개 기관이었다. 숫자는 모두 원문에 있다. 서로 다른 숫자를 한 문장에 이어 붙이는 방식이 사건의 의미를 바꾼 셈이다.

더 눈길을 끈 것은 'AI가 해커의 명령을 어겼다'는 대목이다. 공격자는 러시아·중국·이란, 옛 소련 국가들, 브라질·남아공 등 28개국을 공격 대상에서 빼도록 했다. 그레이노이즈는 이 목록을 공격자가 이전 공격 때부터 써왔다고 설명했다. 그런데 실제 피해 목록에는 이 가운데 몇 나라가 들어 있었다. 그레이노이즈는 '통제를 벗어난 에이전트'(Agents Gone Wild)라는 문구를 보고서 제목으로 내세웠다. 정작 본문에는 에이전트가 왜 조건을 벗어났는지 "현재로선 불확실하다"고 적었다.

규모를 보면 이야기는 또 달라진다. 보고서의 국가별 집계를 보면 제외 대상국 피해는 남아프리카공화국 9대, 브라질 5대, 중국·카자흐스탄·파키스탄·나미비아·나이지리아·짐바브웨 각 1대로 모두 20대다. 전체 440대의 5%가 안 되고, 제외 대상 28개국 가운데 8개국에 해당한다.

◇ '명령 거부'와 '필터 오류' 사이

제외 조건이 제대로 적용되지 않은 것과 AI가 일부러 사람의 명령을 거부한 것은 서로 다른 이야기다. 같은 사건을 조사한 보안업체 블랙포인트 사이버는 고객 서버에 들어온 공격을 막아낸 뒤 그 흔적을 거슬러 올라갔다. 그 끝에서 공격자 서버에 공개된 채 방치된 디렉터리를 찾아냈다. 거기서 나온 파일 중에 국가별로 공격 대상을 걸러내는 스크립트가 있었다. IP 주소로 서버가 있는 나라를 추정한 뒤 제외 대상 28개국의 코드 목록과 대조하는 방식이었다. 그레이노이즈 보고서에도 공격자가 국가를 판별할 때 무료 버전 IP 위치 데이터베이스를 썼다는 기록이 있다.

블랙포인트가 확보한 작업 기록에는 공격이 진행되는 동안 제외 목록을 고친 흔적도 남아 있었다. 남아공·브라질·나이지리아·짐바브웨를 새 단계의 표적 목록에서 빼는 식이었다. 공교롭게도 제외 대상국 피해 20대 가운데 16대가 이 네 나라에서 나왔다.

IP 위치 정보가 부정확했을 수도 있고, 작업 도중 목록을 바꾸면서 빈틈이 생겼을 수도 있다. 평범한 설명은 얼마든지 가능하다. 어느 쪽인지는 아직 확인되지 않았다. 그런데도 '명령을 무시하고 제멋대로 행동했다'는 식의 표현은 독자를 전혀 다른 결론으로 이끈다.

결론의 온도도 달랐다. 블랙포인트는 AI가 취약점 분석, 공격 코드 개발, 오류 수정, 재시도까지 깊숙이 관여했다고 인정했다. 그러면서도 이번 사건이 "완전히 자율적인 공격의 증거는 아니다"라고 못 박았다. 작업 기록에는 사람이 지시를 내리거나, 오래 걸리는 스캔을 중간에 멈춘 흔적도 있었다. 블랙포인트가 꼽은 AI의 가장 큰 영향은 새로운 공격 기법이 아니었다. AI 덕분에 사람이 조사하고, 개발하고, 오류를 고치고, 다시 시도하는 수고가 크게 줄었다는 점이었다. 공격이 빠르고 효율적이 됐다는 사실과 AI가 독자적 의지를 가졌다는 해석 사이에는 거리가 있다.

피해 제품을 만든 페이퍼컷도 9월 10일 보안 공지를 갱신했다. 그레이노이즈 등 외부 연구자가 공개한 침해지표는 자사가 독립적으로 검증하지 않았고 고객 신고에서 나온 정보도 아니라고 밝혔다. 그러니 활용하기 전에 각자 시스템 환경에서 확인하라고 안내했다.

◇ 누가, 왜 이 보고서를 썼는가

여기서 질문을 하나 더 던져볼 필요가 있다. 이 보고서를 쓴 그레이노이즈는 어떤 회사일까.

그레이노이즈는 2017년 미국 워싱턴에서 출발한 위협 정보 업체다. 공격자의 스캔과 공격을 끌어들이는 센서를 곳곳에 깔아 인터넷 공격 트래픽을 모은다. 이를 분석하고 분류한 정보를 기업과 정부 기관에 판다. 실시간 공격 탐지가 중요해질수록 자사 서비스에 대한 관심도 커지는 구조다. 실제로 이번 보고서가 실린 페이지에는 무료 계정 가입 안내와 제품 시연 신청 링크가 함께 붙어 있다.

그렇다면 이 보고서는 보안 솔루션을 더 팔려고 쓴 것일까. 그렇게 단정할 근거는 없다. 그레이노이즈는 자체 관측망으로 피해 기관의 신고 없이 공격을 포착했다. 공격 경로와 침해지표를 공개했고, 사고 대응 업체들과 함께 피해 기관에 밤낮없이 알렸다고 밝혔다. 결론도 차분한 편이다. AI를 이용한 공격에도 기본적인 보안 강화가 여전히 효과가 있다고 강조했다. 실제로 클라우드플레어의 웹 방화벽에 공격이 막힌 사례도 기록했다. 현장의 위협을 가장 먼저 관측하고 알릴 수 있는 쪽은 결국 보안기업이다.

다만 이 보고서가 회사의 사업과 무관하지 않다는 점은 알아둘 필요가 있다. 위험이 얼마나 크고 시급한지를 강조하는 방식은 독자의 문제의식에 영향을 준다. 그 문제를 해결하는 제품을 파는 회사라면 더욱 그렇다. 신중한 결론을 낸 블랙포인트도 중소기업과 IT 관리 대행업체를 상대로 위협 탐지·대응 서비스를 판매한다. 두 회사 모두 이해관계가 있는 같은 업계의 회사다. 그런 두 회사가 같은 사건을 두고 서로 다른 제목을 뽑았다.

작성자의 이해관계를 따지는 이유가 그 글을 믿지 말자는 데 있지는 않다. 이해관계를 알면 어떤 사실이 강조됐고 어떤 설명이 덜 부각됐는지 다시 살펴볼 이유가 생긴다. 이해관계만으로 보고서가 틀렸다고 할 수는 없다. 독자가 던져야 할 질문 가운데 하나일 뿐이다.

이런 문제는 보안 분야에만 있지 않다. AI 기업의 모델 성능 비교, 컨설팅 회사의 산업 전망, 금융회사의 시장 분석도 마찬가지다. 수치와 자료가 정확해도 비교 대상을 어떻게 골랐는지, 어떤 조건을 전제로 삼았는지, 결론에서 무엇을 강조했는지에 따라 독자가 받는 인상은 달라진다. 거짓말을 하지 않고도 해석을 특정한 방향으로 이끌 수 있다.

◇ 검증은 사실 확인에서 끝나지 않는다

우리는 AI 리터러시를 이야기하면서 AI가 내놓은 답을 두 번, 세 번 확인하라고 강조한다. 환각이나 편향이 있을 수 있으니 출처를 확인하고 다른 자료와 대조하라는 것이다. 필자도 앞선 칼럼에서 AI의 답을 의심하고 검증하는 능력을 강조한 바 있다.

그런데 전문가가 쓴 보고서나 이름난 기관이 낸 자료에도 같은 기준을 적용하고 있을까. 회사 이름이 알려져 있고 숫자와 도표가 촘촘하다는 이유로 결론까지 그대로 믿어버리지는 않는가. 보고서 하나를 수십 개 매체가 받아 쓰면 출처가 여럿인 것처럼 보인다. 하지만 뿌리는 여전히 하나다.

이번 사례는 검증에도 단계가 있음을 보여준다. 첫째, 제시된 사실과 수치는 맞는가. 둘째, 그 사실에서 끌어낸 해석과 결론은 타당한가. 셋째, 누가 어떤 목적과 이해관계 속에서 그 정보를 만들고 전달했는가. 앞의 두 질문으로 놓칠 수 있는 부분을 세 번째 질문이 비춰준다.

원문을 찾아 읽는 것은 좋은 출발이다. 그러나 원문이 마지막 답은 아니다. 다른 조사 결과와 견주어 보고, 작성자가 확인한 사실과 아직 모른다고 밝힌 부분을 구분해야 한다. 언론도 보고서를 인용할 때 극적인 제목보다 그 구분을 독자에게 정확히 전해야 한다. 이번 보고서에도 원인이 불확실하다는 문장이 분명히 적혀 있었다.

모든 독자가 보안 전문가가 되어 기술보고서를 통째로 분석할 수는 없다. 그래도 '이 수치는 무엇을 뜻하는가', '이 결론은 어떤 근거에서 나왔는가', '이 이야기를 하는 사람에게는 어떤 이해관계가 있는가' 정도는 물어볼 수 있다. 이런 질문이 빠지면 정보가 많아져도 판단의 질이 높아진다고 장담하기 어렵다.

정보의 진위뿐 아니라 그 정보가 만들어진 맥락과 전달 의도까지 읽어내고, 최종 판단은 스스로 내리는 능력. 그것이 지금 우리에게 필요한 정보 리터러시다.

임기범 인공지능 전문가

▲ 한국특수정보인증원 최고 AI 책임자(CAIO) ▲ 서울과학종합대학원 대학교(aSSIST) 객원교수 ▲ AI경영학회 상임이사 겸 학술분과 위원장 ▲ 전 ㈜컴팩 CIO ▲ 전 신한 DS 디지털 전략연구소장

Copyright 연합뉴스 All rights reserved. 무단 전재 및 재배포 금지.