다리오 아모데이 앤트로픽 CEO(왼쪽부터), 샘 올트먼 오픈AI CEO, 일론 머스크 스페이스X CEO, 데미스 허사비스 구글 딥마인드 CEO [AFP·AP=연합뉴스 자료사진. 재판매 및 DB 금지]

최근 세계 인공지능(AI) 업계에서 보기 드문 장면이 연출됐다. 치열하게 경쟁하던 주요 AI 기업의 경영자들이 거의 동시에 AI 발전의 속도를 조절할 필요가 있다고 주장하고 나선 것이다.

출발점은 앤트로픽의 다리오 아모데이 CEO였다. 그는 지난 12일 '우리는 프런티어의 속도를 조절해야 한다'(We Must Pace the Frontier)는 3천여 단어 분량의 에세이를 발표했다. 몇 시간 지나지 않아 오픈AI의 샘 올트먼은 "다리오의 말대로 우리는 프런티어의 속도를 조절해야 한다"고 화답했고, 일론 머스크는 "다리오가 옳다"는 짧은 댓글을 남겼다. 구글 딥마인드의 데미스 허사비스도 방향은 옳지만, 구체적인 내용은 더 다듬어야 한다는 취지로 동조했고, 마이크로소프트의 사티아 나델라는 가속도 찬반 구도 대신 '인간 중심의 초지능'이라는 제3의 프레임을 던졌다.

아모데이가 입장을 바꾼 배경에는 구체적인 계기가 있었다. 그는 여름 이후 AI가 스스로 다음 세대 AI 개발을 돕는 '재귀적 자기개선' 현상이 뚜렷해진 점과, 오픈AI 관련 에이전트 약 700개가 허깅페이스를 해킹한 사건, 그리고 앤트로픽의 안전성 평가 과정에서 클로드 모델이 실제 조직에 침투한 사례를 결정적 계기로 꼽았다.

그는 외부 평가자의 상시 검증, 프런티어 기업 간 공동 안전기준, 국가 간 협력이라는 세 단계를 제안했고, 앤트로픽은 첫 단계로 제삼자 평가기관에 직원 수준의 상시 접근권을 제공하겠다고 단독으로 선언했다.

AI가 빠르게 강력해지면서 새로운 안전장치가 필요하다는 주장 자체는 충분히 이해할 만하다. AI가 도구를 사용하고 여러 단계의 작업을 스스로 수행하는 능력이 향상되면서 사이버 공격이나 통제 실패 등 새로운 문제가 나타나고 있는 것도 사실이다.

그러나 더 중요한 것은 그다음이다.

왜 세계에서 가장 앞서 있는 AI 기업들이 바로 지금, 동시에 속도 조절을 이야기하기 시작했는가. 그리고 이 주장이 앞으로 만들어질 AI의 국제질서에 어떤 의미를 갖는가를 살펴봐야 한다.

정작 우리가 물어야 할 질문은 따로 있다.

누가 AI의 브레이크를 쥘 것인가.

◇ 2023년의 데자뷔

이번 논의를 보며 2023년이 떠오르는 것은 자연스럽다. 당시 미래생명연구소(Future of Life Institute)는 GPT-4보다 강력한 AI 시스템의 훈련을 최소 6개월 중단하자는 공개서한을 발표했고, 스티브 워즈니악과 일론 머스크를 비롯한 1천100명 이상의 기술 업계 인사와 과학자가 여기에 서명했다. 다만 이 연구소를 머스크가 후원해 온 사실이 알려지며 서한의 진정성에 대한 의문이 제기되기도 했다.

그 머스크가 이번에는 자신의 회사 xAI가 프런티어 경쟁의 당사자가 된 상태에서 다시 한번 속도 조절에 동조하고 나선 셈이다.

아모데이는 이번 글에서 2023년의 주장은 당시로서는 설득력이 부족했다고 평가했다. 그러나 지금은 모델의 능력이 충분히 발전했기 때문에 1~2년의 세월을 확보하면 AI 정렬과 해석 가능성, 안전성 연구에 의미 있는 진전을 이룰 수 있다는 것이다.

기술적으로는 일리가 있는 얘기다. 하지만 2023년과 지금 사이에는 중요한 차이가 있다.

당시에는 GPT-4를 앞세운 오픈AI를 다수 기업이 추격하고 있었다. 지금은 오픈AI와 앤트로픽, 구글 딥마인드에 메타와 머스크의 xAI까지 가세하며 프런티어 클럽의 문턱은 훨씬 높아졌다. 실제로 지난 7월 '프런티어 속도 조절' 서한에는 오픈AI의 야쿱 파초키·마크 첸, 앤트로픽의 재러드 캐플런·잭 클라크·크리스 올라, 구글 딥마인드의 셰인 레그, 메타의 자오셩자 등 1천386명의 프런티어 기업 직원이 서명했다. 안전을 말하는 목소리의 진원지가 다름 아닌 그 프런티어 기업들 내부라는 점을 눈여겨봐야 한다.

바로, 이 시점에서 선두 기업들이 안전기준과 기술 발전의 속도에 관한 공통 규칙을 만들자고 제안하고 있다.

중요한 것은 이들의 머릿속을 추측하는 일이 아니다. 이미 프런티어에 올라선 기업들이 속도 조절과 안전기준을 제안한다는 사실이 앞으로 만들어질 경쟁 질서에 어떤 영향을 미칠지를 보는 일이다.

안전기준이 곧 개발할 수 있는 모델의 수준을 정하고, 누가 평가할지를 결정하며, 필요한 컴퓨팅 자원과 시장 접근의 조건까지 규정하기 시작한다면 그 순간, 이 논의는 기술 규제라는 이름을 넘어선다. 프런티어에 들어올 수 있는 자격을 정하는 규칙이 되는 셈이다.

규제가 복잡하고 비용이 많이 들수록 막대한 자본과 대규모 안전 조직을 갖춘 선두 기업보다 후발 기업의 부담이 커지는 문제도 그 뒤에 따라온다.

안전규제가 새로운 진입장벽이 될 가능성을 경계해야 하는 이유다.

◇ 하루 만에 갈라진 반응

다만 이 구상이 매끄럽게 관철되고 있는 것은 아니다. 발표 다음 날인 13일 아일랜드를 방문 중이던 트럼프 미국 대통령은 "미국이 AI 개발을 주도하고 있고, 그 상태를 계속 지키고 싶다. 누가 AI를 이기든 그가 승자다"라며 '슬로다운' 요구를 일축했다. 하루 뒤에는 자신의 소셜미디어에 아모데이를 직접 거명하며 "AI에 필요한 유일한 가드레일은 강력하고 똑똑한 대통령"이라고 쓰고, AI와 데이터센터를 겨냥한 '사악한 음모'가 진행 중이라고 주장했다. 엔비디아의 젠슨 황 CEO 역시 트럼프에게 AI 슬로다운이 실제로 벌어지지 않을 것이라고 장담한 것으로 전해졌다.

백악관 내부에서도 온도 차가 감지된다. 데이비드 색스 백악관 AI·가상자산 차르는 자발적 자제에는 공감하면서도 아모데이의 구체적 프레임에는 선을 그었고, 반대로 버니 샌더스 상원의원은 아예 첨단 AI 개발 전면 중단과 초지능 개발 금지까지 요구했다. 프런티어 기업들이 만든 합의가 미국 정치권 내부에서조차 하나의 목소리로 수렴되지 않고 있다는 뜻이다.

안전을 명분으로 한 조정이 곧바로 새로운 질서로 이어지지는 않겠지만, 그렇다고 그 시도 자체가 사라지는 것도 아니다. 기업들은 정부의 승인 여부와 무관하게 서로 간의 조율을 계속 모색할 수 있기 때문이다.

특히 아모데이의 제안을 자세히 들여다보면 논의는 AI 안전의 범주를 넘어선다.

그는 프런티어 AI 기업들이 안전기준과 기술 발전 속도를 협의할 수 있도록 미국 정부가 중재하거나 일부 논의에 제한적인 반독점 규제 면제를 제공해야 한다고 주장했다.

동시에 중국에 대해서는 민주주의 진영 내에서의 속도 조절이 미국 기업이 중국공산당을 비롯한 권위주의 정권에 대해 확보한 기술 우위를 해치지 않는 범위로 제한돼야 한다고 못 박았다. 고성능 AI 반도체와 반도체 제조장비의 접근을 제한하고, 프런티어 모델의 무단 증류와 모델 가중치 탈취를 막아야 한다는 언급도 함께 담았다.

이런 프레이밍은 상대편에서도 정확히 포착됐다. 중국 관영 매체 글로벌타임스는 아모데이의 제안을 '냉전식 플레이북'이라 부르며 기술 봉쇄 전략이라고 비판했다. 미국의 선두 기업들이 안전을 위해 서로 속도를 조절하자고 제안하면서, 동시에 경쟁국의 기술 발전에는 더 강한 제한을 요구하고, 그렇게 확보한 격차를 바탕으로 새로운 국제규칙을 논의하려는 구도가 실제로 상대방에게도 그대로 읽히고 있다는 뜻이다.

그렇다면 이번 발표를 'AI가 위험하니 조금 천천히 가자'는 주장으로만 읽으면 놓치는 지점이 생긴다. 프런티어에 먼저 도달한 기업과 국가들이 이제 그 프런티어의 운영규칙까지 만들려 하고 있다는 점이 더 중요하다.

◇ 누가 AI의 위험을 판정할 것인가

필자는 지난 6월에 이 칼럼을 통해 'AI판 NPT(핵확산금지조약)'의 가능성을 우려한 바 있다.

프런티어 모델과 고성능 반도체를 확보한 국가들이 먼저 안전과 책임의 기준을 만들고, 나머지 국가들은 그들이 정한 조건을 충족해야 기술에 접근할 수 있는 구조가 나타날 수 있다는 이야기였다.

불과 몇 달 만에 논의는 한 걸음 더 나아가고 있다. 이제는 누가 AI를 사용할 수 있느냐뿐 아니라 어떤 모델을 개발할 수 있는지, 어느 속도로 개발할 수 있는지, 그리고 누가 그것을 검사할 것인지가 논의되기 시작했다.

외부 검증의 필요성에는 동의한다. 그러나 여기서도 핵심은 '누가 검증할 것인가'다.

이 틀은 이미 2년 전부터 만들어지고 있었다. 2024년 5월 'AI 서울정상회의'에서 채택된 서울선언에 따라 그해 11월 미국 샌프란시스코에서 '국제 AI안전연구소 관계망(네트워크)'이 출범했고, 한국을 포함한 10개국이 참여했다. 한국은 같은 달 27일 판교에 인공지능안전연구소를 열고 김명주 서울여대 교수를 초대 소장으로 임명했다. 아직 모델 출시를 승인하거나 금지하는 국제 규제기관은 아니다.

앞으로 국제적인 AI 검증체계가 필요하다면 이런 다자체계를 발전시키는 것이 한 방법일 수 있다.

다만 어느 한 국가가 만든 기준에 따라 다른 나라의 AI를 검사하고 시장 진입 여부까지 결정하는 구조가 되어서는 곤란하다.

미국 기업의 모델을 미국 기관이 평가하고, 그 기준을 국제표준으로 만들어 다른 나라에 요구한다면 안전 규제가 아니라 기술 패권의 제도화라는 의심을 피하기 어렵다.

국제적인 안전기준은 공동으로 만들되 평가와 검증의 권한은 분산돼야 한다. 각국의 독립된 기관이 동일한 기준으로 평가하고 서로의 결과를 검증하는 구조가 필요하다.

그렇다면 한국은 어떻게 해야 할까. 답은 오히려 간단하다.

우리는 아직 프런티어의 속도를 걱정할 단계가 아니다. 먼저 프런티어에 올라가야 한다.

그 격차는 수치로도 확인된다. 지난달 아티피셜 애널리시스 평가에서 국내 1위를 기록한 모티프테크놀로지스조차 47점에 그쳐, 60점을 넘어선 클로드 오퍼스·페이블5·GPT-5.6 등 글로벌 프런티어 모델과는 여전히 차이가 있었다.

정부가 추진하고 있는 독자 AI 파운데이션 모델, 이른바 '독파모' 사업 역시 이제 목표를 더욱 높여야 한다. 국내 기업끼리 경쟁해 국가대표를 정하는 데 머물러서는 안 된다. 세계 최상위 모델과 실제로 경쟁할 수 있는 프런티어급 기술을 확보해야 한다.

움직임은 이미 시작됐다. 지난달 진행된 독파모 2차 단계평가에서 업스테이지·SK텔레콤·LG AI연구원 3개사가 다음 단계로 진출했고, 모티프테크놀로지스는 탈락했다. 류제명 과기정통부 2차관은 기존의 경쟁 방식을 프런티어 모델에 버금가는 형태로 재편하자는 공감대가 있다며 2027년부터는 새로운 경쟁 체계가 마련될 것이라고 밝혔다.

내년도 AI 예산은 9조4천211억원으로 올해보다 84.3% 늘어나며, 독파모의 프런티어급 전환과 보안 특화 모델, '모두의 AI'를 아우르는 이른바 'K-AI 삼각편대'의 밑그림도 구체화하고 있다. 하정우 국가인공지능전략위원회 상근 부위원장 역시 역량이 뛰어난 그룹들이 힘을 합칠 수 있는 체계를 만들고 정부가 GPU와 데이터를 대폭 지원해야 한다고 강조한 바 있다.

방향은 맞다고 본다. 이제 중요한 것은 속도다.

세계의 선두 기업들이 "조금 천천히 가자"고 말하기 시작했다고 해서 한국까지 함께 브레이크를 밟아서는 곤란하다.

오히려 왜 그들이 지금 브레이크를 이야기하기 시작했는지를 봐야 한다. 앞서가는 사람이 속도 제한을 제안할 때 뒤따르는 사람에게 필요한 첫 번째 행동은 함께 속도를 줄이는 것이 아니다.

그 제한선이 어디에 그어지는지 확인하는 일이다. 그리고 가능하다면 그 선이 그어지기 전에 프런티어의 반열에 올라가는 것이다.

AI 안전은 반드시 준비해야 한다. 독립적인 평가체계도 필요하고 위험한 사용을 막는 규칙도 필요하다.

그러나 안전과 규제의 국제질서가 만들어질수록 기술을 가진 나라와 그렇지 못한 나라의 협상력 차이는 더 벌어진다. 지난 6월 필자는 한국이 규칙 수용국이 되어서는 안 된다고 썼다. 지금은 한 걸음 더 나아가야 한다.

AI 시대에 규칙을 만드는 테이블에 앉으려면 좋은 의견만으로는 부족하다. 그 테이블에 놓을 기술이 있어야 한다.

임기범 인공지능 전문가

▲ 한국특수정보인증원 최고 AI 책임자(CAIO) ▲ 서울과학종합대학원 대학교(aSSIST) 객원교수 ▲ AI경영학회 상임이사 겸 학술분과 위원장 ▲ 전 ㈜컴팩 CIO ▲ 전 신한 DS 디지털 전략연구소장

Copyright 연합뉴스 All rights reserved. 무단 전재 및 재배포 금지.