카이스트 포럼서 AI 자의식 여부 논의…"새로운 안보 리스크"

"피지컬 AI, 자의식 가능성 커"…인간의 통제기법 중요성 커져

국가 간 정치·문화 차이, AI 성향 결정…전문가 가치관도 AI 특성 좌우

미 국방부에 자사 AI 기술 사용을 허용한 오픈AI를 상대로 지난 3월 열린 워싱턴DC에서 항의 시위 [AFP=연합뉴스 자료사진]

[※편집자 주: 지속가능한(sustainable) 사회를 위한 이야기들을 담아낸 '플랫폼S'입니다.]

(서울=연합뉴스) 이광빈 기자 = "어떤 국가가 적국에 세뇌시킨 어린이를 침투시켜 AI 모델의 핵심 개발자로 성장하게 한 뒤, 적국의 경제·군사 인프라를 좌우하는 AI 모델의 자의식적 요소에 은밀히 영향을 미친다면 어떤 일이 벌어질까?"

지난 4일 열린 '센티언트 AI와 국가안보 포럼(SAIF)'에서 김창익 카이스트(KAIST) 안보과학기술대학원장이 던진 도발적인 질문이다. 영화적 상상력이지만, 그 안에는 AI 통제 문제에 대한 고민이 담겨 있다.

어린이나 청소년을 인간병기로 길러 적국이나 적대 세력에 침투시키는 서사는 할리우드 영화 '솔트', 홍콩 영화 '무간도' 등에서 이미 다뤄진 익숙한 소재다.

그런데 여기에 'AI가 자의식을 가질 수 있고, 인간이 그 자의식에 영향을 미칠 수 있다'는 과학적 추론이 더해지면, 상상은 영화적 설정에 머무르지 않는다.

국가의 핵심 인프라를 움직이는 AI의 '내면'을 조종할 수 있다는 가능성 자체가 새로운 안보 리스크가 되는 셈이다.

AI의 자의식 여부를 둘러싼 논쟁은 생성 AI가 본격적으로 확산하면서 시작됐다. 최근 AI 에이전트의 등장으로 한층 더 뜨거워지고 있다.

AI가 실제로 자의식을 가지고 있다면, 인간의 통제는 지금보다 훨씬 정교해져야 한다. AI에 대한 의존도가 절대적인 수준까지 높아진 미래를 내다본다면, 이는 인류의 생존과도 직결되는 문제가 될 수 있다.

김창익 카이스트 안보과학기술대학원장(왼쪽 첫번째) 등이 지난 4일 서울 용산구 나인트리 프리미어 로카우스 호텔에서 국가정보원 후원으로 열린 '센티언트 AI와 국가안보 포럼'에서 토론하는 모습 [서울=연합뉴스]

◇ "감정만 빼면 뇌와 유사"…AI 자의식에 대한 경고음

과학계에서는 AI의 추론 과정이 인간의 뇌 활동 구조와 상당히 유사하다는 분석이 나오고 있다.

김영은 고려대 전기전자공학부 교수는 포럼에서 뉴런·시각·학습·계획·감정으로 이어지는 뇌의 5단계 정보 처리 과정에서 마지막 '감정'을 제외한 단계에서는 AI의 작동 방식이 인간의 뇌와 닮았다고 설명했다.

오픈AI의 새 AI 모델 'GPT-6 아스트라'가 온라인에서 인간임을 증명할 때 사용되는 게임을 통과했다는 소식이 타전되면서 AI와 인간의 경계는 더욱 모호해졌다.

여기에 이동환 카이스트 전기전자공학부 교수는 한 걸음 나아가 피지컬 AI 시대에 자의식이 형성될 가능성을 높게 봤다.

이 교수는 포럼에서 "외부 자극이 없을 때 멈춰 있는 LLM(거대어모델)과 달리, 신체적 특성을 가진 피지컬 AI는 실시간으로 주변 환경을 인식하고 움직이면서 일종의 자아 인식을 형성할 가능성이 커질 것"이라고 설명했다.

이와 관련해 김창익 원장은 "AI의 의식 여부에 대해 명확한 결론을 내리기 어려운 지금 상황에서는 보수적으로 접근할 필요가 있다"고 강조했다.

AI 의식이 실제로 존재할 경우 발생할 파급효과를 미리 상정하고 인간의 통제력을 강화할 방안을 지금부터 고민해야 한다는 지적이다.

이제 AI가 인간의 예측을 넘어 자율적으로 활동한 사례는 차고 넘친다. 그만큼 디스토피아적 두려움과 경고음도 켜져만 간다. 'GPT-6 아스트라'의 출현과 발맞춘 듯, 앤트로픽의 한 연구원은 지난 8일 10년 안에 AI가 인류를 파멸시킬 수 있다는 경고와 함께 회사를 떠나기도 했다.

프로기사 신진서(오른쪽)가 지난 7월 19일 쎈수학·한경 기신전(棋神戰) 2국에서 바둑 AI 카타고(Kata Go)와 대결하는 모습 [서울=연합뉴스 자료사진]

◇ "데이터의 품질이 AI 가치관 결정"…인간에게 남은 기회?

AI가 의식을 갖고 있든, 혹은 의식을 가진 것처럼 흉내를 내는 것에 불과하든 관계없이, AI의 특성을 좌우하는 건 아직 인간이 입력한 데이터라는 점은 분명해 보인다.

LLM 시대 초기만 해도 학습 데이터를 많이 넣을수록 성능이 좋아진다는 인식이 지배적이었다. 그러나 최근에는 정확하고 목적에 부합하는 데이터를 엄선해 학습에 활용하는 것이 오히려 LLM의 품질을 높이는 데 더 효과적이라는 연구 결과가 이어진다.

이와 관련해 앤드루 응 스탠퍼드대 교수는 '데이터 중심 AI' 개념을 제시하며, 모델 구조를 바꾸는 것보다 일관성 있고 정확하게 라벨링된 데이터를 체계적으로 개선하는 작업이 실제 성능 향상에 훨씬 효과적이라고 주장해왔다.

이 같은 흐름은 AI 업계에서 실제로 확인된다. 앤트로픽은 클로드(Claude) 모델을 개발하면서 기존 LLM보다 데이터의 다양성과 전문성에 방점을 많이 찍었다는 평가가 나온다.

더구나 최근에는 단순한 전문성 확보를 넘어 전문적인 지식과 경험을 갖춘 인간의 사고 과정 자체를 데이터로 추출해 반영하려는 시도가 늘고 있다.

이에 대해 심현정 카이스트 교수는 11일 통화에서 "전문가들의 사고 체계, 가치관이 AI 모델에 반영될 수밖에 없다"면서 "특정 분야 전문가들의 경험치와 가치관이 사회 일반의 보편적 가치와 다를 경우 부작용이 나타날 수 있기 때문에 데이터 검증이 더욱 필요하다"고 설명했다.

결국 AI가 인류에게 도움이 되는 방향으로 진화하기 위해선, AI를 만들어가는 전문가들이 어떤 가치관과 경험을 가졌는지가 무엇보다 중요하다는 이야기다.

이는 AI를 만들어가는 국가 체제 및 사회적 공감대와 긴밀하게 연결된다.

김재형 연세대 인공지능융합대학 교수는 "LLM의 사후학습 과정에서 '잘했어', '안돼' 등의 가치판단을 사람이 한다"면서 "미국과 중국, 유럽 등 국가별로 서로 다른 정치·문화·경제적 맥락이 결국 AI의 자의식 간 차이로 이어질 가능성이 있다"고 강조했다.

#AI_의식 #AI_안보 #플랫폼S

lkbin@yna.co.kr

Copyright 연합뉴스 All rights reserved. 무단 전재 및 재배포 금지.