인공지능은 정말 보안에 취약한가?

얼마 전 콘텐츠를 제작하는 회사에 다니는 지인으로부터 불평불만을 접수했다. 회사가 사적 AI의 사용을 금지하고 회사에서 지급하는 비즈니스 계정 제미나이로 통합했다는 내용이었다. 그 지인은 ‘다시 처음부터 개인화를 하려고 보니 효율이 너무 떨어진다’며 ‘회사에 대체 왜 그러느냐고 물어봤더니, 보안 때문이라고 하더라. 우리가 인공지능에게 제공하는 모든 정보가 새어 나갈 수 있다는데, 이게 사실이냐’라고 물었다. 실제로 대부분의 회사들이 ‘닫힌(폐쇄형) 비즈니스 계정’으로 외부 AI를 사용하거나 몇몇 회사는 자체 개발 AI 모델을 사용한다. 그런데, 정말 이 정도로 신경 써야 할 만큼 인공지능에 제공하는 우리의 정보들이 취약한가?

대개 우리는 새는 것은 물이라고 생각한다. 물을 엎질렀다면 닦아내면 된다. 하지만 인공지능(AI)에 흘린 정보는 물이 아니라 벨벳 천에 떨어뜨린 염료에 가깝다. 한번 스며들면 아무리 닦아내도 배어들어 남는다. 다 닦은 것 같은데, 미세하게 남아 시간이 지나면 드러난다. 문제는 우리가 이 염료를 너무 쉽게 붓고 있다는 데 있다. 회사 회의록, 미공개 보고서, 개발 중인 코드, 고객 명단, 개인의 건강 고민, 자녀의 사진, 업무용 화면 공유까지. 질문하면 답변만 하고 잊는 것 같지만 그렇지 않다. 인공지능은 스며든 정보를 기록하고 연결하고 활용한다. 서비스마다 일부 차이는 있으나, 예를 들어 오픈AI가 제공하는 챗GPT의 일반 개인 계정은 사용자의 입력 자료가 모델 개선 및 학습에 사용되는 것이 기본 설정이다. 설정을 통해 이 기능을 끌 수 있지만 그렇다고 과거에 학습된 데이터까지 되돌릴 수는 없다. 이미 스며들었기 때문이다. 한편, 학습에 안 쓴다고 해서 저장까지 하지 않는 것은 아니다. 일반적으로 보안이나 법적 의무 이행 등을 위해 일정 기간 보관하고 삭제한다. 업로드한 파일도 대화와 별도로 라이브러리에 남을 수 있다. 대화를 삭제한다고 해서 파일이 삭제되는 것은 아니다.

비즈니스 계정은 그래도 데이터를 모델 학습에 쓰지는 않는다고 밝히고 있다. 그러나 마찬가지로 서비스 제공, 기능 작동, 보안 목적, 규제 준수 의무 등을 위해 계약상 경계 안에서 데이터를 처리, 저장한다. 게다가 이제 AI 서비스는 챗봇에서 에이전트로 발전하고 있다. AI가 이메일을 읽고 일정을 잡고 결재 문서를 작성하고 데이터베이스를 조회하며 외부 서비스의 API를 호출한다. 물품도 구매하고 차표도 예약하며 세금도 신고한다. 이 경우 AI는 실제 권한을 위임받은 행위자로서 기능한다고 봐야 한다. 앞으로 더 큰 권한을 갖게 될 이 AI를 우리는 신뢰할 수 있는가? 아직 그렇다고 말하기 어렵다. AI 산업은 안전 중심이라기보다 경쟁 우위를 선점하기 위한 발전 중심으로 움직이고 있기 때문이다. 더 빠른 모델, 더 강한 추론, 더 긴 문맥 파악, 더 많은 도구 사용, 더 낮은 비용이 시장의 핵심 언어다. 대중 앞에서 안전은 중요하게 언급되지만 실제 생존 경쟁을 마주한 입장에서 안전은 늘 뒤로 밀릴 위험이 있다. 느린 AI, 부정확한 AI는 시장에서 도태된다. 더 많은 사용자와 더 많은 데이터를 원하고 더 많은 영역에서 쓰이기를 원할 수밖에 없다. 그래서 유럽연합과 우리나라를 포함해 여러 국가가 인공지능 규제법을 제정하기 시작했지만 여전히 경쟁과 혁신을 우선해야 하는 딜레마에 빠져 있다. 안전을 고려했다가 뒤처져서 더 큰 위험을 마주할 수는 없기 때문이다.

이런 상황이지만, AI를 쓰지 않을 선택권은 없다. 개인도 조직도 국가도 마찬가지다. AI를 쓰는 사람과 쓰지 않는 사람, 소버린 AI를 가진 국가와 그렇지 않은 국가는 앞으로 좁힐 수 없는 초격차를 보이게 될 것이다. 상징적인 예로 삼성전자는 2023년 챗GPT에 의한 내부 소스코드 유출로 생성형 AI 사용을 전면 제한했지만 2026년에 이르러 우선 완제품 부문을 중심으로 외부 생성형 AI 서비스를 공식 허용했다. 교육 이수, 권한 부여, 민감영역 제한 등의 통제를 조건으로 걸었다. 쓰지 않을 수는 없고 통제하면서 쓰자는 것이다. 국가적 경쟁은 더욱 치열하다. 미국 국방부는 이미 전략, 전술, 행정 등 전 영역에서 자국 기업의 AI를 적극 활용하고 있다. 이 과정에서 앤트로픽(Anthropic)은 안전과 윤리를 고려해 군사적 활용 범위를 전면 개방하라는 정부의 요청을 수용하지 않았고 국방부는 앤트로픽을 공급망 위험 기업으로 지정했다. 이제 AI는 국가안보 차원의 전략 자산으로 자리매김한 셈이다.

이러한 패러다임의 변화는 AI가 사이버보안 분야에서 인간 해커를 넘어서는 역량을 보이며 더욱 빨라지고 있다. 최근 공개된 프런티어 AI 모델들은 사이버보안 영역에서도 고급 전문가의 판단과 수행 능력에 근접하고 있다는 평가를 받고 있다. 실제로 앤트로픽의 미토스 5, 오픈AI의 GPT-5.5는 이제 고급 해커가 20시간은 걸려야 성공할 수 있는 수준의 해킹 시나리오를 혼자 풀어내기 시작했다. 더 큰 문제는 이러한 AI의 보안 장치가 6시간 만에 모두 뚫렸다는 점이다. 조금 과장되게 말하자면 범죄집단이나 테러단체 또는 적국의 해커가 미션 임파서블 파이널 레코닝에 나오는 초인공지능 엔티티를 조작해 대(大)해킹 시대를 열 수도 있다는 의미다. 결국 미국 정부는 모든 외국 국적자의 앤트로픽 최신 모델 접근을 전면 차단하는 강수를 뒀다. 우리나라를 포함한 전 세계 정부는 대체 서비스를 모색하는 등 대응책을 마련 중이다.

이 거대한 국가 단위 생존 경쟁과 초국적 빅테크 기업의 기술력 앞에서 개인은 무력하기만 하다. 앞으로 인공지능 기술 경쟁은 계속 커질 것이다. 서비스 관점에서는 기업이나 기관 고객에 초점을 맞춘 관리형 AI가 증가할 것이다. 데이터 학습은 계약에 의해 제한된다. 그래도 인공지능 경쟁에서 승리하려면 적어도 지금의 기술 수준에서는 양질의 데이터를 더욱 방대하게 수집할 수 있어야 한다. 그렇다면 이 데이터를 어디서 수집하게 될까? 개인이 입력하는 데이터, 사이버공간에 공개된 웹상의 데이터, 플랫폼에서의 활동, 기기를 통해 수집되는 이미지와 음성, 그리고 수많은 일상의 흔적에서 올 수밖에 없다.

그래서 우리는 무엇을 해야 하는가? AI를 이해하고 나를 지키며 잘 사용하는 법을 익혀야 한다. AI는 단순한 대화 상대가 아니다. 우리가 입력하는 질의와 데이터는 바다 건너 다른 나라 기업의 서버 안에 있는 칩에 녹아든다. 알지도 못하는 관리자의 권한과 법적 규제가 작용하는 세계로 정보를 보내는 일이다. 그러니 현실 세계에서 민감하다고 생각하는 정보, 남에게 보여줄 수 없는 정보는 AI에게도 보여주지 않아야 한다. 집 주소, 주민등록번호, 계좌번호 등은 물론 특정 중요 업무 일정, 사내 조직도, 거래처명, 내부 의사결정 과정, 소스코드, 회의 참석자 명단 등은 현실에서 함부로 공개하지 않는다. 서비스가 입력 데이터를 학습하는지 여부도 확인하고 원하지 않는 경우 설정을 제한해야 한다. 내가 쓰는 서비스도 문제지만 공개된 웹상에서의 활동도 고려해야 한다. 무심코 올려둔 게시글에 포함된 내 개인정보는 셀 수 없는 AI 봇이 부지불식간에 수집한다고 봐야 한다. 앞으로 AI는 그간 반말로 명령했던 나, 여러 웹상에서 거친 댓글을 달고 다녔던 나를 예의 없는 사람으로 인식하고 대응할지도 모른다. 여러 출처로부터 정보를 결합해 내 얼굴과 내 목소리로 부모님께 전화를 걸어 피싱을 시도할 수도 있다.

개인정보의 위험도 단순 유출을 넘어 예측과 조작의 문제로 바뀐다. 내가 직접 말하지 않은 정보도 AI는 추론할 수 있다. 소비 패턴, 검색 기록, 사진 배경, 위치정보, 글쓰기 습관, 수면 시간, 인간관계의 변화가 결합되면 건강 상태, 경제적 어려움, 정치적 성향, 감정적 취약성까지 추정될 수 있다. 그렇게 만들어진 개인 프로파일은 맞춤형 광고를 넘어 맞춤형 설득, 맞춤형 사기, 맞춤형 정치 선동에 사용될 수 있다. 내가 결정하는 것 같지만 사실은 그렇지 않은 시대가 올 수 있는 셈이다. 이처럼 AI 시대의 위험은 터미네이터나 어벤져스의 울트론보다는 훨씬 더 현실적이고 훨씬 더 일상적으로, 그리고 조용하지만 더욱 신속하게 다가올 것이다.

인류 전체의 질문도 남는다. AI가 나를 대신해 읽고, 쓰고, 판단하고, 선택해 주는 순간 인간은 더 편리해진다. 그러나 동시에 인간은 조금씩 덜 기억하고, 덜 판단하고, 덜 책임지는 존재로 밀려날 수 있다. 편리함은 커지지만 자유의 조건은 약해질 수 있다. 모두에게 같은 거짓말을 하던 시대는 지나가고 각자에게 가장 잘 먹히는 거짓말을 보여주는 시대가 올 수 있다. 민주주의는 시민이 스스로 판단한다는 전제 위에 서 있다. 그런데 AI가 인간의 취향, 불안, 분노, 외로움까지 분석해 선택의 환경을 설계한다면 우리는 여전히 자유롭게 선택한다고 말할 수 있을까.

그래서 AI 시대의 핵심 역량은 자유시민으로서의 주체성과 자율성이다. 수단으로서 AI를 인식하고 무엇을 맡기고 무엇은 인간이 끝까지 확인할 것인지 판단할 수 있어야 한다. 염료가 번질까 두려워 그림을 그리지 않을 수는 없다. 이미 AI라는 거대한 붓이 인류의 손에 쥐어졌다. 중요한 것은 어디에 어느 정도의 염료를 사용할 것인지, 어떤 색은 섞고 어떤 색은 끝까지 남겨둘 것인지 정하는 일이다. AI에게 무엇을 시킬지 아는 능력보다는 AI에게 무엇을 넘겨서는 안 되는지 아는 판단력이 더 중요할 수 있다. 이제 AI 앞에 놓인 것은 단순한 개인정보가 아니다. 너의 말투, 나의 기억, 우리의 일, 조직의 지식, 국가의 전략과 인류가 이룩해 온 민주주의까지 포함한 거의 모든 것이다. 그래서 지금 우리에게 필요한 것은 AI를 활용하는 과정에서 판단과 책임, 관계와 신뢰, 자유롭게 선택할 수 있는 능력을 인간의 몫으로 끝까지 지켜내는 일이다.

윤상필은 고려대학교 정보보호대학원 연구교수로 데이터와 인공지능, 정보보호 및 사이버안보 관련 법제도와 정책을 연구하고 있다. 저역서로 〈사이버보안 취약점의 법적 규제〉 〈비트전: 사이버전의 혁신〉이 있다.