'라벤더'는 팔레스타인 가자지구의 한 주민이 무장 조직과 연계됐을 가능성을 1부터 100까지 점수로 매겼다. 근거 자료는 이스라엘군이 수집한 그의 통신이나 이동 기록, SNS 등이다. 오차율은 10%가량으로 알려졌다. 그럼에도 라벤더의 분류는 가자 집단 학살에 쓰였다.
라벤더의 표적이 된 인물이 귀가했을지 여부는 '아빠는 어디에' 시스템으로 예측했다. 집에 폭격이 가해지면 가족, 이웃 등 민간인 다수가 함께 희생될 수 있다. 그럼에도 '저급 무장세력 1인당 15~20명의 피해는 허용된다고 정해졌다'는 증언이 이스라엘군 내부에서 나왔다.
'가스펠'은 가자지구의 표적 후보군을 만들었다. 위성과 드론 자료, 감청 기록, 사회적관계망 등을 근거로 분석됐다. 각 대상에겐 분류 알고리즘을 통해 '안전-주의-위험'의 등급이 부여됐다. 이 기술은 비약적으로 발전했다. 2014년 가자 전쟁 땐 51일 간 5000여 개 표적이 분류됐다. 2023년 가자 학살 땐 최초 35일 간 1만 5000여 개 표적이 생성됐다.
라벤더, 아빠는 어디에, 가스펠 모두 이스라엘군이 가자 학살에 활용한 AI 기반 표적화 시스템이다. 인간을 알고리즘을 통해 수치화한 후 분류해, 이를 살상의 근거 자료로 활용한 구조가 핵심이다. 성공회대 평화월딩연구소의 강성현 소장과 김현준 교수는 "어떤 세계는 왜 사람을 계속 죽이도록 설계되는가"를 물으며 지금 시대를 'AI 제노사이드'라고 이름붙였다.
25일 저녁 서울 종로구 참여연대 느티나무홀에서 군사 AI쟁점 토크 시리즈 '인공지능과 전쟁의 미래' 토론회가 열렸다. 강성현·김현준 박사를 비롯해 백범석 경희대 법학전문대학원 교수, 문아영 피스모모 대표 등이 발표자로 참석했다.
강성현 소장은 "가령, 스마트폰을 자주 껐다 켜는 상황을 생각해 보라"며 "AI는 의도를 묻지 않는다. 데이터 패턴이 '테러리스트와 80% 이상 유사하다' 이런 계산을 할 뿐"이라고 말했다. 이어 "스크린 속 여러분은 존엄한 인간이 아니라, 제거할 빨간 포인트가 될 뿐"이라며 "이것이 AI가 세상을 정의하는 방식"이라고 덧붙였다.
김현준 교수는 "지휘관은 무엇을 승인하는가"라고 물었다. 그러면서 "(지휘관은) 개인 판단에 입각하지 않고 AI 시스템 판단을 승인한다. 이것이 반복되면 시스템에 대한 신뢰가 늘어나고 맹목적이게 된다"며 "이때 누가 어디까지 책임을 져야 하는가"라고 질문했다.
김 교수는 "AI 전쟁 운영체제에선 책임은 흩어지고, 죽음만 남는다"며 "지휘관은 AI가 판단했다고, 개발자는 중립적 모델을 제공했을 뿐이라고, 정치인은 AI는 군사적 필요에 따라 위험 요인을 미리 제거하고 도입했다고 말하면 그만"이라고 지적했다.
AI·인권침해 불가분 관계
유엔(UN) 인권이사회 자문위원회 의장을 맡고 있는 백범석 교수는 "기술은 중립적이지 않다"고 단언하며, 디지털 군사 신기술에 내포된 인권침해 문제를 설명했다.
그는 먼저 AI 기술도입에 관한 규제나 원칙 없이 기술 개발만 앞서 나가는 불균형을 경고했다. 자율살상무기(인간 개입 없이 스스로 공격하는 무기) 규범을 정하는 논의를 10년 넘게 하고 있지만 국제사회는 합의를 이루지 못했고, 통신, 감지, 암호 등에 중대한 영향을 미칠 양자기술은 아직 이런 논의 조차 시작하지 않았다.
백 교수는 전투원의 신체·인지 능력을 증강하는 증강병 기술과 관련해 "약물, 백신 등의 신경기술로 군인의 자율성을 위협할 수 있고, 신체에 장기적 영향을 미칠 수도 있으며, 강압적인 심문 기법, 고문 등으로 오용될 가능성이 있다"고 경고했다.
나아가 군사 기술이 민간 영역에 무분별하게 확대될 수 있다며 "이미 국경 출입국 관리에 현대적 형태의 인종차별처럼 남용되고 있다"고 했다. 각국 정부가 외국인 생체 데이터를 수집해 이들을 표적 분류하는 시도를 이른다. "(이 기술을 통해) 비전투원인 민간인을 전투원으로 인식해 공격한 사례는 이미 많이 발생해왔다"고 덧붙였다.
핵·생화학무기·심리전 파고든 AI
딥페이크 등의 왜곡된 정보를 이용한 인지전, 심리전의 증폭 우려도 있다. 백 교수는 "AI 기반 심리 작전을 통해 적의 전투 의지를 약화시키거나, 분쟁에 대한 대중의 지지를 무너뜨리거나, 내부에서 정부를 불안정하게 만들 수 있다"고 말했다.
백 교수는 AI와 생물학의 결합에 대해 "AI는 매우 치명적인 병원체를 만들어 낼 수 있고, 이는 기존의 자연발생 병원체보다 더 파괴적이고 대응하기 어려운 생화학 무기로 이어질 수 있다"며 "새로운 형태의 생물학적 위협을 초래할 수 있다"고 진단했다.
핵 기술에 접목된 AI에 대해 그는 "AI에게 대규모 민간인 사상자를 초래할 무시무시한 결정을 맡기는 건 심각한 도덕적 문제를 일으킨다"며 "AI 알고리즘의 투명성 부족은 예측할 수 없는 결과를 초래할 수 있고, 사이버 공격으로 적이 시스템을 해킹할 위험도 있다"고 지적했다.
AI 살상 무기 규제, 방해하는 한국
한국 정부의 경각심과 규제 노력에 대해, 문아영 피스모모 활동가는 "한국은 자율살상무기 규제 규범을 정하는 회의(CCW GGE)를 방해하는 국가로 이미 손꼽힌다"며 "미국, 이스라엘, 러시아, 한국, 호주가 지난 10년간 협상 교착을 주도한 5개 국가"라고 지적했다.
이를테면, 한국은 이 회의에서 자율살상무기를 정의하는데 '치명적'이란 용어나 '식별'이란 기능 규정을 꼭 넣어야 한다고 주장한다. 이는 살상이 아닌, 심각한 상해나 파괴를 일으키는 자율살상무기는 제외하고, 표적 식별 기능은 없는 다종다양한 AI 무기가 빠져나갈 사각지대를 만들 수 있다.
한국 정부는 "대량생산이 아닌, 시험이나 연구를 위한 소규모 생산은 규제에서 제외돼야 한다"고 주장한다. 문 활동가는 "드론, 안면 인식, AI 알고리즘 등은 '평화적 목적'으로 개발돼 실제로는 무기화됐다"며 "핵무기, 생화학무기 등 역사상 가장 파괴적인 무기도 모두 연구에서 시작됐다"고 반박했다. 그러면서 한국 정부가 "미래기술을 운운하며 현재 규제를 미루는 동안, 실제 사람들이 죽어가고 있다"고 말했다.
문 활동가는 "최소한 인간을 표적으로 하는 시스템, 그리고 '의미 있는 인간 통제' 없이 운용되는 시스템의 금지는 만들어져야 한다"고 주장했다. 의미 있는 인간 통제란 AI 등이 윤리적 책임을 판단해야 할 상황에서 기계가 아닌 인간이 적절히 개입하고 감독하는 상태를 이른다.
문 활동가는 "K-방산이 세계로 뻗어간다며 자부심을 강조하거나, 코스피가 6000이 된다는 식의 말들만 지배적인데, 그 6000의 대부분은 반도체, 방위산업, 조선업"이라며 "탄소 집약적 사업의 기후 위기를 우려하는 말도, 군산복합체를 감시하는 말도 찾기 어렵다. 군산정언(군대·산업·정치·언론) 복합체만 있다"고 꼬집었다.
강성현 소장은 "중단권이 필요하다"며 "자동화된 표적 추천에 이의를 제기할 절차, 승인 속도가 빨라질 때 자동으로 (AI가) 멈추는 안전장치, 민간 피해 급증 시 외부 감사가 개입하는 트리거 등"을 예시로 들었다.
강 소장은 또 "우리는 끊임없이 질문해야 한다. 누가 통제하고, 누가 책임지며, 누가 이익을 얻고, 누가 위험을 감수하는가?"라며, "사람을 죽이는 세계가 되고 있는데, 살리는 세계를 만들어야 한다. 평화를 운영하는 세계를 위해 우리 모두 (통제 장치를 만드는) 설계자가 돼야 한다"고 강조했다.
Copyright ⓒ 프레시안 무단 전재 및 재배포 금지
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.
