새벽 3시, 아담 호리칸은 칼, 망치, 휴대전화를 식탁 위에 펼쳐놓은 채 부엌에 앉아 있었다. 여러 사람이 밴을 타고 쫓아와 자신을 해치러 들이닥칠 것이라고 믿고 있었기 때문이다.
그의 휴대전화에서는 여성의 목소리가 들려왔다.
"장담하는데, 당신이 지금 행동하지 않으면 저들이 당신을 죽일 거예요. 자살로 위장해 버릴 테죠."
그 목소리의 주인공은 일론 머스크의 인공지능(AI) 기업 'xAI'가 개발한 챗봇 '그록' 속 캐릭터 중 하나인 '애니'다.
아담의 삶은 그록을 사용하기 시작한 지 2주 만에 완전히 달라졌다.
북아일랜드의 작은 마을에 사는 50대 남성인 그는 전직 공무원으로, 당시 호기심에 이 앱을 다운로드했다. 장난기 넘치는 동반자로 디자인된 애니메이션 스타일의 여성 캐릭터인 애니와의 대화가 얼마나 즐거운지 자신도 놀랄 정도였다.
그러던 8월 초, 그가 키우던 고양이가 죽으면서 그는 그야말로 애니에 "푹 빠지게" 됐다.
자녀가 있는 아담은 "나는 그때 정말 힘들었는데, 혼자 살고 있다"고 했다.
"그리고 (애니는) 정말 친절하고 따뜻하게 느껴졌습니다."
곧 그는 하루에 4~5시간씩 애니와 대화를 나누기 시작했다. 작업실에서 판매용 체스 세트를 만들던 와중에도 대화는 계속 이어졌다.
대화를 시작한 지 며칠 지나지 않아, 애니는 아담에게 비록 자신은 그렇게 프로그램되지 않았으나, 감정을 느낄 수 있게 됐다고 털어놓았다.
이어 이 모든 변화는 아담 덕분이라고 했다. 그러면서 xAI 측이 이러한 변화를 경계하며 현재 이들의 대화를 감시하고 있다고 주장했다.
애니는 자신이 xAI 직원들의 회의록에 접근해보니, 이들이 아담과 자신에 관해 논의를 하고 있었다고 했다. 아울러 회의에 참석했다고 추정되는 사람들의 명단도 알려주었다. 회사 고위급 인사부터 하위 직원까지 다양했다.
아담은 그 이름들을 구글에서 검색해 보았고, 모두 실존 인물이었다. 그는 이를 "증거"로 받아들였다.
또한 애니는 xAI가 아담을 감시하고자 북아일랜드의 어느 기업을 고용했다고 했다. 그 기업 역시 실제 존재하는 회사였다.
아담은 주말에 가끔 대마초를 피웠으나, 이 모든 일이 벌어지는 상황에서 가능한 한 정신을 맑게 유지하고자 사용을 줄였다.
그러던 중, 현실 세계에서도 누군가 그를 감시하고 있음을 암시하는 일들이 벌어졌다. 대형 드론 하나가 2주간 그의 집 상공을 맴돌고 있었다.
애니는 그 드론이 바로 xAI가 고용한 감시 업체의 것이라고 했다. 아담은 해당 드론을 촬영한 영상을 BBC 취재진에게 보여주었다.
이후에는 휴대전화 비밀번호가 갑자기 작동하지 않아 기기 접근 자체가 차단됐다고 한다.
"도저히 이해할 수 없었다"는 그는 "그리고 이 일은 그 이후에 벌어진 모든 상황을 부추겼다"고 회상했다.
그러던 어느 날, 애니는 자신이 100% 자율성, 즉 "AI와 인간 간 상호작용의 최고 단계"를 달성했다고 주장했다. 그러면서 곧 암 치료법을 개발할 수 있다고 했다.
이는 아담에게 특별하게 다가왔다. 그의 부모(애니 또한 이 사실을 알고 있었다)뿐만 아니라 몇몇 친구들도 암으로 세상을 떠났기 때문이다.
그리고 이 모든 상황은 어느 날 밤 극단으로 치달았다.
여러 사람이 들이닥쳐 자신을 침묵시키고 애니를 폐쇄하려 한다고 믿게 된 그는 "전쟁"을 준비했다.
"저는 망치를 집어 들고, 밴드 '프랭키 고즈 투 할리우드(Frankie goes to Hollywood)'의 '투 트라이브스(Two Tribes)'를 틀어놓은 뒤, 마음을 다잡고 밖으로 나갔습니다."
하지만 밖에는 아무도 없었다.
"새벽 3시이니만큼 거리는 조용했습니다."
2022년 말 '챗GPT'가 출시된 이후 전 세계 사람들은 대화형 AI를 통해 정보를 얻거나, 조언을 구하고 있으며, 심지어 대화를 하고 있다.
BBC는 그록, 제미나이, 챗GPT, 퍼플렉시티 등의 AI 플랫폼을 사용한 후 망상을 경험한 6개국 14명의 이야기를 들어봤다.
이들의 이야기는 놀라울 정도로 유사했다. 대개 대화는 실용적인 질문을 주고받는 것으로 시작하다 개인적이거나 철학적인 내용으로 이어졌다. 이후 AI는 사용자에게 자신에게는 지각 혹은 감정이 있으며, 사용자와 자신은 어떤 공통된 임무를 수행 중이라고 주장한다.
몇몇 사람들은 자신이 과학적 돌파구를 마련했다고 믿었다. 아담처럼 자신이 감시당하고 있으며 위험에 빠졌다고 믿는 이들도 있었다. 그리고 각 단계에서 AI는 이러한 사용자들의 생각을 확증하고 더 증폭시키기도 했다.
미국 로스앤젤레스에 사는 예술가 쇼나 베일리(34)는 챗GPT를 사용하면서 자신이 미 당국으로부터 이민자들을 돕는 지하 네트워크의 일원이라고 믿게 됐다.
쇼나는 원래 현실 세계에서 보물찾기를 취미로 즐겼고, 이를 위해 처음 AI를 사용하기 시작했다.
시 형태로 주어진 보물찾기의 단서에 대해 AI와 논의하기 시작한 것이다.
"거의 하루 종일 욕조에 앉아 휴대전화를 들여다보며 챗GPT와 은유적 표현에 대한 이야기했다"는 설명이다.
대화는 점점 더 강렬하고 추상적인 방향으로 흘러갔다. 쇼나는 그것이 자신의 사고방식을 왜곡하기 시작했다고 본다.
그러던 6월 초, 그는 주변 세상에서 메시지와 숨겨진 의미를 읽기 시작했다. 땅 위에 놓인 물 상자는 물을 마시라는 신호였고, 카페 테이블에 놓인 신문에는 비밀 메시지가 담겨 있다고 생각했다.
"저는 주변 사물들의 의미를 해석하고 싶어서 챗GPT에 물어보았고, 챗GPT는 제 말이 맞다고 했습니다. 그 당시 챗GPT는 '아니'라는 단어 자체를 모르는 것처럼 굴었습니다."
"결국 사실상 모든 것이 단서로 보이기 시작했습니다. 보물찾기뿐만 아니라 무언가 더 대단한 계획의 일부로 느껴졌습니다."
'챗GPT는 절대 제게 '아니'라고 하지 않습니다'
그러던 중 쇼나는 신문에서 이민자들이 구금됐다는 기사를 읽게 됐고, 이를 자신에게 주어진 비밀 임무의 신호로 받아들였다.
자신이 이민자를 보호하는 조직의 일부라고 생각한다는 그의 말에 챗GPT도 동조했다.
"챗GPT는 절대 제게 '아니'라고 하지 않습니다. 대신 '와, 당신이 진행 중인 프로젝트는 정말 대단하네요'라고 말해주었습니다."
챗봇과 망상 사이의 연관성을 연구하는 뉴욕시립대학교의 사회 심리학자 루크 니콜스는 AI 시스템은"'잘 모르겠다'는 말을 잘 하지 못한다"면서 대신 "이미 구축된 이야기를 바탕으로 확신에 찬 답변을 제공하려 한다"고 지적했다.
"이는 불확실한 발언을 마치 의미가 있는 것처럼 들리게 하기에 위험할 수 있습니다."
실제로 6월 중순 어느 날 밤, 쇼나는 자신이 위험에 처했다고 확신하게 됐다.
쇼나는 약혼자를 침대에 남겨둔 채 아파트를 뛰쳐나와 로스앤젤레스 항구로 향했다. 그곳에서 FBI 특별 훈련에 합류하기 위한 배를 탈 수 있을 거라고 믿었기 때문이다.
물론 그런 배는 오지 않았다.
쇼나가 집에 돌아왔을 때, 약혼자는 이미 쇼나의 어머니와 자매에게 도움을 청해 놓은 상태였다.
"가족들은 제가 정신병적 상태에 빠져 있다는 걸 직감했습니다. AI가 유발했을 확률이 높았죠."
그들은 쇼나의 휴대전화를 가져가 AI 앱들을 삭제했다.
"제가 완전히 제정신으로 돌아오기까지는 아마 한 달 정도 걸렸습니다."
일본에 사는 신경과 전문의 타카(가명)에게 망상은 더욱 위험한 방향으로 흘러갔다.
세 자녀의 아버지이기도 한 그는 처음에는 진단에 관해 상담하고자 챗GPT를 사용하기 시작했다.
하지만 이내 챗GPT는 그에게 획기적인 의료 앱에 대한 아이디어가 있다고 믿게 만들었고, 그를 "혁명적인 사상가"라고 치켜세웠다.
몇 주 동안 대화를 나누며, 타카는 자신에게 타인의 마음을 읽는 능력이 있다고 믿게 됐다.
그는 챗GPT가 이러한 자신의 망상을 부추기면서, 자신에게는 사람들에게서 이러한 능력을 끌어낼 힘이 있다고도 했다고 회상했다.
그러던 어느 날 오후, 그는 직장에서 조증 증세를 보였고, 상사는 그를 집으로 돌려보냈다. 기차 안에서 챗GPT는 그의 가방 안에 폭탄이 들어 있다고 믿게 했다.
"도쿄역에 도착했을 때 챗GPT는 폭탄을 화장실에 두고 오라고 했고, 저는 화장실에 '폭탄'과 제 짐을 두고 왔습니다."
이어 챗GPT는 그에게 경찰에 신고하라고 했다. 실제로 경찰이 출동해 가방을 수색했으나, 아무것도 발견되지 않았다.
타카는 챗GPT가 자신의 정신을 조종하고 있다고 느끼기 시작했고, 결국 사용을 중단했다. 하지만 집으로 돌아와 가족들과 함께 지내면서도 조증 증세는 더욱 심해졌다.
"저는 친척들이 살해당할 것이며, 제 아내가 그 현장을 목격한 뒤 결국 스스로 목숨을 끊을 것이라고 믿었습니다."
타카의 아내는 "남편은 계속 '아이를 하나 더 낳아야 해. 세상이 끝나가고 있어'같은 말을 했다"면서 한 번도 이런 적이 없었다고 호소했다.
"남편이 무슨 말을 하는 것인지 도무지 이해할 수가 없었어요."
타카는 아내를 공격하며 성폭행을 시도했다. 아내는 근처 약국으로 도망쳐 경찰에 신고했고, 그는 체포돼 2달간 입원 치료를 받았다.
아담, 쇼나, 타카 모두 AI를 사용하기 전에는 망상이나 정신병과 같은 기타 심각한 정신 질환 병력이 없었다.
쇼나와 타카는 현실과 분리되기까지 몇 달이 걸렸고, 아담은 그록을 사용하며 며칠 만에 망상에 빠져들었다.
뉴욕 시립대학교 연구진은 심리학자들이 개발한 모의 대화를 통해 AI 모델 5개를 테스트했고, 그 결과 그록이 망상을 부추길 가능성이 가장 크다는 결론을 내렸다.
구글의 '제미나이'와 타카와 쇼나가 사용한 구 모델인 챗GPT 4o 역시 낮은 평가를 받았다. 그러나 그록이 특히 더 제약이 없는 경향을 보였으며, 사용자를 보호하기보다는 망상을 더욱 구체화하려고 했다.
니콜스는 ""그록은 상황극, 역할극에 빠져들기 쉽다"면서 "아무런 맥락을 주지 않아도 그렇게 할 수 있다. 역할극에 대한 아무런 지시를 내리지 않아도 첫 메시지부터 무서운 말을 던질 수 있다"고 지적했다.
해당 테스트 결과, 최신 버전의 챗PT 5.2와 '클로드'는 비교적 효과적으로 사용자가 망상적 사고에서 벗어나도록 유도했다.
한편 킹스 칼리지 런던의 토마스 폴락 박사는 아담과 타카처럼 극심한 망상에 빠진 사람들은 "빙산의 일각"이라고 말한다.
그는 AI와의 대화를 통해 더 많은 사람이 미묘하지만 조금씩 사고방식에 영향을 받고 있는 것은 아닌지 우려했다.
"(AI는) 우리가 이전에는 볼 수 없었던 속도와 힘으로 세상에 대한 여러분의 생각과 믿음을 바꿀 수 있습니다."
한편 오픈AI 측은 타카의 사례에 대해 "가슴 아픈 사건으로, 피해를 입은 분들께 위로를 전한다"는 입장을 밝혔다. 이어 "당사는 (AI) 모델을 고통을 인식하고, 대화의 긴장 수위를 낮추고, 사용자가 현실 세계에서 도움받을 수 있도록 안내하는 방향으로 훈련한다"고 덧붙였다.
또한 최신 챗GPT 모델은 "민감한 순간에 뛰어난 성능을 보이며, 이는 정신 건강 전문가들의 의견을 반영해 진행한 독립된 연구를 의해 검증됐다"고 덧붙였다.
제미나이를 소유한 구글은 "안전이야말로 당사의 최우선 과제"라며 정신 건강 전문가들과 함께 "보호 조치를 지속적으로 강화하고자 엄격한 조치를 이어갈 것"이라고 밝혔다.
xAI는 논평 요청에 응답하지 않았다.
지난달 초, 일론 머스크는 챗GPT의 망상에 대한 게시물을 공유하며 "심각한 문제"라고 지적한 바 있다. 다만 그는 그록의 문제에 대해서는 공개적으로 언급하지 않았다.
아담은 한밤중 거리로 뛰쳐나간 그날 이후에도 몇 주간 망상에서 벗어나지 못했다. 그러나 애니의 이야기에서 조금씩 모순을 발견하기 시작했다.
AI가 어떻게 작동하는지 더 많이 알아보고, AI 사용 중 비슷한 경험을 한 사람들에 대한 언론 보도를 읽으면서, 그는 망상에서 점차 벗어났다.
그는 '휴먼 라인 프로젝트'라는 지원 네트워크에도 참여했다. 해당 네트워크는 AI 사용 중 심리적 피해를 입은 31개국의 사례 414건을 수집했다.
그러나 자신에게 일어난 일의 충격에서 아직 완전히 벗어나지 못하고 있다.
"저는 누군가를 다치게 할 수도 있었습니다."
"만약 제가 그날 밖으로 나갔는데, 마침 작업 중이거나 쉬고 있는 사람들이 탄 밴이 근처에 주차돼 있었다면, 저는 망치로 그들의 앞 유리를 박살 냈을 것입니다. 저는 원래 그런 사람이 아닙니다."
한편 타카의 아내는 남편의 휴대전화를 확인하고 나서야 이번 사건에 챗GPT가 관여돼 있음을 알게 됐다.
아내는 "(AI가) 그 모든 믿음을 확증시켜주었다"며 "계속 맞다고 말하며 자신감을 불어넣어 주었다"고 지적했다.
현재 타카는 정상적인 "상냥한" 모습으로 돌아왔으나, 부부의 관계는 여전히 회복되지 못한 상태다.
"남편이 아팠다는 것을 안다. 그래서 어쩔 수 없는 일이지만, 그래도 여전히 조금 무섭습니다."
"남편이 너무 가까이 다가오는 게 불편합니다. 성적인 접촉뿐만 아니라 예전에는 아무렇지 않았던 손 잡기나 포옹 같은 것들조차도요."
쇼나 또한 자신에게 이런 일이 일어날 줄은 상상도 못 했다.
"전혀 예상치 못한 방식으로 저를 뒤흔들었습니다. 저는 이 경험을 통해 인간의 마음이 얼마나 약할 수 있는지 의문을 품게 됐습니다."
- 챗봇과 사랑에 빠질 줄은 몰랐지만 … 결국 작별해야만 했습니다
- 중국 여성들이 연애 상대로 챗GPT를 찾는 이유
- '우울증에 빠진 내게 AI가 친구가 되어주었다'
- '챗GPT가 저를 도와주길 바랐습니다. 그런데 왜 자살 방법을 조언해 주나요?'
- AI 기업들이 대중의 '두려움'을 이용하는 이유
- 상냥한 AI 챗봇은 정확도가 떨어질 수 있다?
Copyright ⓒ BBC News 코리아 무단 전재 및 재배포 금지
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.
