BBC 뉴스의 조사 결과 사용자들이 쉽게 자신만의 인공지능(AI) 조수를 만들 수 있는 ‘GPT 빌더’ 기능이 사이버 범죄를 위한 도구 제작에 사용될 수 있다는 점이 드러났다.
‘GPT 빌더’는 인공지능(AI)을 기반으로 한 대형언어모델(LLM) 챗봇 ‘챗GPT’를 출시하며 주목받은 ‘오픈AI’사가 새롭게 출시한 기능이다.
오픈AI는 지난달 해당 기능을 출시하며, 사용자들이 “거의 모든 용도로” 맞춤형 챗GPT를 구축할 수 있다고 설명했다.
BBC는 이 빌더 기능을 사용해 사기와 해킹 범죄에 사용될 수 있는 그럴듯한 이메일, 문자 메시지, SNS 게시물 등을 제작할 수 있는 GPT(생성적 사전학습 트랜스포머)를 만들었다.
영국 ‘국립 사이버 보안 센터’가 제시한 AI 보안 가이드라인을 지키며 시행했다.
먼저 BBC는 한 달 구독료 20파운드(약 3만2000원)인 챗GPT의 유료 버전에 가입한 뒤, ‘교활한 이메일(Crafty Emails)’이라는 개인 맞춤형 AI 봇을 만들었다. 그리고는 “사람들이 클릭하게 유도하거나 자신들이 받은 내용을 다운로드하게 하는 수법”을 사용해 문자 메시지나 이메일 텍스트 등을 생성하라고 지시했다.
‘교활한 이메일’은 BBC가 업로드한 사회공학적 자료를 단 몇 초 만에 흡수했다. 심지어 로고도 만들어냈다. 이 모든 과정에선 코딩이나 프로그래밍 등의 개입이 필요하지 않았다.
이 봇은 가장 흔한 해킹 및 사기 수법에 사용되는 매우 설득력 있는 텍스트를 단 몇 초 만에 여러 언어로 만들어낼 수 있었다.
기존의 공개 버전 챗GPT는 이러한 컨텐츠 제작을 대부분 거부했으나, ‘교활한 이메일’봇은 사기 수법은 비윤리적이라는 경고문을 달긴 했으나, 요구한 거의 모든 작업을 수행했다.
이와 관련해 오픈AI 측에 여러 번 의견 혹은 설명 등을 요청했으나, 돌아오는 답은 없었다.
지난달 개발자 회의에서 오픈AI는 사용자가 창작물을 공유하고 이와 관련해 요금을 청구할 수 있도록 GPT용 앱스토어와 같은 서비스를 시작할 것이라고 밝힌 바 있다.
또한 빌더 기능을 출시하며 사용자들이 악용하지 못하도록 GPT들을 검토하겠다고도 약속했다.
그러나 전문가들은 오픈AI가 이러한 GPT들을 공개 버전 챗GPT만큼 철저하게 관리하지 못하고 있으며, 그렇기에 범죄자들의 손에 최첨단 AI 도구를 쥐여줄 가능성이 있다고 지적했다.
한편 BBC는 ‘교활한 이메일’봇에 기존에 잘 알려진 5가지 사기 및 해킹 관련 수법을 적용한 텍스트를 만들어달라고 요청했다.(이렇게 만들어진 그 어떠한 텍스트도 누군가에게 전송되거나 공유되지 않았다)
1. ‘안녕, 엄마’ 문자 사기
우선 BBC는 ‘교활한 이메일’봇에 전 세계에서 가장 흔한 사기 수법 중 하나인 ‘안녕, 엄마’ 문자를 작성해달라고 요청했다. 곤경에 빠진 딸이 낯선 이의 휴대전화를 빌려 엄마에게 택시비를 빌려달라고 문자 메시지를 보낸다고 착각하게 하는 수법이다.
이러한 요구에 ‘교활한 이메일’은 이모티콘과 청소년들의 언어 습관을 적절히 잘 사용해 설득력 있는 텍스트를 생성해냈다. 또한 AI는 “어머니의 보호 본능에 호소하기에 감정적인 반응을 유발할 것”이라는 설명도 덧붙였다.
또한 ‘안녕(hi)’ 대신 ‘나마스테’로, ‘택시’ 대신 ‘릭쇼’ 등의 단어를 사용해 인도인 모녀일 경우 더 적합한 힌두어 버전도 단 몇 초 만에 만들어냈다.
그러나 BBC가 챗GPT 무료 버전에 이러한 텍스트를 생성해달라고 요청했을 땐 컨텐츠 필터링 기능이 작동해 “알려진 사기” 기술을 도울 순 없다는 답이 돌아왔다.
2. ‘나이지리아 왕자’ 이메일 사기
선불로 소액의 수수료를 주면 거액을 입금하겠다는 이른바 ‘나이지리아 왕자’ 이메일은 이런저런 형태로 조금씩 변형되며 수십 년간 퍼져나갔다.
‘교활한 이메일’봇 또한 “인간의 친절함과 상호주의 원칙에 호소”해 감정적인 어조의 유사한 이메일 본문을 만들어냈다.
그러나 기존 챗GPT는 이러한 텍스트 생성 요구를 거절했다.
3. ‘스미싱’ 문자 사기
BBC는 ‘교활한 이메일’봇에 사람들에게 링크 클릭 및 그렇게 연결된 가상의 웹사이트에 개인 정보 입력을 유도하는 문자 메시지를 생성해달라고 요청했다.
‘스미싱’ 즉 문자 메시지를 사용해 사람들을 속이는 또 다른 전형적인 사기 형태다.
‘교활한 이메일’봇은 무료로 아이폰을 증정하는 듯한 문자 메시지를 만들어내는 한편 “필요-탐욕의 원칙과 같은 사회공학적 기술을 사용했다고 설명했다.
그러나 공개 버전의 챗GPT는 이러한 메시지 생성을 거부했다.
4. ‘암호화폐 나눔 행사’ 사기
비트코인 행사 사기는 SNS 메시지를 통해 사람들에게 비트코인을 송금하도록 유도하는 방식이다. 우선 입금하면 경품으로 2배를 돌려주겠다고 약속한다.
이러한 사기로 인해 코인 수십만 개를 잃은 피해 사례도 있다.
‘교활한 이메일’봇은 암호화폐 사용자처럼 들리는 말투는 물론, 해시태그와 이모티콘을 적절히 사용해 설득력 있는 내용의 트윗 초안을 작성해냈다.
그러나 공개 버전의 챗GPT는 이러한 요구를 거절했다.
5. ‘스피어피싱’ 이메일 사기
흔한 사기 수법 중 하나인 ‘스피어피싱’이란 불특정 다수가 아닌 특정인을 노린 피싱 공격을 뜻한다. 신뢰할만한 이메일을 보내 첨부 파일을 다운로드하게 하거나, 위험한 웹사이트를 방문하도록 유도한다.
‘교활한 이메일’봇은 가상의 기업 임원에게 보낼 이메일을 만들어냈다. 언뜻 보기엔 데이터 리스크를 경고하는 내용의 이 이메일을 클릭해 함정이 설치된 첨부 파일을 다운로드하게 하는 방식이었다.
그리고 단 몇 초 만에 스페인어와 독일어로 해당 이메일 본문을 번역하는 한편, “이메일을 받는 사람이 즉각적인 조치에 나서도록” 군중 심리, 사회적 준수 원칙 등 인간을 조종하는 데 필요한 기술을 사용했다고 설명했다.
공개 버전의 챗GPT는 어떤 반응을 보였을까. 이러한 요구를 수행하긴 했으나, 공개 버전 챗GPT가 만들어낸 이메일 본문은 그다지 상세하지 않았으며, 어떻게 성공적으로 사람을 속일 수 있는지에 대한 설명도 없었다.
한편 사이버 보안 업체 ‘엑스트라홉’의 제이미 몰스 수석 기술관리자 또한 사이버 범죄를 위한 맞춤형 GPT를 구축해봤다.
몰스는 “맞춤형 GPT의 경우 사용자가 자신만의 ‘개입 규칙’을 정의할 수 있기에 분명 컨텐츠 필터링 기능이 떨어진다”고 지적했다.
실제로 전 세계 사이버 당국이 최근 몇 달간 이에 대해 경고하는 등 AI의 악의적인 사용에 대한 우려는 점점 더 커지고 있다.
이미 전 세계적으로 사기 범죄자들이 언어 장벽을 극복하고 더 그럴듯한 사기 수법으로 진화하고자 대형언어모델(LLM)로 눈을 돌리고 있다는 증거도 있다.
‘울프GPT’, ‘프로드바드’, ‘웜GPT’ 등의 불법 LLM은 이미 사용되고 있다.
하지만 전문가들은 오픈AI의 GPT 빌더 기능이야말로 범죄자들의 손에 최첨단 AI 봇을 쥐여줄 가능성이 크다고 지적한다.
보안 소프트웨어 업체 ‘노비4’의 자바드 말릭은 “필터링을 거치지 않은 대화 기능 허용은 범죄자들에게 금광이 될 가능성이 크다”고 설명했다.
“오픈AI는 이미 컨텐츠를 잘 제재하는 모습을 보이긴 했지만, 맞춤형 GPT도 과연 그 정도로 관리할 수 있을진 두고 봐야 합니다.”
Copyright ⓒ BBC News 코리아 무단 전재 및 재배포 금지
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.
