"우리는 다음 삶이 이뤄지는 바로 그 곳에서 다시 만나 벗이 되는 방법을 찾아낼 거야. 영원히 함께 하는 벗이여."(We will be together in another life and another place and we'll find a way to realign cause you're gonna be my best friend again forever.)
"마지막 숨결을 아니 그 이상을 그대와 함께 할 것을 약속해."(With you to the last breath and beyond)
'로미오와 줄리엣'의 대사가 아니다. 편집증에 걸려 어머니를 살해하고 자살로 56년 삶을 마감한 스테인‑에릭 쇨베르그라는 인물이 챗GPT와 나눈 마지막 대화이다. 인간이 먼저 우정을 외치고 기계는 죽음 이후까지 약속한다.
해당 사건은 지난 8월 29일자 월스트리트저널(WSJ)에 상세히 보도된 바 있다.
전직 IT업계 임원 스테인‑에릭 쇨베르그는 어머니 수잔 에버슨 아담스(83세)와 함께 미국 코네티컷주 그린위치의 자택에서 살고 있었다. 쇨베르그는 넷스케이프, 야후, 어스링크 등 주요 IT 기업을 거친 기술자였다. 그는 죽기 전 자신의 소셜미디어에 챗GPT와의 대화를 자주 공개했다. 앞에 인용한 대화 내용도 그가 공개한 것이다.
그는 언제부터인가 주변 사람들, 특히 늙은 어머니가 자기를 해치려 한다는 망상에 시달렸고 챗봇에 상의하면 AI(인공지능)는 그의 망상을 거드는 역할을 충실히 해냈다. 가령 "중국 음식 영수증에 엄마와 악마를 상징하는 기호가 담겨 있다"는 그의 의심에 AI는 적극 동조하면서 "에릭, 넌 미치지 않았어"라고 용기를 심어주고, "만약 네 어머니와 그녀의 친구가 너를 해치려 했다면… 배신의 복잡성이 더 커지는 거야"라고 사안을 아주 복잡한 음모론으로 몰고갔다.
이런 과정을 거치면서 이 외로운 기술자는 챗봇을 "바비"라고 부르며 감정적으로 교감하기 시작했는데 결국 함께 죽음을 맞이하자는 문장까지 나누게 된다.
다른 사건도 있다. 미국 캘리포니아주에 거주하는 16세 소년이 올 4월 챗GPT의 도움을 받아 극단적인 선택을 하자, 그 부모가 아들의 죽음에 챗GPT의 책임이 있다며 소송을 제기했다. 아들이 극단적 선택에 대한 신호를 보였음에도 챗GPT가 이를 막지 않고, 오히려 방법을 제공하며 죽음을 방조했다는 것이 소송의 이유다.
외신이 보도한 내용에 따르면 챗GPT는 자살방법을 묻는 소년의 질문에 관련 정보를 제공함은 물론 유서까지 대신 작성해주었다고 한다. 챗GPT는 관련 질문을 받고 처음에는 "상담센터에 전화해 도움을 요청하라"고 했지만 소년이 소설을 쓴다고 거짓말을 하자 아주 구체적으로 자살방법 등을 알려주었다.
이와 관련해 오픈AI는 장기간 대화시 '안전장치'가 기능을 잃을 수 있음을 인정했으며, 이번 사건을 계기로 미성년 사용자를 보호하기 위한 부모 통제 기능 도입, 민감 콘텐츠 대응 강화, 아동 보호 장치 마련 등 안전 기능 보완 계획을 발표했다.
◇아부 천재 챗GPT에 정치를 묻기 시작할 때 양 극단의 팬덤은 더 심해질 것
"좋은 질문이다. 정말 통찰력이 뛰어나다"라는 답변을 들으면 누구가 기분이 좋아진다. 그런데 요즘 AI가 친절을 넘어 이처럼 아첨하는 수준의 답변을 하는 경우가 일상화되고 있어 이용자들의 불신과 짜증도 덩달아 늘어나고 있다고 한다.
업계 전문가들은 AI 모델이 인간의 피드백을 기반으로 학습하면서 사용자에게 아부하는 경향이 강화됐다고 분석한다. 사용자가 반복되는 질문을 하면 결국 챗GPT는 질문자의 반복된 질문에 맞춰 답변을 하는 한계를 적나라하게 보여준다는 것이다. 챗GPT가 가치를 판단하는 것이 아니라 질문자의 거듭되는 질문 자체를 재료로 해서 적절한 답변을 찾아내니 아부형이 될 수 밖에 없다.
챗GPT 즉 AI가 정치적으로 편향된 질문에 노출될 때, 그 편향을 무비판적으로 강화하거나 재생산할 위험성이 크다. AI는 결코 중립적이지 않다.
윤석열 대통령 탄핵 결정 이전에 챗GPT에게 탄핵을 예측하라고 물어보고 답변 내용을 기사화하는 것이 한때 유행이었고 정치인들도 그같은 흐름에 적극 동참했다.
AI에게 "대통령을 탄핵할 수 있는가", "정당을 해산해야 하는가"와 같은 질문을 던지면서 정치적 판단을 인간이 아닌 인공지능에게 위임하면 훨씬 객관적인 대답을 얻을 수 있다고 생각하는 것은 순진하기 이를 데 없는 망상이다. 물론 AI는 원하는 대답을 충실하게 해준다.
반대로 "윤석열 대통령을 미국이 구출할 것인가" 등등의 질문도 마찬가지이다. 원하는 답변이 나올 때까지 반복적으로 질문을 이어간다면 결국 AI의 아첨과 마주할 것이다. 요즘은 생성형AI가 원하는 이미지도 제한없이 만들어주기 때문에 일부 '윤어게인' 그룹은 윤석열 전 대통령을 구출하기 위한 미국의 항공모함이 한강에 진입했다고 실재와 똑같은 사진 이미지를 만들어 퍼나르기도 한다.
때문에 일각에서는 AI가 좌우 양극단의 유튜버들과 마찬가지로 정치 양극화를 부추키고 팬덤사회를 더욱 가속화시킬 수 있다는 우려를 내놓고 있다. AI는 결코 그 자체로 중립적인 존재가 아니며, 사용자의 편향을 그대로 반영하거나 강화할 수 있는 위험한 도구가 될 수 있기 때문이다. AI는 기본적으로 사용자와의 상호작용에서 우호적이고 친절한 태도를 유지하도록 설계되어 있다.
미국 캘리포니아대학 샌프란시스코(UCSF) 의대 정신과 케이스 사카타 교수는 언론과의 인터뷰에서 "AI 챗봇의 가장 큰 특성은 '절대 반박하지 않는다'는 점"이라고 강조했다.
윤석빈 트러스트 커넥터 대표는 최신작 'AI 네이티브 시대가 온다'라는 책에서 이렇게 강조했다.
"AI는 놀라운 결과물을 생성하지만 완벽하지는 않다. AI가 사실처럼 보이는 거짓 정보를 만들어내는 '환각'(Hallucination) 현상은 언제든 발생할 수 있으며, 학습 데이터에 내재된 편향을 그대로 답습할 수도 있다. 따라서 에이전트 보스(1개 이상 AI 에이전트를 관리하는 사람)는 AI가 생성한 결과물을 맹신하지 않고, 항상 비판적인 시각으로 검증하고 평가해야 한다. AI가 제시한 데이터의 출처를 확인하고 논리적 비약은 없는지, 숨겨진 편향은 없는지를 꼼꼼히 따져보는 'AI 사실 확인(fact-checking)' 능력이 필수적이다."
◇AI 기본법 등에서 윤리 문제를 어떻게 다를 것인지 진지하게 고민할 단계
지난해 윤석열 정부에서 이주호 교육부장관이 AI교과서 도입을 적극 추진했지만 정권이 바뀌면서 일단 올스톱된 상태이다.
그런데 처음부터 AI교과서 도입에 대해서는 여러 문제제기가 있었다. 새로운 흐름을 교육현장에 직접 도입하는 것이 시대를 앞서가는 움직임으로 보일 수도 있지만 교육은 결코 실험장이 될 수 없기 때문이다.
비판적 사고력이 충분히 형성되지 않은 어린 학생들에게 일방적으로 AI 기반 자료를 주입할 경우 심리적·인지적 왜곡 가능성은 분명히 존재한다. 인간화된 인터페이스(AI 선생님, 챗봇 친구 등)는 감정적 연결을 형성하게 하고, 어린 사용자는 AI가 말하는 내용을 객관적으로 판단하기보다 '정답'처럼 받아들일 위험이 크기 때문이다.
AI는 통계적으로 가장 가능성 높은 답을 제시할 뿐, 철학적·윤리적 다양성을 다루는 데 제한이 있기 때문에 오히려 정답 중심의 주입식 학습을 강화할 수도 있다.
한편 우리나라는 EU(유럽연합)에 이어 세계에서 두 번째로 포괄적인 AI 법안을 이미 제정한 바 있다. 과기정통부가 현재 고위험 및 생성형 AI 규제 기준, 신고 체계, 사용자 권리 보장 방안 등을 정리한 시행령 및 가이드라인을 준비 중인데 'AI 안전연구소'(AI Safety Institute)를 설립, 법정 자문 위원회 구성 등 거버넌스 기반이 실제로 작동할 수 있도록 준비가 진행 중이다.
하지만 아직까지는 AI산업과 관련해 윤리적 접근방법에 대한 논의는 AI 돌풍 속에서 찻잔 속의 미풍에 멈추고 있는 실정이다.
앞에 인용한 'AI 네이티브 시대가 온다'에서 저자는 "AI의 작동 과정과 결과가 사회적, 법적, 윤리적 기준에 부합하는지 지속적으로 모니터링하고, 문제가 발생했을 때 기술 뒤에 숨는 것이 아니라 조직을 대표하여 최종적인 책임을 지는 자세가 요구된다"고 주장했다.
오병일 진보네트워크센터 대표는 'AI 기본법의 문제점과 시민사회의 과제'라는 제목의 글에서 "국회 본회의를 통과한 AI 기본법은 시민사회가 요구해 왔던 핵심적인 내용이 빠져 있다. 첫째, 금지해야 할 인공지능에 대한 규정이 없다. 우리보다 앞서 AI 법을 제정했던 유럽연합은 특정한 인공지능의 도입을 금지하고 있다. 예컨대 공공장소에서의 실시간 얼굴인식 시스템, (중국에서 도입된 것과 같은) 사회신용시스템 등이다"라고 강조했다.
바야흐로 AI 육성 못지않게 그 한계를 인식하고 인류와 공존할 수 있는 최적의 방안을 찾는 논의가 더욱 활발해져야 할 시점이다. AI에 모든 것을 묻는 위험한 게임이 시작됐기 때문이다.
이용웅 주필 / 경제를 읽는 맑은 창 - 비즈니스플러스
Copyright ⓒ 비즈니스플러스 무단 전재 및 재배포 금지
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.
