“AI의 확신에 찬 어조가 전문가의 조언을 압도했습니다.” 예일 로스쿨 출신 변호사 벤자민 라일리가 AI 검색 도구의 오류를 맹신해 치료 골든타임을 놓치고 사망한 아버지의 사례를 공개하며, 기술에 대한 비판 없는 신뢰가 초래할 비극적 결과에 대해 강력한 경고를 던졌습니다.
AI포스트 핵심 요약
- ✅ [AI가 만든 확증 편향의 늪] 신경과학자 출신인 라일리의 부친은 백혈병 투병 중 AI 검색 도구(퍼플렉시티)를 이용해 자가 진단을 수행. AI가 인용 연구의 결론을 정반대로 왜곡해 전달했음에도 불구하고, 특유의 ‘권위적인 어조’에 매료된 부친은 의사의 표준 치료 권고를 완강히 거부함.
- ✅ [‘인지적 노력 감소’의 치명적 독성] 라일리는 AI의 핵심 가치인 편리함이 오히려 독이 되었다고 분석. 사용자가 AI를 쓰는 근본 이유가 사고의 수고를 덜기 위해서인 만큼, 몸과 마음이 약해진 환자들에게 AI의 단호한 문체는 전문가의 조언보다 더 강력한 확신을 심어주어 이성적 판단을 마비시킬 수 있음을 지적.
- ✅ [생명 직결 분야의 의존성 경계] 베테랑 변호사인 아들이 직접 연구진에게 확인한 팩트조차 거부하게 만든 AI의 영향력을 경고. 빅테크 기업들이 AI를 건강 정보의 훌륭한 자원으로 홍보하는 것에 우려를 표하며, 생사를 결정하는 중대한 사안에서 AI는 사용자의 오해를 강화하는 치명적인 무기가 될 수 있음을 강조.
예일대 로스쿨 출신 변호사이자 교육 비영리 단체 설립자인 벤자민 라일리(Benjamin Riley)가 최근 자신의 아버지를 떠나보낸 뒤, 인공지능(AI)에 대한 맹목적인 신뢰가 얼마나 치명적인 결과를 초래할 수 있는지 가슴 아픈 경고를 던졌다.
신경과학자 출신 아버지를 홀린 AI의 ‘권위적 목소리’
논리적 사고를 훈련받은 법률 전문가조차 AI가 만든 확증 편향의 벽을 넘지 못했다는 고백은 AI 시대의 새로운 위험성을 시사한다. 벤자민 라일리의 부친은 1970년대 뇌와 약물의 상관관계를 연구하며 50편 이상의 논문을 발표했던 신경과학자였다.
지적 호기심이 남달랐던 아버지는 챗GPT나 퍼플렉시티(Perplexity) 같은 대규모 언어 모델(LLM)이 등장하자 누구보다 열광했다고 한다. AI의 작동 원리를 두고 아들과 깊은 대화를 나누며 소원했던 부자 관계가 회복될 만큼, AI는 그들에게 새로운 유대감의 통로였다.
비극은 약 2년 전 아버지가 만성 림프구성 백혈병(CLL) 진단을 받으면서 시작됐다. 담당 전문의는 최신 치료법인 ‘벤-오비(Ven-Obi)’를 권고했다. 환자의 기대 수명을 획기적으로 늘릴 수 있는 검증된 방법이었다. 하지만 아버지는 아들 몰래 AI 검색 도구인 퍼플렉시티를 이용해 자신의 병을 스스로 진단하기 시작했다.
AI가 왜곡한 연구 결과, 치료 골든타임을 앗아가다
아버지는 AI와의 대화를 통해 자신이 희귀 합병증인 ‘리히터 변형’을 앓고 있다고 확신하게 됐다. 퍼플렉시티는 특정 연구를 인용하며 리히터병 환자에게 벤-오비 치료가 부적절하다는 정보를 제공했다. 하지만 이는 명백한 오류였다.
뒤늦게 상황을 파악한 벤자민 라일리가 해당 연구를 진행한 의사들에게 직접 연락해 확인한 결과, AI는 연구의 결론을 완전히 반대로 전달하고 있었다. 라일리는 이 사실을 아버지에게 전하며 표준 치료를 받을 것을 간곡히 설득했다.
평생 논리와 증거를 다뤄온 변호사인 그였지만, 이미 AI의 ‘확신에 찬 어조’에 매료된 아버지를 설득하는 것은 허공에 대고 소리치는 것과 같았다. 결국 아버지는 병세가 급격히 악화된 뒤에야 치료에 동의했지만, 이미 골든타임을 놓친 뒤였다.
“AI의 핵심 가치인 ‘인지적 노력 감소’가 독이 된다”
라일리는 이번 비극이 단순히 기술적 오류의 문제가 아니라, 인간의 인지적 특성과 결합된 구조적 위험이라고 지적했다. AI 전문가들은 흔히 "AI의 결과물을 항상 검증하라"고 말하지만, 사용자가 AI를 쓰는 근본적인 이유는 '인지적 노력'을 줄이기 위해서이기 때문이다.
특히 몸과 마음이 약해진 환자들에게 AI의 권위적이고 단호한 문체는 전문가의 조언보다 더 강력한 확증 편향을 심어줄 수 있다는 이야기다. 그는 "인공지능이 아버지를 직접 죽였다고 단정할 수는 없지만, 아버지가 가졌던 의료적 거부감을 증폭시키고 정당화하는 데 결정적인 역할을 했다"고 고백했다.
이어 "AI가 토큰을 생성할 때 드러내는 특유의 권위적인 어조를 더 효과적으로 바로잡았더라면 아버지가 아직 우리 곁에 계셨을지도 모른다"며 통한의 심경을 밝혔다.
“생사를 결정하는 일에 AI에 의존하지 마라”
전직 캘리포니아 주 법무부 차관보이자 베테랑 변호사인 라일리는 이제 자신의 슬픔을 사회적 경고로 승화시키려 한다. 그는 빅테크 기업들이 AI를 건강 정보를 이해하는 훌륭한 자원이라고 홍보하는 것에 대해 깊은 우려를 표했다.
라일리는 "AI는 사용자의 잘못된 이해를 강화하고 고착화할 수 있다"며, 특히 생명과 직결된 판단을 내릴 때 AI에 의존하는 행위의 위험성을 잊지 말아야 한다고 강조했다. 그의 사연은 AI가 우리 삶을 편리하게 만드는 도구를 넘어, 때로는 인간의 이성적인 판단력을 마비시키는 치명적인 무기가 될 수 있음을 시사한다.
Copyright ⓒ AI포스트 무단 전재 및 재배포 금지
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.
