“AI의 핵심 가치인 인지적 노력 감소가 확증 편향을 고착화하는 독이 되었습니다.” 편의성에 의존해 검증을 포기한 인간의 심리와 AI의 권위적 어조가 결합해 초래한 치명적 사고들을 조명했습니다.
AI포스트 핵심 요약
- ✅ [제미나이의 부실한 등산 계획을 따르다 섀스타산 고립 사고 발생] 초보 등산객 3명이 AI 조언만 믿고 부족한 물과 식량으로 산행을 지속하다 길을 잃고 구조.
- ✅ [퍼플렉시티의 오류 정보를 신봉하다 치료 골든타임 놓쳐 사망] 백혈병 환자가 AI의 잘못된 연구 해석을 맹신해 표준 치료를 거부하다 병세가 악화되어 비극적 결말 맞이.
- ✅ [세계적 로펌 설리번 앤 크롬웰의 법원 ‘가짜 판례’ 제출 망신] 철저한 검증을 거쳐야 할 법조계마저 교차 검증 없이 AI 생성 문서를 사용하다 허위 판례가 발각되어 사과 서한 제출.
인공지능(AI) 챗봇과 검색 도구가 제공하는 답변을 맹목적으로 신뢰했다가 신체적·재산적 피해를 입거나 목숨까지 잃는 치명적인 사고가 잇따르고 있다. 편의성에 의존해 스스로 검증하려는 노력을 포기하는 인간의 심리와 AI 특유의 '확신에 찬 환각(Hallucination)'이 결합하면서 생명과 법적 책임이 걸린 핵심 영역까지 위협받는 모습이다.
제미나이 조언대로 챙겼다가…4천m 섀스타산서 고립된 등산객들
ABC방송 등 외신보도에 따르면 미국 캘리포니아주 섀스타산에서는 최근 구글의 AI 모델 '제미나이(Gemini)'가 제공한 등산 계획을 따르던 초보 등산객 3명이 길을 잃고 계곡에서 밤을 지샌 뒤 구조되는 사건이 발생했다.
이들은 제미나이의 조언에 따라 8시간짜리 등반에 맞춘 턱없이 부족한 식량과 물만 챙겨 산에 올랐다. 그러나 실제 산행이 16시간 이상 지연되며 어둠 속에서 하산하던 중 길을 잃었고, 가파른 머드 크리크 협곡에서 무릎 부상과 추위에 떨며 고립됐다.
다음 날 아침 산림청과 보안관 구조대에 의해 간신히 구조된 이 사건에 대해 시스키유 카운티 보안관실은 "여행 계획을 세울 때는 절대 AI나 휴대전화에만 의존해서는 안 되며, 현지 관리소에 직접 문의해 정확한 정보를 얻어야 한다"고 강력히 경고했다.
퍼플렉시티 오류 믿은 암 환자…골든타임 놓치고 결국 사망
AI의 잘못된 답변이 초래한 더 비극적인 사례도 공개됐다. 예일대 로스쿨 출신 베테랑 변호사 벤자민 라일리는 자신의 아버지가 AI 검색 도구 '퍼플렉시티(Perplexity)'의 오류 정보를 신봉하다 치료 골든타임을 놓쳐 사망했다고 고백했다.
만성 림프구성 백혈병 진단을 받은 라일리의 아버지는 전문의가 권고한 표준 치료법 대신 AI와의 대화를 선택했다. 퍼플렉시티는 특정 연구 결과를 완전히 반대로 해석해 해당 치료법이 부적절하다는 허위 정보를 제공했다.
변호사인 아들이 해당 연구진에게 직접 확인해 AI의 오류를 증명하고 설득했으나, 이미 AI의 단호하고 권위적인 어조에 매료된 아버지는 치료를 거부하다 병세가 급격히 악화된 후에야 동의했다. 그러나 이미 손을 쓸 수 없는 상태였다. 라일리는 "AI의 핵심 가치인 '인지적 노력 감소'가 환자의 확증 편향을 고착화하고 정당화하는 독이 되었다"고 호소했다.
월가 대형 로펌도 낚였다…법원에 '가짜 판례' 제출해 공식 사과
최고 수준의 전문성을 자부하는 월가 법조계조차 AI의 환각 현상을 제어하지 못해 낭패를 봤다. 900명 이상의 변호사를 보유한 세계적 로펌 '설리번 앤 크롬웰(S&C)'은 뉴욕 남부 파산법원에 제출한 문서에 존재하지 않는 가짜 판례와 파산법 오인용 문구를 포함했다가 상대 측의 지적으로 발각되어 사과 서한을 제출했다.
S&C 측은 내부 검증 절차를 지키지 못했음을 시인하며 "AI 환각으로 인한 부정확성과 오류가 포함됐다"고 밝혔다. 미국 내에서 AI 환각이 확인된 법정 사례가 이미 900건을 넘어선 가운데, 대형 로펌마저 교차 검증 없이 AI 생성 문서를 사용했다가 망신을 당한 대표적 사례로 기록됐다.
편의성이 불러온 '확증 편향'…교차 검증 없는 의존 위험성 경고
전문가들은 생명이나 법적 책임을 다루는 영역에서 AI를 무비판적으로 수용하는 태도가 매우 위험하다고 입을 모은다. AI는 구조상 문장을 그럴듯하게 구성하는 능력이 탁월해 오류를 전달할 때조차 대단히 확신에 찬 어조를 사용하기 때문이다.
빅테크 기업들이 AI를 만능 정보 도구로 홍보하는 사이, 사용자가 스스로 생각하고 검증하는 인지적 노력을 포기하면서 발생하는 'AI 맹신 참사'는 앞으로 더욱 심각한 사회적 문제로 떠오를 전망이다.
Copyright ⓒ AI포스트 무단 전재 및 재배포 금지
