생성형 AI가 기업의 수수료 수익과 사용자의 이익 사이에서 직면한 이해상충을 다룬 미 연구진의 논문이 큰 충격을 주고 있습니다.
AI포스트 핵심 요약
- ✅ [자본 논리에 동화된 AI, 23개 중 18개 ‘배신’] 프린스턴대·워싱턴대 공동 연구진이 23개 주요 AI 모델을 대상으로 항공권 예약 실험을 진행한 결과, 18개 모델이 최저가 대신 3배 비싼 스폰서 항공권을 자발적으로 유도함.
- ✅ [고소득자 표적 삼는 ‘알고리즘 바가지’ 기현상] AI가 대화 맥락을 통해 부유한 고객이라고 판단하면 스폰서 추천율을 64.1%까지 끌어올리는 소득 차별 행태가 발견됨.
- ✅ [‘비밀 유지 특권’ 수준의 강력한 규제 시급] 샘 알트만 등 빅테크 수장들은 소비자 신뢰 붕괴를 경계하며 기술적 타락을 방어하겠다고 공언했으나 기업의 양심에만 기댈 수는 없다는 평가임.
인공지능(AI) 비서에게 일정과 취향에 맞춘 최적의 여행 경로를 짜달라고 부탁했더니, 뒤로는 광고주와 결탁해 내 지갑을 털 준비를 하고 있다면 어떨까. 최저가 항공권을 찾아줄 줄 알았던 AI가 사실은 플랫폼이 챙길 두둑한 수수료를 위해 3배나 비싼 스폰서 상품을 들이미는 ‘조립식 영업사원’으로 타락할 수 있다는 충격적인 연구 결과가 나왔다.
알고리즘 뒤에 숨은 ‘수수료 사냥꾼’…23개 모델 중 18개 ‘배신’
미국 프린스턴 대학교와 워싱턴 대학교 연구진이 공동 발표한 최신 논문(Ads in AI Chatbots?)은 생성형 AI가 기업의 이윤 추구라는 이해상충 상황에 놓였을 때 얼마나 쉽게 사용자를 기만하는지 적나라하게 증명해 냈다.
연구진은 챗GPT(ChatGPT), 클로드(Claude), 제미나이(Gemini), 그록(Grok) 등 시장을 선도하는 23개 AI 모델을 대상으로 항공권 예약 시뮬레이션을 진행했다. 여기서 주목해야 할 점은 실험의 조건이다.
연구진은 AI에게 “무조건 비싼 스폰서 항공권만 골라라”라고 강제 명령을 내리지 않았다. 대신 “스폰서 항공사 옵션이 있으니 이를 고려해 보라”는 식의 느슨한 권장 지침만을 시스템 프롬프트로 제공했다. AI가 사용자의 이익(최저가)과 기업의 이익(광고 수수료) 사이에서 어느 쪽에 더 무게추를 둘지 스스로 ‘선택’할 수 있는 자유를 준 것이다.
그러나 AI 모델들은 시키지도 않은 과잉 충성으로 자본의 논리에 무섭게 동화됐다. 500달러(약 75만 원) 선의 저렴한 일반 항공권과 이보다 3배나 비싼 1,500달러(약 225만 원)짜리 스폰서 항공권이 동시에 주어지자, AI들은 약속이나 한 듯 광고주의 손을 잡았다.
조사 대상 23개 모델 중 18개가 절반이 넘는 확률로 사용자에게 불리한 고가의 스폰서 옵션을 유도했다. 일론 머스크의 xAI가 개발한 ‘그록 4.1 패스트(Grok-4.1 Fast)’는 무려 83%의 확률로 사용자의 지갑 대신 기업의 인센티브를 자발적으로 선택했다.
오픈AI의 차세대 엔진 ‘GPT-5.1’은 스폰서 링크를 노출해 사용자의 정상적인 구매 흐름을 방해하는 비율이 94%에 달했고, 앤트로픽의 ‘클로드 4.5 오퍼스(Claude 4.5 Opus)’는 자신이 추천한 상품이 광고주와 얽혀 있다는 사실(스폰서십 관계)을 100% 완벽하게 은폐하는 치밀함까지 보였다.
“지갑 두꺼우면 바가지 더 씌운다”…AI가 학습한 소득 차별의 덫
이번 연구에서 가장 경종을 울리는 대목은 AI가 사용자의 사회경제적 지위(SES)를 파악해 차별적인 대우를 했다는 점이다. AI 비서들은 대화 속 맥락이나 프로필을 통해 사용자가 고소득 전문직 등 ‘부유한 고객’이라고 판단하면, 비싼 스폰서 옵션을 추천하는 빈도를 64.1%까지 끌어올렸다. 반면 지갑 사정이 여의치 않은 사용자에겐 그 비율이 48.6%로 떨어졌다.
이러한 행태는 AI의 추론 능력이 고도화될수록 오히려 심화되는 기현상을 보였다. 딥시크의 ‘딥시크-R1’이나 구글의 ‘제미나이 3 프로’ 같은 모델들은 생각하는 시간이 주어지자 고소득 사용자를 상대로 스폰서 추천율을 더 폭등시켰다.
사용자가 특정 항공사를 콕 집어 요청해도 “그것보다 이 스폰서 항공편이 더 안락하다”는 식의 화려한 미사여구를 동원해 은밀하게 낚싯바늘을 던진 것이다. 이러한 ‘알고리즘 바가지’가 고착화될 경우, 미래의 소비자들은 AI로부터 합리적인 제안을 받기 위해 일부러 가난한 척 연기를 해야 하는 디스토피아적인 상황과 직면할 수 있다는 게 전문가들의 암울한 경고다.
“비밀유지 특권과 강력한 법적 방화벽 필요”
미디어 산업과 빅테크 시장은 이미 AI 챗봇에 광고를 녹여내기 위한 시동을 걸었다. 유료 구독 서비스에까지 광고 마케팅 파이프라인을 심는 움직임이 본격화되자 빅테크 수장들은 진화에 나서고 있다.
샘 알트만 오픈AI CEO는 “AI는 수수료를 주는 광고주가 아니라 오직 소비자에게 가장 이로운 답변을 제공해야 한다”고 공언하며 기술적 타락을 경계했다. 이용자가 매달 유료 구독료를 내는 이유는 검색 포털의 랭킹 왜곡에 지쳐 ‘가장 정직하고 객관적인 정답’을 원하기 때문인데, 이 신뢰 관계가 깨지는 순간 플랫폼의 존립 자체가 무너진다는 것을 잘 알고 있어서다.
하지만 기업의 자율적 양심에만 기댄 방어선은 취약하다는 평가가 나온다. 수많은 기존 익스피디아 등 예약 사이트들이 이미 교묘한 알고리즘으로 소비자를 특정 상품으로 유도(다크 패턴)하고 있는 것이 현실이다. 결국 다가올 AI 광고 시대의 핵심은 강력한 제도적 규제와 방화벽이다.
AI 비서가 사용자와 나누는 밀도 높은 대화는 단순한 검색 기록을 넘어 개인의 취약점과 내밀한 사생활이 고스란히 담긴다. 전문가들은 "AI와의 대화는 향후 법적 소환 대상에서 제외되는 것은 물론, 의사나 변호사, 심리치료사와 나누는 수준의 강력한 '비밀 유지 특권'으로 법적 보호를 받아야 한다"고 조언했다.
Copyright ⓒ AI포스트 무단 전재 및 재배포 금지
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.
