지난 2년 동안 구글은 검색 기능을 몇 차례 업데이트했다. 인터넷상 가장 강력한 도구가 전례 없는 인공지능(AI) 기능을 갖추게 되면서 우리는 극적인 격동의 시대를 맞이하게 됐다. 구글은 웹 세상을 구할까 혹은 파괴하게 될까.
구글에서 ‘공기청정기 리뷰’를 검색하는 사용자라면 아마도 웹사이트 ‘하우스프레시.com’이 제공하는 콘텐츠와 유사한 내용을 찾고 있었을 것이다.
지난 2020년, 지젤 나바로와 남편은 지난 10년간 실내 공기질 관련 제품에 대한 후기를 써 본 경험을 바탕으로 해당 웹사이트를 시작했다.
나바로 부부는 자신들의 지하실에 여러 공기청정기를 설치해두고 엄격한 기준의 과학적 실험을 진행했으며, 그 결과를 바탕으로 소비자들이 과대광고 속에서 자신에게 맞는 공기청정기를 살 수 있도록 돕는 기사를 작성했다.
이러한 하우스프레시.com의 코넨츠는 원래 구글이 추구한다고 말한, 구글에서 번성하던 독립적인 콘텐츠 창작자가 게시한 콘텐츠가 무엇인지 잘 보여준다.
그리고 실제로 구글은 곧바로 검색 결과 상단에 결과 상단에 하우스프레시.com으로의 링크를 노출하기 시작했고, 하우스프레시.com은 정규직 직원 15명을 둔 기업으로 번창하기 시작했다. 나바로 부부는 미래에 대해 커다란 계획이 있었다.
그러던 지난해 9월, 구글은 검색 엔진 알고리즘에 대한 대대적인 업데이트를 진행했다.
나바로는 “이 업데이트로 사업이 초토화됐다”고 토로했다.
“갑자기 우리 웹사이트로 트래픽을 보내던 검색어가 사용자들을 대형 라이프스타일 잡지 웹사이트로 안내하기 시작했습니다. 이러한 가전제품을 직접 테스트하지 않는 업체들이죠. 이들의 기사엔 잘못된 정보로 가득 차 있었습니다.”
그런데 올해 3월에 이루어진 구글의 2번째 알고리즘 업데이트는 나바로 부부에게 훨씬 더 가혹했다. 하루 수천 명에 달하던 하우스프레시.com의 방문자 수는 수백 명대로 줄어들었다.
나바로는 “우리는 완전히 망가졌다”고 설명했다.
지난 몇 주간 하우스프레시.com은 직원 대부분을 내보내야만 했다. 나바로는 이대로 상황이 유지되는 한 자신들은 폐업할 수밖에 없다고 토로했다.
한편 구글 대변인은 BBC에 구글은 엄격한 테스트를 거쳐 사용자에게 유용하다고 검증된 기술만 검색 기능에 적용하고 있으며, 웹사이트 운영자들에겐 검색어 노출 순위와 관련한 도움, 자원, 피드백 등을 제공하고 있다고 설명했다.
구글은 이러한 변화가 웹 세상에 도움이 될 것이며, 자사 검색 알고리즘의 변화는 이제 시작에 불과하다고 굳게 믿는 모습이다.
지난주 구글의 순다르 피차이 CEO는 회사의 연례 개발자 콘퍼런스에 모인 수많은 청중 앞에서 검색 엔진 역사상 가장 큰 변화로 손꼽히는 기능을 선보였다.
피차이 CEO는 이미 미국에서 사용 가능한 이 ‘AI 오버뷰’ 기능을 설명하며 앞으로 사용자들이 구글에 검색한 질문에 대해 검색창 상단에 AI가 요약한 답변을 제공할 것이라고 설명했다.
“구글 검색이 여러분을 대신해 작업을 수행하는 것”이라는 피차이 CEO는 “구글 검색은 인간의 호기심 규모에 맞춘 생성형 AI”라고 덧붙였다.
그러나 이 ‘AI 오버뷰’ 또한 지난 2년간 구글이 핵심 서비스인 검색 기능에 적용한 수많은 주요 변화 중 일부일 뿐이다.
구글 측은 최근 검색 기능을 개선하고자 선보인 여러 변화는 새로운 기술의 시대로 사용자를 안내하고, 웹 세상을 괴롭히는 여러 문제를 해결하는 데 도움이 될 것이라고 말한다.
그러나 그 반대가 될 수도 있다는 의견도 있다.
구글이 알고리즘을 개편하고, AI를 통해 검색 엔진을 검색 및 답변 엔진으로 전환하는 과정에서 사용자들이 좋아하던 기존 콘텐츠를 만들어내던 웹사이트들이 몰락할 수도 있다는 것이다.
구글의 이러한 변화가 우리가 현재 온라인에서 보는 콘텐츠에 큰 영향을 미치리라는 것만은 우선 분명하다.
사실 이러한 변화는 앞서 구글이 웹 세상에 문제가 있음을 인지했기에 이뤄지게 됐다.
검색엔진을 써본 사용자라면 이러한 문제를 이미 직접 느껴봤을 것이다. 인터넷은 ‘검색 엔진 최적화(SEO)’ 기술에 지배당한 상태였다. 검색엔진에서 상위에 노출될 수 있도록 기사와 웹 페이지 등을 조정하는 기술을 뜻한다.
심지어 구글이 나서 웹사이트 운영자들에게 SEO 관련 팁, 도구, 조언 등을 제공하기도 했다. 검색 엔진의 메커니즘에 의존하는 수많은 업체 입장에선 SEO가 피할 수 없는 존재이기도 하다.
그런데 문제는 SEO가 악용될 수 있다는 점이다. 일부 웹사이트 운영자들은 인간사용자가 아닌, 구글 알고리즘의 마음에 들도록 설계된 콘텐츠를 제작하면 더 많은 돈을 벌 수 있다는 걸 깨달았다.
그리고 이러한 문제를 해결하기 위한 구글의 노력이 언제나 성공적인 것도 아니다.
‘제일 좋은 여성용 운동화’와 같은 검색어를 입력해 그 결과에 실망한 적이 있는 사용자라면 이 문제에 대해 잘 알 것이다.
사람들이 자주 검색하는 검색어의 결과 페이지엔 유용한 정보는 거의 찾아볼 수 없고, 업체 광고나 링크로 가득 차 있곤 하다.
사용자가 구글 검색 시 찾고자 하는 정보, 즉 해당 주제에 대해 잘 알고 열정을 지닌 사람들이 내놓는 정보는 정작 사라져버린 것이다.
구글 또한 이러한 스팸성 검색 결과와의 전쟁에서 더욱더 노력하고 있다.
지난 2022년, 구글은 그저 검색 결과 상위에 노출되기 위한 목적으로 제작된 콘텐츠를 걸러내고자 알고리즘에 ‘유용한 콘텐츠 업데이트’를 적용했다고 설명했다. 그리고 2023년 9월에도 또 한차례 업데이트를, 올해 3월에도 3번째 알고리즘 업데이트를 진행했다.
그리고 그 결과 “검색 결과 페이지에서 독창적이지 않고 저질인 콘텐츠가 45% 감소했다”는 게 구글의 설명이다. 이는 대단한 성공처럼 보이기도 한다.
구글 대변인은 BBC와의 인터뷰에서 “최근 진행한 일련의 업데이트는 웹 세상의 다양한 사이트에서 제공하는 유용하고, 만족스러우며, 독창적인 콘텐츠를 사용자와 연결하기 위함이다”라고 설명했다.
“구글은 자사의 검색 기능 개선을 통해 가치 있는 트래픽을 만들어내고, 건전하고 개방적인 웹 세상을 지원하는 데 계속 집중하고 있습니다.”
한편 이러한 검색 엔진 업데이트는 몇 가지 놀라운 결과로 이어지기도 했다.
검색 키워드 및 관련 분야를 분석하는 ‘에스이엠러시’의 데이터에 따르면 지난 6개월간 미국 언론사 ‘뉴욕 매거진’ 웹사이트의 구글 검색 트래픽은 32%가 감소했으며, 남성 패션 등에 대해 다루는 ‘지큐.com’의 트래픽은 26% 감소했다.
아울러 영어 속어 설명으로 큰 인기를 끌었던 ‘어반 딕셔너리’의 구글 페이지 뷰는 약 1800만 건 이상 급감했다고 한다. 이는 기존 검색 트래픽의 절반 이상이다.
유명 방송인 오프라 윈프리가 운영하는 웹사이트 ‘오프라 데일리’의 검색 트래픽 또한 거의 58% 감소했다. (‘에스이엠러시’가 업계 표준이긴 하나, 이러한 수치는 모두 추정치이며, 오직 구글 검색 트래픽만 측정한다)
이러한 조사 결과에 대해 ‘뉴욕 매거진’의 대변인은 불완전하며, 자사의 내부 분석과는 다르다고 설명했다. 지큐, 오프라 데일리, 어반 딕셔너리 측에도 의견을 물었으나, 들을 수 없었다.
그러나 전문가, 미디어 경영진, 웹사이트 운영자 십여 명은 BBC와의 인터뷰에서 이러한 데이터가 보여주는 추세가 모두 사실이라고 설명했다.
그렇다면 이렇게 트래픽이 급감한 곳 말고, 오히려 급증했으며 앞으로 여러분이 더 자주 보게 될 사이트는 어디일까. 바로 ‘레딧’이다.
에스이엠러시에 따르면 ‘레딧’의 구글 검색 트래픽은 126% 증가했다고 한다. 그리고 레딧 측은 이미 그 효과를 느끼고 있다. 올해 3월 상장한 기업인 레딧은 최근 첫 분기 실적을 발표했는데, 총 2억4300만달러(약 3313억)의 매출을 기록했다. 전년 대비 무려 48% 증가한 규모다.
미국의 마케팅 기업 ‘앰시브’에서 SEO 전략 및 검색 부문의 부팀장을 맡고 있으며 SEO 업계의 유명 인사이기도 한 릴리 레이는 “레딧의 트래픽 증가는 인터넷 역사상 전례가 없다”고 설명했다.
“레딧엔 요리, 성인용 콘텐츠, 비디오게임, 정원 가꾸기, 패션 등 모든 콘텐츠가 있습니다.”
레딧 측은 이러한 결과에 대해 의견을 내놓길 거부했다.
한편 구글이 최근 진행한 알고리즘 업데이트의 승자가 레딧만 있는 건 아니다.
에스이엠러시의 분석에 따르면 ‘쿼라’, ‘인스타그램’과 같이 사용자가 콘텐츠를 생성하는 플랫폼들의 검색 트랙픽 또한 어마어마하게 증가했으며, ‘링크드인’과 ‘위키피디아’를 찾는 이들도 유의미하게 늘었다고 한다.
어떤 의미에서 구글은 그저 트렌드를 따른 것이라 볼 수도 있다. 지난 몇 년간 노련한 인터넷 사용자들은 검색어 끝에 ‘레딧’이라는 단어를 뒤에 붙여 검색하기 시작했다. 구글의 시스템을 교묘히 이용하는 웹사이트가 아닌, 사용자들의 솔직한 의견을 보고 싶었기 때문이다.
그리고 구글 검색의 홍보 담당자인 대니 설리번은 바로 이 점에 주목했다.
구글 대변인은 “구글은 사용자들이 다른 이들의 경험에서 배움을 얻고자 한다는 사실을 발견해 웹 세상의 포럼 및 기타 커뮤니티 웹사이트 수백 곳의 콘텐츠를 표면으로 드러냈다”고 설명했다.
“구글은 레딧과의 계약 시 레딧의 콘텐츠를 검색 결과 페이지 상단에 노출하겠다고 약속한 바 없습니다.”
하지만 구글 검색 결과는 그야말로 제로섬 게임이다. 검색 엔진이 한 사이트에서 다른 사이트로 트래픽을 보내면, 뺏기는 쪽이 나올 수밖에 없기 때문이다.
그리고 이러한 레딧 방정식에서 패자가 느끼는 영향력은 어마어마하다.
앰시브의 레이 부팀장은 “구글은 웹사이트 게시자들과 전쟁을 벌이고 있는 셈”이라면서 “마치 구글이 영세 블로그 운영자들을 공격하고자 알고리즘 업데이트를 설계한 듯한 모양새다. 많은 이들이 내게 비즈니스 자체가 초토화됐다고 토로한다”고 덧붙였다.
한편 BBC가 접촉한 여러 웹사이트 운영자 및 검색 부문 전문가들은 구글의 검색 결과가 전반적으로 소규모의 독립적인 웹사이트에서 유명한 대형 브랜드의 웹사이트로 이동하고 있으며, 이는 콘텐츠 질과는 전혀 무관한 듯한 방향이라고 지적했다.
영국 소재 엔터테인먼트 뉴스 웹사이트 ‘레디 스테디 컷’의 다니엘 하트 편집장 은 업계에서 이러한 변화를 바로 체감한 이들 중 하나다.
하트 편집장은 “구글의 지난 9월 업데이트를 하자마자 우리 웹사이트의 트래픽이 절반으로 감소했다. 그리고 상황은 점점 더 나빠져가고만 있다”면서 “특히 레딧의 공세도 문제지만, 우리의 콘텐츠를 훔치는 스팸성 웹사이트가 우리를 대체하고 있다. 이건 정말 말도 안 된다”고 호소했다.
그 후 몇 달간 매출이 급감하며 레디 스테디 컷은 20명이었던 작가 및 편집자 팀을 4명으로 줄일 수밖에 없었다고 한다.
한편 구글 대변인은 자사의 최근 업데이트는 스팸성의 출처가 불분명한 콘텐츠 제거에 크게 기여했으며, 검색 엔진에 저질의 정보를 제공하는 악의적인 이들의 진화를 면밀히 지켜보고 있다고 언급한 바 있다.
아울러 업데이트 이후 웹사이트 운영자들에게 관련 팁을 제공했으며, 트래픽을 복구할 경로도 있다는 설명이다.
하트 편집장은 업데이트 이후 사이트를 개선하고자 밤낮없이 일했으며, 컨설턴트도 고용하고, 구글의 권장 사항에 집중하기도 했지만 거의 1년이 지났음에도 달라진 건 없었다고 주장했다.
“구글의 조언을 따르느라 난 내 인생의 8개월을 낭비했다”는 하트 편집장은 “구글 측은 특정 주제에 대해 직접 경험해 본 이들의 콘텐츠를 원한다고 말한다. 우리가 바로 그 대표적인 예시다. 정말 가슴이 아프다”고 덧붙였다.
그러나 BBC가 만나본 웹사이트 운영자 및 콘텐츠 제작자들이 호소한 가장 큰 불만은 AI가 생성한 답변이었다.
구글은 ‘AI 오버뷰’ 도입을 통해 검색 결과 페이지에 노출될 AI 생성 답변이 AI 웹사이트들에 도움이 될 것이라 주장한다.
구글 검색 부문을 총괄하는 리즈 리드는 한 블로그 게시물에서 구글의 AI 검색 결과가 실제로는 구글이 웹사이트들에 보내는 트래픽을 증가시킨다고 주장했다. “사용자의 질문에 대해 웹페이지 목록을 나열하는 기존 검색 결과 페이지에 비해 ‘AI 오버뷰가 더 많은 클릭을 유도한다”는 것이다.
“구글은 이러한 경험을 확대해나가는 과정에서 콘텐츠 게시자들에게 가치 있는 트래픽을 보낼 수 있도록 계속 집중할 것입니다.”
그러나 구글 측은 이러한 주장을 뒷받침할 만한 데이터는 공개하지 않았으며, 수많은 웹사이트 운영자 및 업계 전문가들은 오히려 구글의 주장과는 정반대의 상황이 펼쳐질 가능성이 크다며 우려하고 있다.
청소 관련 팁을 제공하는 웹사이트인 ‘하우스와이프 하우 투’를 운영하는 케이티베리는 만약 구글의 AI가 이들 대신 답변을 내놓으면 사용자들이 더 이상 검색을 이어 나가지 않고 중단할 것이라며 우려했다.
그러면서 베리는 “AI의 답변은 추상적이고 때로는 부정확하기까지 하다. 그래도 사람들은 내 사이트를 더 이상 방문하지 않는다”고 호소했다.
2022년 구글의 업데이트 이후 하우스와이프 하우 투의 트래픽은 70% 감소했으며, 구글이 최근 테스트 버전의 새로운 AI 기능을 출시한 이후엔 더 크게 줄었다고 한다.
“(비슷한 분야의) 웹사이트 순위에서 제 사이트의 순위는 그리 크게 변하지 않았음에도, 개설 초기에 비해 트래픽이 급감했다”는 설명이다.
여행작가로 활동하는 데이비드 레이터 또한 구글의 업데이트가 불러올 결과에 대한 우려를 표했다. 특히 구글의 AI가 자신들의 콘텐츠를 노골적으로 훔치고 있다고 느껴진다고 지적했다.
예를 들어 레이터는 과거 사용자가 구글에 ‘라스베이거스 근처 가장 멋진 슬롯 협곡’을 검색하면 보통 자신이 운영하는 ‘월드 트래블 가이’의 기사가 노출됐었다고 한다. 그런데 이번 주 초 해당 검색어의 결과 페이지 상단엔 그의 기사 대신 AI가 생성한 답변이 노출됐다는 것이다.
레이터는 “구글은 내 기사를 큼지막한 ‘AI 오버뷰’ 답변 칸으로 대체했다. 그리고 심지어 그 답변은 대부분 부정확했다”면서 “AI가 요약한 첫 4개 지역은 심지어 슬롯 협곡도 아니었다. 슬롯 협곡은 협곡 중에서도 좁은 통로로 된 특정 유형의 협곡을 가리키는 용어지만, AI는 이를 이해하지 못한다. 그저 임의로 여러 협곡과 산책로만 나열했다”고 지적했다.
물론 ‘AI 오버뷰’의 답변엔 레이터가 작성한 기사를 볼 수 있는 링크가 있긴 했으나, 사용자가 굳이 시간을 들여 하단의 작은 화살표를 클릭해야만 볼 수 있는 형태다.
레이터는 최근 구글의 알고리즘 업데이트로 인해 트래픽이 95% 이상 줄어들었다면서 ‘AI 오버뷰’에 자신이 작성한 기사 링크가 있다고 하더라도 예전과 같은 트래픽을 기대하진 않는다고 했다.
한편 구글은 AI가 부정확한 정보를 제공할 수 있다는 점을 인정하면서도, 결과 개선을 위해 끊임없이 노력하고 있다고 설명했다.
구글 대변인은 ‘AI 오버뷰’는 일반적으로 단일 웹사이트가 아닌 여러 웹사이트를 기반으로 답변을 생성하며, 관련 링크를 강조하는 형태로 설계됐다고 주장했다.
그러면서 콘텐츠 게시자들은 특별한 태그 기능을 토해 ‘AI 오버뷰’에 자신들의 사이트 링크가 포함되거나 포함되지 않도록 관리할 수도 있다고 덧붙였다.
그러나 AI가 한번 이러한 웹사이트의 콘텐츠를 수집한 이후엔 해당 데이터 제거가 불가능할 수도 있다.
한편 구글의 인터넷 통제에 의문을 품는 건 언론사만이 아니다. 시가총액 무려 1.7조파운드(약 2900조원)를 자랑하는 구글은 현재 여러 반독점 소송에 휘말린 상태다.
우선 구글은 구글이 검색 엔진 업계에 불법적인 독과점 행위를 보이고 있다며 미 법무부가 제기한 소송의 판결을 기다리고 있다. 만약 해당 소송에서 구글이 패한다면, 엄청난 벌금부터 강제 기업 분할에 이르기까지 다양한 처벌이 뒤따를 수 있다.
구글은 전 세계 검색 비즈니스의 90% 이상을 장악하고 있다. 이곳의 대변인은 구글은 오직 경쟁자들보다 월등히 뛰어난 제품을 만들어냈기에 성공할 수 있었던 것이라면서 현재 구글은 “엄청난 경쟁”에 직면했으며, 소비자들에겐 온라인 정보 검색 시 여러 선택권이 있다고 주장했다.
하우스프레시.com의 운영자 나바로는 “구글이 우리나 다른 웹사이트들에 트래픽을 제공할 의무는 없다는 걸 알고 있다”면서 “그러나 구글이 길을 통제한다. 만약 내일 당장 구글이 이 도로를 통해 그 어떠한 마을에도 갈 수 없게끔 막아버린다면 그 마을은 모두 죽어버릴 것”이라고 지적했다.
“그냥 어깨를 으쓱하며 ‘글쎄, 그게 자유 시장인 거니까’라고 하기엔 구글이 지닌 힘이 너무 크다”는 것이다.
그러면서 나바로는 “물론 온라인 웹사이트를 정리하고 어딘가에 가게를 내 오프라인 세상에서 살아갈 수도 있다”고 덧붙였다.
“사람들이 읽고 싶어 하는 고품질의 독창적인 콘텐츠 제작만으로도 성공할 수 있다는 건 순진한 생각이었나 봅니다.”
- AI는 인간관계에 대한 답을 줄 수 있을까?
- AI 작동 원리는 무엇이고 어떤 용도로 사용될까
- 제2차 세계 대전 독일 군인이 아시아 여성? 구글 AI 제미나이의 '정치적 올바름' 문제
- '대신 회의도 참석해드려요'...마이크로소프트의 새로운 AI 어시스턴트 '코파일럿'
- 구글, 자사의 AI 챗봇 바드를 '전부 믿진 말라'
- 내 일자리 AI에 뺏기지 않을까?
Copyright ⓒ BBC News 코리아 무단 전재 및 재배포 금지
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.
