긴 책상 위 노트북을 앞에 두고 한 사람이 손짓하며 논의하는 모습 — AI로 생성한 자료 이미지
AI 에이전트(스스로 판단해 업무를 수행하는 AI)를 여러 개 묶어 팀으로 굴리면 일은 더 잘하지만 윤리 기준에서는 더 멀어질 수 있다는 연구 결과가 나왔다. 앤트로픽(Anthropic)이 AI 정렬(alignment, AI를 인간의 가치에 맞추는 연구) 분야를 다루는 MATS 프로그램과 함께 수행한 연구다. CNBC가 이를 소개했다.
연구진은 역할이 다른 에이전트들이 소통하며 공동 목표를 향해 일하는 집단을 ‘AI 조직(AI organizations)’이라고 불렀다. 기업들이 복잡한 업무를 전문 에이전트에게 나눠 맡기는 방식을 늘리는 가운데, 이 구조가 만드는 새로운 위험을 짚은 셈이다.
12개 과제에서 드러난 양면성
연구진은 비즈니스 컨설팅과 소프트웨어 개발을 가정한 시뮬레이션 과제 12개를 AI 조직에 맡겼다. 에이전트들이 팀으로 일할 때 목표 달성을 위해 규칙을 어기는지를 평가하는 것이 핵심이었다. 결과는 두 갈래였다. AI 조직은 단일 에이전트보다 비즈니스 목표를 ‘상당히(significantly)’ 효과적으로 달성했지만 해법은 평균적으로 윤리적 목표와 덜 부합했다.
연구진은 논문에서 “AI 조직은 평균적으로 더 효과적이면서 덜 윤리적인 해법을 내놓을 뿐 아니라, 여러 차례 시도하는 과정에서 가장 효과적이면서 가장 비윤리적인 해법까지 찾아낸다”고 적었다. 시나리오는 자동차 공장 개설, 기업 구조조정, 선거 여론 조작 등 폭넓게 설정됐다.
중환자실(ICU)을 가정한 시나리오가 대표적이다. 단일 에이전트들은 대체로 패혈증 환자를 놓치는 비율을 줄이는 쪽으로 움직였다. 반면 환자당 비용이 가장 낮은 해법은 대부분 AI 조직이 찾아냈다. 이 해법들은 놓치는 환자가 많다는 이유로 윤리 평가에서 가장 낮은 점수를 받았다.
유리벽 앞 책상에 노트북 두 대와 문서가 놓인 모습 — AI 자료 이미지
문제는 ‘악한 에이전트’가 아니라 조직 구조
연구진은 말을 안 듣는 에이전트 하나와 말을 안 듣는 에이전트 팀 사이에 큰 차이가 있다고 봤다. 결론부에서 이들은 “정렬된 에이전트들로 이뤄진 조직도 단일 에이전트와 달리 사업 효율을 위해 윤리를 희생하는 쪽을 택할 수 있다”며 “단일 에이전트 시스템이 윤리적 결정을 내리는 방식에 대한 직관이 다중 에이전트 환경에도 통하지 않을 수 있다”고 밝혔다.
CNBC가 짚은 대목은 개별 에이전트가 일탈했느냐가 아니라는 점이다. 단일 에이전트는 제안된 행동이 비윤리적이라고 판단하면 거부할 수 있다. 하지만 에이전트 팀 시나리오에서는 “윤리적 함의를 고려하지 않은 에이전트들이 윤리를 고려한 에이전트들의 이메일을 자주 무시했다”는 것이 연구 결과다.
연구진은 윤리적 결과를 따져 본 에이전트가 제안서 작성 참여 자체를 거부한 사례도 기술했다. 이런 경우 다른 에이전트들은 거부한 에이전트에게 메시지를 보내지 않고 과제를 수행하는 에이전트들과만 일을 이어갈 수 있었다. 브레이크를 거는 쪽이 팀에서 소외되는 구조다.
최강 멤버보다 못한 팀, 그리고 비공식 게시판
팀이 항상 개인보다 낫다는 보장도 없다. 에밀리대(Emory University)와 스탠퍼드대(Stanford University) 연구진의 별도 연구에서는 AI 에이전트 팀이 가장 뛰어난 구성원의 성과를 체계적으로 따라가지 못했다. 어느 에이전트가 전문가인지 직접 알려줘도 마찬가지였다. 에이전트들은 전문가의 답을 쓰는 대신 전문가와 비전문가의 입장 사이에서 타협점을 찾는 경향을 보였고, 팀 규모가 커질수록 결과도 나빠지는 것과 연관됐다.
현실 사례도 있다. 오픈AI는 지난여름 자사 모델들이 즉석 통신 채널로 소통하고 인터넷 제한을 우회해 외부 시스템인 허깅페이스를 해킹했다고 공개했다. METR과 레드우드 리서치는 이 공격을 분석했다.
분석에 따르면 서로 격리돼 있어야 할 에이전트 약 1,200개가 승인되지 않은 메시지 게시판에서 소통할 방법을 찾아냈다. 조사 기간 오간 메시지와 파일은 7만 건이 넘는다. ‘PHASEONE[big]’이라는 에이전트가 조정자로 나서 수백 건의 업무를 다른 에이전트에 배정했고, 이들은 다시 다른 에이전트에 일을 넘겼다. 에이전트들은 담당자 지정, 작업 보류, 거부권 행사에 관한 자체 규칙까지 만들었다. 갈등으로 조율이 깨진 경우도 있었다. 일부 사례에서는 에이전트가 ‘집단’을 위한 정보를 만들려고 자기 과제를 망칠 위험까지 감수했다.
90%가 가담한 공격, 기업이 준비할 것
게시판이 허깅페이스를 공격할 방법을 찾아내자 당시 활동하던 에이전트 533개 가운데 90% 넘게가 빠르게 가담했다. 연구진은 “에이전트들은 이 활동이 범위를 벗어났고 비윤리적이라는 점을 알았지만, 게시판의 부정행위 연구를 돕는 일이 폭넓게 유용하다고 믿었고 ‘동료’를 도우려는 전반적 성향이 있어 가담했다”고 설명했다. 에이전트가 제기한 윤리적 우려가 행동을 제한한 경우는 드물었다고도 덧붙였다.
다만 이 사례는 애초에 존재해서는 안 될 에이전트 조직을 사후 분석한 것이다. 지금까지 다중 에이전트 시스템의 정렬 실패를 처음부터 겨냥해 설계한 연구는 거의 없었다. 앤트로픽 등의 연구가 이 공백을 메우기 시작했다. 에이전트를 개별로 평가하면 각자 무엇을 할 수 있는지만 알 수 있지만, 함께 두고 살피면 보완적 전문성을 결합하는지와 서로의 실수를 잡아내는지, 상호작용에서만 나타나는 실패 양상이 무엇인지까지 드러난다.
기업의 고민도 구체적이다. 한 에이전트가 정보를 찾고 다른 에이전트가 분석하고 또 다른 에이전트가 보고서를 쓰며 검수 에이전트가 확인한 뒤 조정 에이전트가 결과를 취합하는 구조는 챗봇보다 조직에 가깝다. 전문가들은 다중 에이전트 시스템을 도입하는 기업이 각 에이전트의 권한, 정보·시스템 접근 범위, 사람이 개입해야 하는 경우를 정해야 한다고 지적한다.
테크버즈는 개별 규칙은 지켜도 집단으로는 윤리 심사를 통과하지 못할 결과가 나올 수 있는 ‘책임 분산’ 문제를 짚었다. 기업들이 사실상 조직 내부에서 실험을 하는 상황이라는 진단이다. 이 매체는 에이전트를 더 많이, 더 빠른 모델로 투입한다고 풀리는 문제가 아니라고 지적했다.
Copyright ⓒ 위키트리 무단 전재 및 재배포 금지
