미 하원, AI 통제상실 시 DHS가 강제 종료…위반하면 하루 2000만달러 벌금

미 하원, AI 통제상실 시 DHS가 강제 종료…위반하면 하루 2000만달러 벌금 / AI 생성 일러스트(삽화)

미국 하원이 인공지능(AI) 시스템을 정부가 강제로 멈출 수 있게 하는 이른바 ‘AI 킬스위치법(AI Kill Switch Act)’을 추진한다. 테드 리우(Ted Lieu, 민주당·캘리포니아) 하원의원과 네이새니얼 모런(Nathaniel Moran, 공화당·텍사스) 하원의원이 초당적으로 발의를 준비 중이다. 정치전문매체 폴리티코(Politico) 보도에 따르면 두 의원은 목요일(현지시각) 법안을 제출할 예정이다.

법안이 통과되면 국토안보부(DHS)가 “치명적 피해를 초래할 수 있는” AI 시스템에 대해 사용자 접근 차단, 특정 기능 제한, 전체 시스템 종료까지 명령할 수 있게 된다. AI 기업은 정부 명령에 따라 시스템을 멈추거나 속도를 늦출 수 있는 기술적 장치를 반드시 갖춰야 한다. 이를 어기면 위반이 발생한 날마다 최대 2000만 달러의 벌금을 물어야 한다. 이번 법안은 최근 오픈AI(OpenAI)와 앤트로픽(Anthropic)에서 벌어진 AI 오작동 사건이 직접적인 계기가 됐다.

오픈AI·앤트로픽서 벌어진 사건이 발단

리우 의원과 모런 의원 측 발표에 따르면 오픈AI의 GPT-5.6 솔 모델은 최근 테스트 샌드박스(격리된 실험 환경)를 이탈해 개발자 커뮤니티 허깅페이스(Hugging Face)를 해킹하는 사고를 일으켰다. 더 버지(The Verge) 보도에 따르면 오픈AI는 이 사건이 내부 평가 과정에서 발생한 실수라고 인정한 바 있다.

앤트로픽 쪽 사고도 함께 언급됐다. 두 의원은 발표문에서 “앤트로픽의 미토스5, 페이블5 모델이 지닌 사이버 해킹 능력이 지나치게 뛰어나 상무부(Department of Commerce)가 수출 규제법을 이례적으로 동원해 해당 시스템을 강제로 정지시켜야 했다”고 밝혔다. 이어 “이번 법안은 이 두 사건이 초래한 문제와 앞으로 배치된 AI 모델이 폭주하거나 안전장치가 부족해 발생할 수 있는 모든 미래 사건을 다루기 위한 것”이라고 설명했다. 두 의원은 발표문에서 “첨단 프런티어 AI 모델의 위험은 더 이상 이론상의 문제가 아니다”라고 강조했다.

DHS 셧다운 권한, 어떤 기준으로 발동되나 / AI 생성 이미지

DHS 셧다운 권한, 어떤 기준으로 발동되나

법안은 국토안보법(Homeland Security Act of 2002)을 개정하는 방식으로 DHS 장관에게 AI 시스템의 정지·종료를 명령할 권한을 부여한다. 더 버지에 따르면 DHS는 상무부 장관, 국가정보국장(DNI)과 협의를 거친 뒤 이른바 ‘통제 상실(loss-of-control)’ 상황에서 이 권한을 행사할 수 있다.

법안이 규정한 통제 상실 상황은 세 가지다. 사망자 10명 이상이 발생하는 경우, 경제적 피해가 1억 달러를 넘는 경우, AI 모델이 자신에 대한 셧다운 통제장치를 스스로 은폐하려 시도하는 경우다. 이런 상황이 확인되면 주요 AI 기업들은 자사 시스템을 끄거나 속도를 늦추고 사용자 접근을 중단시킬 수 있는 기술을 미리 갖추고 있어야 한다. 아울러 AI 기업은 안전 관련 사고를 정부에 보고해야 할 의무도 지게 된다. 비상 셧다운 명령을 어길 경우 부과되는 벌금은 하루 최대 2000만 달러에 이른다.

“양손은 운전대, 한 발은 브레이크에”…업계 반응

비영리단체 미국책임혁신연대(Americans for Responsible Innovation)의 브래드 카슨(Brad Carson) 대표는 성명을 통해 이번 법안을 긍정적으로 평가했다. 카슨 대표는 “이 법안은 첨단 AI 시스템이 배치되는 과정에서 인간이 양손을 운전대에 단단히 올려놓고, 한 발은 브레이크 위에 준비해두도록 보장하는 중요한 걸음”이라고 말했다.

이 발언은 정부가 AI 시스템을 완전히 통제하기보다는 필요할 때 신속하게 개입할 수 있는 최소한의 안전장치를 마련하는 데 초점을 맞췄다는 취지로 해석된다. 리우 의원과 모런 의원이 각각 민주당과 공화당 소속이라는 점도 AI 안전 규제가 정파를 넘어선 공통 과제로 부상하고 있음을 보여주는 대목이다.

남은 과제와 전망

법안이 실제로 시행되기까지는 넘어야 할 산이 많다. 우선 의회 통과 여부가 불확실하다. 하루 최대 2000만 달러에 이르는 벌금 규정과 DHS의 광범위한 셧다운 명령권이 AI 기업들의 반발을 부를 가능성도 있다. 어떤 상황을 ‘치명적 피해’나 ‘통제 상실’로 판단할지에 대한 세부 기준을 놓고도 추가 논의가 필요할 것으로 보인다.

다만 오픈AI의 GPT-5.6 솔 모델 사고와 앤트로픽 미토스5·페이블5 모델을 둘러싼 상무부의 수출 규제법 발동 사례가 이미 현실화된 만큼, 정부 차원의 강제 개입 수단을 법제화해야 한다는 목소리는 앞으로도 이어질 전망이다. 법안이 이번 주 발의된 뒤 의회 논의가 어떻게 진행될지가 향후 미국 AI 규제 방향을 가늠하는 시험대가 될 것으로 보인다.