‘판단’은 AI, ‘책임’은 누구?···인공지능 시대, 기술은 달리고 법은 제자리

AI가 판단 주체일 때 결과에 대한 책임 소재가 불명확하다. [사진=픽사베이]

[이뉴스투데이 김진영 기자] AI는 기술적 도구를 넘어 실제 의사결정 과정에 깊이 개입하고 있다. 사용자 행동은 알고리즘 추천에 의해 유도되고, 기업은 AI 시스템 판단을 신뢰해 고객 응대를 수행한다. 그러나 판단의 주체가 사람이 아닐 때 그 결과에 대한 책임 소재는 여전히 불명확하다. 산업계는 이 질문에 아직 명확한 해답을 내놓지 못하고 있어 우려의 목소리가 나온다. 

지난해 12월 3일 인천 송도에서 자율주행 배달 로봇이 차량과 충돌하는 사고가 발생했다. 신호등 인식이 어려운 상황에서 로봇이 도로를 건너다 벌어진 일이었다. 로봇은 지정된 경로를 따라 자율주행 중이었고, 로봇 제어 시스템은 AI 기반 객체 인식 및 경로 판단 알고리즘을 탑재하고 있었다.

사고 이후 책임을 놓고 관할 경찰서, 도로관리청, 운영사, 로봇 개발사 간 책임 공방이 벌어졌다. 법적 판단은 도로관리 미비와 사용자 관리 책임에 중점을 두었다. AI의 판단 오류는 법적 주체로 인정되지 않았다.

의료·금융·제조 등 다양한 산업에서도 반복되고 있다. 한국씨티은행은 올해부터 고객상담 시스템에 생성형 AI를 시범 적용하고 있다. 금융위원회는 지난해 12월 AI 기반 상담 시스템이 고객에게 부정확한 정보를 제공할 경우, 해당 금융기관이 전적인 책임을 져야 한다는 유권해석을 내놨다.

하지만 실제 운용 약관에는 AI 응답은 참고용 정보이며 최종 판단은 고객에게 있다는 단서가 붙어 있다. 기업은 책임을 회피하고, 이용자는 기술을 신뢰하지만 사고 발생 시 법은 구체적인 책임자를 가리키지 못하는 구조다.

AI가 단순 보조도구를 넘어 ‘판단 시스템’으로 진화한 만큼 산업계는 책임 구조에 대한 설계가 필요하다. 과학기술정보통신부는 지난 3월 ‘AI 신뢰성 가이드라인’ 개정판을 통해 AI 시스템 구축 시 설명 가능성, 오류 대응 계획, 책임 이행 체계를 포함하도록 권고했다. 그러나 가이드는 비구속적 행정 지침에 머물고 있어 실제 분쟁 발생 시 법적 효력을 갖지 못한다.

국내와 달리 해외 움직임은 빠르다. 유럽연합(EU)은 지난달 최종 통과된 ‘EU AI Act’를 통해 의료 진단·교통 제어 등 고위험 인공지능(AI) 시스템에 대해 명확한 책임자 지정과 위험 관리 체계를 법제화했다.

사업자는 AI 오작동이나 차별적 판단 등에 대해 법적 소명 의무를 지고, 위반 시 최대 3500만유로 또는 전 세계 연 매출의 7% 중 더 큰 금액에 해당하는 과징금을 부과해야 한다. 반면 한국은 2025년 AI 기본법을 제정했지만, 고위험 AI에 대한 세부 시행령은 아직 마련되지 않아 본격적인 규제 체계는 초기 단계에 머물고 있다.

문제는 책임 공백이 단순한 법적 미비에 그치지 않는다는 점이다. 다수 기업은 AI 서비스를 도입할 때 외부 솔루션 업체나 글로벌 클라우드 플랫폼이 제공하는 모델에 의존하고 있다. 국내 콜센터, 전자상거래, 챗봇 산업에서는 오픈소스 기반 생성형 AI를 환경에 맞게 맞춤화한다. 그러나 기술 활용 주체와 개발 주체가 분리된 구조에서 사고 발생 시 책임 소재는 더욱 불분명해진다.

그 안에서 발생하는 편향, 허위 정보, 데이터 유출 등 문제 발생에 개발사·운영사·고객 중 누구도 완전한 책임을 지지 않는다. 산업이 ‘책임 없는 AI’ 위에 성장을 도모하고 있는 셈이다. 전문가들은 기술 발전 속도에 비해 법 제도와 기업 실무가 느슨하게 따라가고 있다고 지적한다.

AI 정책센터 관계자는 “AI 시스템은 인간의 도구이지만, 점점 인간 대신 결정을 내리고 있다는 점에서 기존 법률이 상정하지 않은 문제들이 나타난다”며 “책임을 묻기 위한 제도 설계와 업계의 자율 규제가 함께 필요하다”고 말했다.

AI 개발업체 관계자는 “기술은 누구보다 빠르게 결정권을 확보하고 있지만 그 결정에 대한 책임은 여전히 공백 상태”라며 “책임 구조가 먼저 갖춰지지 않는다면 AI는 오히려 산업 성장의 불안 요소가 될 수 있다”고 설명했다. 이어 “이제는 기술 도입보다 책임 설계가 먼저 논의돼야 할 때”라고 덧붙였다.