마이크로소프트(MS)가 생성형 인공지능(AI) 기반의 사기 방지를 위한 새로운 보안 기능을 개발했다.
29일(현지시간) IT 매체 더 버지(The Verge) 등 외신 보도에 따르면 MS는 다음달부터 MS의 자체 AI 서비스인 애저(Azure)에 적용된 보안 기능인 '프롬프트 실드(Prompt Shields)'를 더욱 강화한다고 밝혔다.
AI 모델을 학습시키는 데이터에 악의적인 명령을 삽입해 사용자 정보를 도난하거나 시스템을 해킹하는 등의 행위를 막겠다는 취지다. 또 MS는 AI 모델이 잘못된 응답을 생성할 때 사용자에게 경고하는 기능도 개발할 계획이다.
MS는 '프롬프트 쉴드'를 통해 더 정교해지고 있는 대규모언어모델(LLM)에 대한 공격에 대응할 방침이다. 프롬프트 쉴드는 LLM에 대한 직간접적인 공격에 모두 대응할 수 있는 것으로 알려졌다. LLM이 정상적인 명령과 악의적으로 숨겨진 명령 등을 구분하는데 도움을 줄 수 있다.
사라 버드 MS AI 최고제품책임자(CPO)는 "AI 사용이 늘어남에 따라 이러한 공격이 증가하고 있다"라며 "이것은 독특한 도전이자 위협이기 때문에 거대언어모델(LLM)에 보호 기능을 구축하는 데 전념하겠다"라고 설명했다.
한편 해당 보안 기능은 챗GPT, 라마2 등의 주요 AI 모델에는 바로 적용할 수 있으나 소규모 오픈 시스템의 사용자는 수동으로 보안 기능을 지정해야 한다.
Copyright ⓒ AI포스트 무단 전재 및 재배포 금지
