KAIST, AI가 어떻게 생각하는가?···의사결정 내부 구조 첫 시각화

KAIST는 김재철AI대학원 최재식 교수 연구팀이 AI가 어떤 근거로 판단하는지를 인간이 이해할 수 있도록 보여주는‘설명가능성(XAI, Explainable AI)’분야에서, 모델 내부의 개념 형성 과정을 회로(circuit) 단위로 시각화하는 새로운 XAI 기술을 개발했다고 26일 밝혔다.

연구팀이 개발한 ‘세분화된 개념회로(Granular Concept Circuits, GCC)’ 기술은 이미지 분류 모델이 내부에서 개념을 형성하는 과정을 회로 단위로 분석하고 시각화하는 새로운 방식이다.

이번 연구는 복잡한 딥러닝 모델 내부에서 개념이 형성되는 실제 구조를 세밀한 회로 단위로 드러낸 최초의 연구로 평가된다.