"그럴듯한 언어로 포장된 답변이 곧 진실을 의미하지는 않는다. 증거가 결여된 권위는 무효이며, AI는 자신이 무엇을 모르고 어디서 실패했는지 명확히 증명해야만 한다."
알바니아의 독립 시스템 설계자이자 기술 디자이너인 블레다르 자타(Bledar Gjata)가 기존 빅테크들의 확률형 인공지능 모델들이 안고 있는 치명적 맹점, 즉 '그럴듯한 거짓말(환각 현상)'과 맥락 상실, 제어 불능의 행동을 구조적으로 차단하기 위한 자체 아키텍처 'ESS-MAI'를 공개해 관심을 모으고 있다.
그는 알바니아 전통의 엄격한 서약 문화인 '베사(Besa·책임을 지는 약속)'의 철학을 컴퓨팅 구조로 이식했다. 단순히 AI의 기억력을 늘리는 차원을 넘어, 증거와 권한, 그리고 실패의 기록을 명확히 추적할 수 있는 '자율 거버넌스(Self-governance)' 인프라를 Rust 언어로 구현해낸 것이다.
국내 대표 인공지능 전문언론 AI포스트(AIPOST) 취재진이 알바니아를 기반으로 독자적인 AI 안전 검증 전초기지를 구축 중인 블레다르 자타와 인터뷰를 진행했다. 한국 언론매체 중에서는 첫 접촉이다.
Q1. 알바니아를 기반으로 독립 연구 프로젝트인 ESS-MAI를 시작하게 된 계기가 궁금합니다.
ESS-MAI는 제가 인공지능을 활용해 작업을 진행하던 중 접한 실무적인 문제에서 시작됐다. 당시 저는 자석 요소를 활용한 가구 모듈 아이디어를 개발하면서 AI 모델을 통해 기술적 가능성과 한계를 탐구하고 있었다.
이 과정에서 AI가 매우 그럴듯한 답변을 내놓으면서도, 이전에 내린 결정의 맥락을 잊어버리거나 기술적 제약 조건을 놓치고, 특정 접근 방식이 왜 이미 거부되었는지 오버룩(overlook)하는 현상을 목격했다. 때로는 뒷받침할 충분한 증거가 없음에도 답변이 완벽한 것처럼 제시되기도 했다.
이는 저를 더 깊은 질문으로 이끌었다. 'AI 시스템이 자신의 결정 뒤에 있는 추론 과정을 보존하고, 증거와 가정을 구별하며, 실패에 대한 지식을 유지하는 동시에 본래의 과제에 대해 책임을 질 수 있을까?'
제 관심은 단순한 AI 메모리 확장을 넘어섰다. 메모리, 증거, 검증, 그리고 권한 간의 관계를 탐구하기 시작했다. 결론과 실행이 그에 정당성을 부여하는 조건 및 증거와 직접 연결되도록 보장하는 아키텍처가 가능할지, 그리고 실패가 무엇이 잘못되었고 앞으로 나아가기 위해 무엇이 필요한지 설명해 주는 유용한 지식이 될 수 있을지 탐구했다.
그렇게 거버넌스와 검증 가능성에 더욱 초점을 맞춘 ESS-MAI로 발전했다. 그러나 저는 이론적인 설명만으로는 성공의 증거가 될 수 없다고 본다. 이론은 코드로 구현되고 실행되어 독립적인 검증과 반증 가능성에 개방되어 있어야 한다.
또 다른 개인적 영감은 어린 시절부터 접해온 알바니아의 전통인 '베사(Besa)'에서 왔다. 제 해석에 따르면 베사는 정의된 조건 아래 책임감을 갖는 신의이자 서약이다. 여기서 또 다른 근본적인 질문이 생겨났다. 'AI 시스템이 과제를 수락했을 때, 그 서약을 지키고 수행을 막는 요인을 설명하며, 부족한 증거를 성공인 것처럼 포장하지 않을 수 있을까?'
베사는 문화적·철학적 영감을 제공하지만, 기술적 해석은 독립적으로 입증되고 검증되어야 한다. 알바니아에서 독립적으로 ESS-MAI를 개발하고 있지만, 이를 고립된 프로젝트로 보고 있지 않다.
전 세계의 학생, 연구자, 엔지니어들이 공개된 구성 요소를 검토하고 가정에 도전하며 개선에 기여하고 적절한 인정을 받기를 바란다. 제 목표는 기존 AI 모델을 대체하거나 모든 AI 문제를 해결했다고 주장하는 것이 아니다. 요청, 증거, 권한, 그리고 결과 간의 관계를 보다 투명하고 검증 가능하게 만드는 아키텍처를 탐구하고자 한다.
결국 제 동기는 제 자신의 연구를 넘어 유용한 무언가를 만드는 것이다. 단순히 제가 개발했다는 이유로 ESS-MAI가 받아들여지는 것을 원치 않는다. 시연할 수 있고, 독립적으로 검증받으며, 복제되고 개선될 수 있는지에 의해 평가받기를 바란다.
Q1-1. 인공지능 연구에 어떻게 관심을 갖게 됐고, 연구팀은 어떻게 꾸리게 됐는지.
제 출발점은 소프트웨어가 어떻게 작동하는지 이해하고 이를 비판적으로 검증하는 시각이었다. 저는 오랫동안 시스템을 테스트하고 논리적 허점과 오류를 찾아내는 데 깊은 관심을 가져왔다. 제 실무적 강점은 그러한 조사 및 검증 과정에 있었으며, 직접적인 코딩 지식은 파이썬(Python)을 조금 다룰 줄 아는 정도로 제한적이었다.
이론적 아이디어를 실행 가능한 시스템으로 변환하기 위해 다양한 프로그래밍 언어를 조사하기 시작했다. 성능과 명확한 구조, 엄격한 구현 방식을 제공하는 러스트(Rust)와 C++가 눈에 띄었다. 저는 작업 구조화와 테스트 방식에 러스트의 언어 설계 및 개발 도구가 가장 잘 맞는다고 판단하여 러스트를 선택했다.
패키지 관리자인 카고(Cargo)도 이 결정에 중요한 역할을 했습니다. 의존성 관리, 빌드, 테스트가 통합된 워크플로는 구현체를 반복해서 컴파일하고 실행하여 검증할 수 있는 일관된 환경을 제공했다. 이와 함께 러스트의 타입 시스템과 소유권 규칙은 데이터의 명시적 사용을 강제했고, 네이티브 기계어로의 컴파일은 제가 원하던 높은 성능을 보장했다.
여기서 명확성이란 가정, 작업, 기대 동작을 검사하고 테스트할 수 있을 만큼 구체적으로 만드는 것을 의미한다. 제 목표는 이론과 구현체, 그리고 실행 결과가 제공하는 증거 사이에 명확한 관계를 확립하는 것이었다. 이론적 원칙을 코드로 변환하면, 해당 구성 요소와 생성된 네이티브 프로그램의 동작을 명시된 기대치와 비교하여 테스트하고자 했다.
불일치가 발생하면 이는 구현 오류, 불완전한 명세, 또는 기본 아이디어의 약점 등 구체적인 조사 대상이 된다. 수학적·물리적 모델을 중요하게 여긴 이유도 여기에 있다. 데이터 구조와 알고리즘, 실행 동작으로 변환될 때 이들 간의 관계와 제약 조건이 일관되게 유지되기를 바랐다.
러스트는 이러한 연결고리를 세심하게 구축할 수 있는 적합한 환경을 제공했습니다. 물론 이 유효성은 모델과 구현, 테스트를 통해 입증되어야 하며 언어 자체가 이론의 정당성을 보장해 주지는 않는다.
AI 도구들은 이러한 개념적 추론에서 실제 구현으로 넘어가는 전환 과정을 크게 도와줬다. 앞서 밝힌 바와 같이, 저는 AI를 연구 지원, 구현 방식 탐구, 코드 작성 및 테스트 준비에 활용하고 있으며, 아키텍처의 방향 설정, 요구사항 정의, 오류 수정 및 실행 결과 검증은 전적으로 제가 직접 주도하고 있다. 따라서 제 AI 연구 여정은 시스템을 테스트하고 의문을 제기하던 습관에서 출발하여, 제 아이디어를 실행·검증·개선할 수 있는 구체적 형태 완성으로 발전해 온 것이다.
Q2. 연구팀에 대해 소개해 주세요.
제 연구팀은 명확한 역할이 부여된 여러 인공지능 모델과의 인간 주도적 협업을 통해 운영된다. 저는 지난 2년간 최신 AI 모델과 기능이 출시될 때마다 이를 적절히 이식하면서 이 구조화된 연구 개발 방법론을 유지해 왔습니다. 이는 연구 자체와 함께 발전해 온 정립된 워크플로다.
솔직하게 말씀드리자면, 이 AI 모델들은 인간 직원이나 채용된 인력이 아니다. 연구, 추론, 비판적 분석, 테스트, 그리고 구현을 지원하는 협력적 도구다. 아키텍처의 방향성, 기술적 결정, 검증 및 최종 결과물에 대한 책임은 전적으로 저에게 있다.
제 워크플로는 다음과 같이 구성되어 있다. 먼저 챗GPT는 총 10개의 세션을 운용한다. 6개 세션은 프로젝트의 서로 다른 측면을 독립적으로 분석하고, 3개는 연구 엔진 역할을 수행하며, 나머지 1개 세션이 다른 9개 세션의 결과를 종합하여 실제 코드와 비교 검증한다. 이를 통해 다각도의 시각에서 문제를 검토한 뒤 결정을 내린다.
Codex GPT-6와 아스트라(Astra)는 제 아키텍처 설계안에 맞춰 실제 코드 구현을 지원한다. 쉘(Shell) 및 카고(Cargo)를 통한 광범위한 자동화 테스트를 수행하고 기술 보고서를 작성하도록 지시한다. 그 후 테스트 결과와 개발 계획에 따라 구현이 진행된다.
오퍼스 5.5와 페이블 5.1을 기반으로 한 클로드 코드(Claude Code)의 주요 역할은 아키텍처에 도전하고, 약점을 식별하며, 이론적 가정을 깨뜨리려 시도하고, 구현 계획 내에서 동기화 전략을 제안하는 것이다.
그록(Grok) 4.7 Heavy는 이론 및 아키텍처 설계의 독창성을 유지하는 데 집중한다. 그러나 독창성이 증거를 압도할 수는 없다. 입증된 반증이 주장을 반박할 경우 이론은 재검토되어야 한다.
제미나이(Gemini) 3.2 Pro는 이론적 목표와 실제 구현 간의 간극을 조사하고, 반증과 기술적 한계를 고려하면서 기존 아키텍처 구성 요소를 어떻게 활용해 연구를 진전시킬지 탐구한다. 제 역할은 아키텍처 리더십과 독립적인 검증다.
저는 표준 처리 순서, 의미적 관계, 수학적 구조, 개발 전략을 정의한다. 또한 직접 쉘 기반 검사를 수행해 구현상의 갭을 찾고, 논리적 동기화를 확인하며, 수학적 개념이 실행 가능한 코드에 정확히 반영되었는지 점검한다.
복잡한 아키텍처 구축 과정에서 모든 AI 모델은 환각 현상을 일으키거나 표준 구조에서 벗어날 수 있으므로, 민감한 구성 요소는 제가 직접 검토하고 구현한다. 제 목표는 단순히 실행 가능한 소프트웨어를 만드는 것이 아니라, 구현체가 바탕이 되는 이론을 충실히 반영하도록 보장하는 것이다.
명확한 인간의 책임과 엄격한 검증이 동반될 때 AI 활용 엔지니어링은 비로소 가치를 갖는다. 문제는 AI로 소프트웨어를 개발하는 것이 아니라, 검증되지 않은 출력이 권위를 갖도록 방치하는 것이다. 조직 자체에 대해서도 구분할 필요가 있다.
ESS-MAI는 현재 법적으로 등록된 기업이나 공식 기관이 아닌 독립 연구 이니셔티브다. 저는 더 안전하고 책임감 있으며 검증 가능한 인공지능 원칙을 중심으로 개방형 연구 커뮤니티를 구축하고자 한다.
학자, 과학 연구자, 소프트웨어 엔지니어, AI 엔지니어, 학생, 그리고 독립 개발자 등 새로운 기여자의 참여를 적극 환영한다. ESS-MAI가 블레다르 자타 개인만의 소유가 되는 것을 원치 않는다. 다른 이들이 이 아키텍처를 탐구하고, 이론에 도전하며, 구성 요소를 활용해 독립적인 시스템을 개발하고 자신만의 연구나 학위 논문, 기술 혁신을 이어가길 바란다.
기여자는 독창적 작업에 대해 당당히 인정받아야 하며, 오픈소스 연구를 기반으로 한 개발은 적용 가능한 라이선스 및 출처 표시 요구사항을 준수해야 한다. 연구는 단순히 개별 단계를 넘어서 광범위한 아키텍처, 구현, 기록된 한계 및 원칙 전체 차원에서 검토되어야 한다.
제 비전은 AI가 인간의 혁신을 지원하고, 독립적인 검증이 신뢰성을 결정하며, 모든 기여자가 가치 있는 결실을 맺을 수 있는 연구 환경을 조성하는 것이다.
Q3. 요즘 AI가 답은 참 그럴듯하게 잘하는데, 막상 믿고 일을 맡기면 없는 사실을 지어내거나(환각 현상) 틀린 답을 내놓기도 합니다. 왜 AI가 이런 실수를 반복한다고 보시나요?
이 문제는 단순히 답변이 맞거나 틀렸다고 판단하기보다, 시스템이 어떤 과정을 거쳐 그 답변에 도달하는지 살펴보아야 한다. 확률적 처리에 기반한 시스템도 정확한 답변을 낼 수 있다. 다양한 가능성 간의 관계를 처리해 결과를 도출하기 때문이다. 하지만 제가 보기에 문제는 시스템이 가용한 정보와 요청된 답변 사이에 '간극'이 존재할 때 발생한다.
시스템은 정보 부족이나 간극을 솔직히 드러내는 대신, 추론 후보나 보유 정보로 충분히 뒷받침되지 않는 생성된 언어로 그 빈자리를 채워버리곤 한다. 이로 인해 외견상 완벽해 보이지만 실제로는 검증되지 않은 답변이 탄생하는 것이다.
그렇다면 어떻게 개입해야 할까? 저는 확률적 처리 결과가 다루는 지식의 본질을 구분하는 평가 과정을 거쳐야 한다고 본다. ▲증거와 측정으로 입증된 것 ▲근사 계산이나 추정치를 나타내는 것 ▲추가 조사가 필요한 가설 상태에 있는 것 ▲추상적이거나 아직 구체화되지 않은 연구 영역에 속하는 것 등이다.
이러한 구분이 중요한 이유는, 가용 지식으로 명확히 확립할 수 없음에도 시스템이 절대적인 정답인 것처럼 제시해서는 안 되기 때문이다. 예를 들어, 물리 법칙과 측정값을 통해 태양의 질량을 추정할 수 있지만 이는 항상 불확실성을 동반한 추정치로 표현된다.
누군가 절대적으로 정확한 값을 요구할 때 시스템은 없던 확신을 지어내서는 안 된다. 측정으로 뒷받침되는 부분을 구분하고 계산 과정을 설명하며 달성 가능한 정밀도의 한계를 명시해야 한다. 질문에 정확히 답할 추론 후보가 부족할 때, 시스템은 자신이 보유한 정보를 정의되고 추적 가능한 방식으로 다루어야 한다.
정당화될 수 있는 확률적 추정치라면 그 불확실성과 통계적 계산 근거를 함께 공개해야 한다. 동시에 해당 추정을 지지하는 긍정적 후보와 이에 반대되는 사실·주장을 함께 제시해야 한다. 그러나 조사는 단순히 "모르겠습니다"로 끝나서는 안 된다.
부족한 부분이 무엇인지 식별했다면, 이를 사용자나 연구팀을 향한 명확한 질문으로 전환해야 한다. '조사를 진행하기 위해 어떤 추가 데이터, 추론 후보, 측정값 또는 증거가 필요한가?' 이렇게 하면 답변의 한계가 숨겨지지 않고 다음 단계의 작업으로 이어진다.
이를 과학 연구에 적용한다고 상상해 보길 바란다. 시스템은 확립된 지식과 검증이 필요한 가능성을 모두 활용해 연구 질문에 접근한다. 증거가 끝나는 지점, 가설이 시작되는 지점, 그 사이의 미해결 과제를 명확히 식별한다. 결론을 억지로 빚어내는 대신 그 간극을 구체적인 과학적 질문으로 연구팀에 제시한다.
연구팀은 새 데이터를 도입하거나 실험을 설계해 더 강력하게 지지되는 결론으로 나아갈 수 있다. 저에게 독창성은 이 과정의 또 다른 핵심이다. 가용한 모든 정보 출처가 자동으로 입증된 지식을 의미하지는 않는다. 마찬가지로 오늘날 시스템이 인지할 수 있는 정보와 즉시 일치하지 않는다고 해서 가설을 섣불리 배척해서도 안 된다. 과학적 혁신은 완전한 답을 갖추지 못한 지점에서 시작되는 경우가 많다.
따라서 AI 시스템은 사용자나 연구팀의 독창적인 관점을 유지하면서 이를 비판적으로 검증할 수 있어야 한다. 가설을 맹목적으로 지지하라는 뜻이 아니라, 가설이 제대로 정립되도록 돕고 찬반 증거를 모두 검토하며 모자란 부분을 식별해 테스트 기회를 제공해야 한다는 의미다.
현 AI 시스템들이 실수를 반복하는 이유도 여기에 있다. 언어적으로 완벽하고 설득력 있는 답변 자체가 데이터의 충분성이나 정당성을 보장해 주지는 않는다.
ESS-MAI를 통해 제가 지향하는 방향은 이러한 구분을 명시적이고 검증 가능하며 추적 가능하게 만드는 것이다. 시스템이 합리적으로 결론 내릴 수 있는 것뿐만 아니라, 아직 확립할 수 없는 것과 그 이유, 이를 넘어서기 위해 무엇이 필요한지 스스로 인지하도록 만드는 것이 핵심이다.
Q4. 이번에 개발하신 ESS-MAI는 한마디로 "AI가 확실한 증거와 허락 없이는 멋대로 행동하지 못하게 막는 안전장치"라고 들었습니다. 기존의 AI 안전 기술들과는 무엇이 다른가요?
ESS-MAI는 '권한(Authority)'을 중심으로 구축된 아키텍처다. 모든 권한은 시스템의 헌법에 따라 작동해야 하며, 헌법적 알고리즘의 일부를 구성한다. 이 알고리즘은 시스템 전체에 명시적으로 선언되지 않도록 설계됐다. 이는 의도적인 아키텍처 선택이다. 각 구성 요소가 전체 헌법을 매번 선언받지 않고도 부여된 권한 범위 내에서 독립적으로 역량을 행사할 수 있도록 한 것이다.
저는 이러한 역할을 수행하는 주체를 에이전트가 아닌 'AI 권한(AI Authority)'이라 부른다. AI 권한은 부여된 역량의 경계 안에서 판단의 독립성을 갖는다. 임무를 수행할 수 없다면 합리적인 이유를 명시하고 실패(Fail)를 선언할 권리를 가진다. 검토가 필요한 정보가 자신의 관할권을 벗어날 때 마치 처리 권한이 있는 것처럼 행세해서는 안 된다.
아키텍처는 고유의 책임을 지닌 3개의 플랫폼으로 분리된다. 처리 흐름을 조정하는 LIGHT 플랫폼, 추론을 수행하는 QUANTUM 플랫폼, 검증 및 메모리를 담당하는 SHADOW 플랫폼이다. 각 플랫폼은 해당 역할에 할당된 권한을 행사한다.
권한들은 계층적으로 조직된다. 상위 권한 아래에서 하위 권한들이 명확히 정의된 관할 경계 내에서 독립적으로 작동한다. 하위 권한은 상위 권한의 특정 프로세스를 수행하지만, 상위 권한의 역할을 완전히 대체하거나 그 역량을 자동으로 획득할 수는 없다.
실패와 보류 모두 논리적 이유로 뒷받침되어야 하며 추적 가능해야 한다. 권한의 행사 자체가 통제 불능의 맹목적 행동이 되지 않도록 모든 기록을 남긴다.
이것이 제가 ESS-MAI를 자율적(Autonomous) 아키텍처가 아닌 '자율 거버넌스(Self-governing)' 아키텍처라 부르는 이유다. 공정 체계와 권한이 헌법, 정립된 계층 구조, 명확한 경계에 의해 통제되도록 설계되었음을 의미합니다. 무제한으로 독립 행동할 권리를 부여받지 않는다.
추적 가능성은 이 접근법의 핵심이다. 무엇이 처리되었는지, 어느 권한이 어느 관할권에서 어떤 근거로 처리했는지, 프로세스가 결과 도출·보류·실패에 도달한 이유를 보존한다. 이러한 기록은 공정 흐름과 정당한 권한 행사를 검증하는 기초가 된다.
최종 답변에만 안전 필터를 씌우는 기존 방식과의 차이점이 바로 이것이다. 거버넌스, 권한 경계, 검증 가능성을 결과 생성 후 덧붙이는 부가 장치가 아닌, 전체 처리 시스템의 내재적 조직 원리로 다룬다.
Q5. 회사에서 직원이 상사의 결재나 증빙 서류 없이 혼자서 회사 돈을 집행할 수 없는 것처럼, AI에도 그런 '권한과 검증 체계'를 코드로 만들었다고 들었습니다. 이 시스템 안에서 AI는 어떤 방식으로 견제와 감시를 받게 되나요?
ESS-MAI 내부의 통제 및 감독 메커니즘을 설명하려면 4가지 핵심 요소를 구분해야 합니다. GCL 알고리즘 헌법, 실행 흐름으로서의 법률, 정의된 역량을 행사하는 권한들, 그리고 최고 검증 권한이다.
GCL 알고리즘 헌법은 시작부터 끝까지 처리 흐름과 연결된 시스템의 헌법적 알고리즘이다. 권한들이 할당된 역량 범위 내에서 독립성을 유지할 수 있도록 시스템 전반에 명시적으로 선언되지 않는다. 단 하나의 구성 요소가 전체를 통제하면서 스스로 성공을 선언하는 구조를 피하기 위함이다.
그런 전능한 요소가 오염되거나 과도한 권한을 가지게 되면 스스로 낸 성공 선언을 신뢰할 수 없게 된다. 법률은 각 권한이 할당된 역량을 행사하는 실행 흐름이다. 법률이나 필요한 조건이 불완전한 상태로 권한에 제시되면, 해당 권한은 모든 것이 유효한 것처럼 임무를 실행해서는 안 된다. 그 근거로 실행을 거부(Fail)하고 사유를 명시해야 한다. 중단된 위치와 사유, 보류(HOLD) 상태가 그대로 보존되어 공정 흐름에 투명하게 남게 된다.
권한들은 계층적으로 조직된다. 상위 권한 아래 하위 권한들이 지정된 관할권 내에서 부여된 임무를 처리한다. 한 권한이 여러 역량을 가질 수 있지만, 제가 제안한 모델에서는 특정 역량이 한 처리 주기 내에서 단 한 번만 행사된다. 어떤 대가를 치르더라도 긍정적 결과만을 강제로 쥐어짜기 위해 반복 재시도하는 것을 막고 깨끗한 실행 기록을 유지하기 위함이다.
권한은 성공뿐만 아니라 수행할 수 없는 조건 역시 명확히 선언할 수 있어야 한다. 최고 검증 권한과 관련, 이 구조에서 shadow_gj_legacy는 최고 검증 권한으로 기능하다. 고유의 역량을 갖지만, 증명된 것과 증명되지 않은 것에 대한 검증 가능한 증거 없이는 권한을 행사할 수 없다. 프로세스 전체에서 생성된 서류와 증거에서 벗어난 근거 없는 최종 결정을 내릴 수 없다.
이를 이해하기 쉽게 '정의로운 왕국'에 비유해 보겠다. 모든 이의 행동을 일일이 지시하지는 않지만 법을 세우는 헌법이 존재한다. 그 아래 여러 부처와 기관들이 부여된 권한 안에서 자율적으로 업무를 처리하고 담당 업무에 서명(책임)을 남긴다.
이 비유에서 국왕은 최고 검증 권한을 나타내지만, 헌법은 국왕보다 먼저 존재한다. 국왕이 최종 결정을 내리지만, 그 결정은 국왕 앞에 제출된 서류와 증거, 시스템의 이익에 기반해야 한다. 헌법, 법률, 권한의 분리는 한 요소의 부패가 다른 요소로 자동 전이되는 것을 막는다.
이것이 제가 말하는 '자율 거버넌스'다. 단 하나의 구성 요소도 무제한적 통제권을 갖지 못한다. 모든 권한은 헌법, 법률, 할당된 역량, 그리고 결정을 뒷받침하는 증거 앞에 책임을 진다.
Q6. 이 프로젝트에서 눈에 띄는 것이 "실패한 기록(음의 지식)을 버리지 않는다"는 점입니다. 사람이 시험을 보고 '오답 노트'를 써서 다음엔 안 틀리는 것처럼, AI도 과거의 실수를 기억하고 똑같은 짓을 반복하지 않게 만드는 원리인가요?
오답 노트라는 비유는 좋은 출발점이지만, 저에게 '음의 지식(Negative Knowledge)'은 그보다 훨씬 광범위한 역할을 한다. 단순히 시스템이 피해야 할 실수 목록이나 고정된 금지선이 아니라, 프로젝트와 연구의 진전을 이끄는 책임의 일부로 다룬다.
연구나 엔지니어링 과정에서는 수많은 장애물, 실패, 반증을 만난다. 특정 조건에서 어떤 접근 방식이 작동하지 않는다는 것을 발견하면 다시 돌아가 요인을 수정하고 재시도한다. 이때 첫 번째 시도가 실패했다는 사실뿐만 아니라 '왜, 어떤 조건에서 실패했는지', '무엇을 수정했는지'를 보존해야 연구가 발전할 수 있다.
음의 지식을 죽어있는 경계로 취급해서는 안 되는 또 다른 이유가 있다. 한 문제에서 유효했던 장애물이나 규칙이 다른 맥락의 연구에서는 동일한 가치를 갖지 않을 수 있기 때문이다. 시스템이 이를 절대적인 금기사항으로 영구 적용해 버리면, 과거에 도움이 되었던 기록이 새로운 연구를 부당하게 방해하는 장애물이 될 수 있다.
또한 오류를 수정하는 과정에서 도입된 재료나 변경점이 다른 곳에서 새로운 모순을 일으킬 수 있다. 따라서 단순 오류 수정에 그치지 않고, 그 수정이 전체 작업과 증거 체계에 미치는 영향을 계속 검토해야 한다.
의학 연구팀이 성공적으로 프로젝트를 마친 후 동일 분야에서 새 연구를 시작한다고 가정해보자. 이전의 실패 이력은 소중한 자산이지만, 그렇다고 과거의 실패가 새 연구를 무조건 막아서는 안 된다. 데이터와 조건, 연구 질문이 동일한지 검토해야 한다. 음의 지식은 그것이 정립된 '맥락과의 연결성'을 유지해야 맥락이 바뀔 때 책임감 있게 재검토될 수 있다.
음의 지식은 양의 지식(Positive Knowledge)이 성공에 도달하도록 돕는 책임을 지닌다. 성공은 그것을 가능하게 만든 실패와 수정의 역사와 분리될 수 없다. 과학자가 시도와 사유를 문서화하듯, 시스템도 결론뿐만 아니라 그에 도달한 경로를 보존해야 한다. 이것이 제가 음의 지식을 단순한 금지선이 아닌, 양의 지식과 인터랙티브하게 작동하는 추적 가능한 지식으로 다루는 이유다.
Q7. 만약 이 기술이 은행 앱이나 기업 시스템에 들어가면 어떤 사고를 막을 수 있나요? 예를 들어 AI 보안 시스템이 이상한 로그인 하나 감지했다고 해서, 고객 계좌를 멋대로 동결해 버리는 식의 과잉 반응도 막을 수 있나요?
그렇다. 사이버 보안은 이 접근법이 상당한 잠재력을 발휘할 수 있는 분야다. 이를 위해 ESS-MAI를 기반으로 보안 결정 및 조치에 권한, 증거, 검증 아키텍처를 적용하는 'AIGovern-Cyber' 시스템을 개발하고 있다.
제시해주신 은행 앱의 비정상 로그인 감지 사례를 예로 들어보자. 의심스러운 로그인 알림은 실제 보안 위협일 수 있으므로 매우 엄중하게 다루어야 한다. 하지만 알림 자체가 고객이 공격당했다는 자동적인 충분한 증거가 될 수는 없으며, 계좌를 무제한 동결할 수 있는 권한을 제공하지도 않는다.
제가 개발 중인 방식에서는 이러한 알림이 발생하면 사건 검토 공정이 개시된다. 시스템은 해당 의무를 관련 맥락과 연결하고, 의심을 지지하는 추론 후보 및 증거를 그에 반대되는 정보와 함께 종합 검토한다. 즉, 어떤 정황이 관찰되었는지, 어떤 조건이 알림을 유발했는지, 특정 조치를 정당화하기 위해 여전히 부족한 증거가 무엇인지를 식별한다.
단순히 한 요소가 "이거 의심스러운데?"라고 선언했다고 해서 결정이 내려져서는 안 된다. 조치를 요청할 권한이 누구에게 있는지, 검토 책임은 누구에게 있는지, 조치를 승인하는 데 필요한 조건과 증거가 무엇인지 명확해야 한다. 필수 증거나 승인 권한이 결여되어 있다면 해당 조치의 실행 경로는 즉시 중단되며, 그 사유는 추적 가능한 상태로 남는다. 부족한 증거를 단순 가상으로 채워 처리를 강제 진행시켜서는 안 된다.
여기서 중요한 구분이 필요하다. 무단 조치를 막는다고 해서 그것이 무조건 고객 계좌 동결 조치 자체를 금지한다는 뜻은 아니다. 적절한 보호 조치와 적용 시점, 승인 주체는 은행의 정책과 기술적 통합, 해당 사건에 부여된 역량 범위에 따라 결정된다. 실무 환경에서는 은행 절차에 따라 인간의 검토가 요구될 수도 있다.
필요한 증거와 승인이 갖춰지면 시스템은 조치를 특정 사건, 정당화 사유, 책임 권한, 그리고 실행 기록과 엄격히 연결한다. 정보가 결여되었을 때는 프로세스가 어느 지점에서 중단되었는지 파악할 수 있도록 돕는다. 이는 잠재적 위협 알림을 무시하지 않으면서도, 근거 없는 과잉 반응이나 과도한 제재 리스크를 대폭 줄여준다.
기업 시스템에서 AI 보안 도구가 사용자 접근을 제한하거나 민감 데이터 관련 작업을 수행하려 할 때도 동일한 원칙이 적용된다. '충분한 증거가 있는가?', '조치를 요청한 요소가 필요한 권한을 가졌는가?', '무슨 일이 일어났는지 사후에 정확히 검증할 수 있는가?'라는 근본적 질문에 답해야 한다.
공개된 POC007 연구 캡슐은 가상 시나리오를 통한 한정된 모델을 포함하고 있으며, 필수 추론 후보가 결여될 때 추론 경로 진행이 중단되면서도 결과와 추적 기록이 유지되는 메커니즘을 증명한다. 다만 이것이 실제 은행 시스템과의 완전한 통합이나 실제 계좌 동결·해제, 상용 환경에서의 성능·보안을 완벽히 입증한 것은 아니다.
이러한 역량은 추가적인 개발과 통합, 독립적인 검증을 거쳐야 한다. 핵심 가치는 보안 시스템이 위협에 무작위로 반응하는 것을 넘어, 왜 해당 조치를 요청하는지, 어떤 증거가 이를 뒷받침하는지, 누구의 권한으로 실행되는지를 명확히 증명해야 한다는 점에 있다.
Q8. 인터넷 쇼핑을 하다가 전산 오류로 화면이 튕겼을 때, AI가 결제가 된 건지 안 된 건지 몰라 2번 중복 결제해 버리는 식의 문제도 해결할 수 있나요?
그렇다. ESS-MAI가 이 문제 해결에 크게 기여할 수 있다고 믿는다. 하지만 현재 달성한 기술적 성과와 향후 개발 목표를 명확히 구분해 말씀드리고 싶다.
현재 ESS-MAI는 재시작 후에도 기록을 보존하고 저장된 상태를 복구하는 메커니즘을 갖추고 있다. Shadow 구성 요소는 디스크 내 영구 로그(On-disk log)를 사용하며, AIGovern-Cyber에서는 작업 식별자 검증, 중복 요청 처리, 충돌 조치 거부 등의 메커니즘을 시연했다. 이는 한정된 기술적 결과이며, 실제 금융 거래 전체를 포함한 완벽한 시연 단계까지는 아니다.
예상치 못한 전원 중단이나 튕김 현상은 물리적으로 실행을 멈추게 만는다. 시스템이 재시작되면 보존된 기록이 복구되고 검증된다. 하지만 재시작 자체가 중단된 모든 작업의 완료를 자동으로 보장하지는 않는다.
이커머스나 금융 시스템과 연동될 미래의 목표는 ESS-MAI가 각 요청을 고유 식별자, 증거, 권한, 상태와 엄격히 연동시키는 것이다. 시스템이 다운 후 재시작되면 먼저 기록된 내역을 검사하고 결제 대행사(PG)를 통해 실제 트랜잭션이 완료되었는지 확인을 거친다.
이미 결제가 확인되었다면 작업을 중복 반복하지 않는다. 결과 상태를 아직 알 수 없다면 충분한 증거가 확보될 때까지 해당 작업은 보류(HOLD) 상태를 유지한다.
따라서 저희가 중복 결제 문제를 완전히 해결했다고 단정적으로 선언할 수는 없다. 다만 이 유스케이스를 확장하고 검증할 수 있는 아키텍처적 기반과 구체적 메커니즘을 보유하고 있는 상태다.
저희의 핵심 원칙은 "시스템이 재시작되었다고 해서 동일 조치를 반복할 권한을 자동으로 되찾는 것이 아니다"라는 점이다. 먼저 상태를 검증한 후에만 자신이 수행할 수 있는 권한 범위를 결정해야 한다.
Q9. 이 귀한 기술을 굳이 전 세계에 '오픈소스(무료 공개)'로 공개하신 이유는 무엇인가요?
제가 탐구하는 과학적 질문들은 저자의 단독 성공 시연을 넘어서는 검증 과정을 필요로 하기 때문에 오픈소스 공개를 결정했다. 다른 연구자들이 그 결과가 어떻게 도출되었는지, 어떤 조건에서 유효하며 어떤 환경에서 실패하는지 직접 검증할 수 있어야 하기 때문이다.
제 과학적 관심은 시스템이 추론, 증거, 권한, 검증을 서로 독립되면서도 연계된 책임으로 조직화할 수 있는지 탐구하는 데 있다. 이는 사전에 타인이 무조건 받아들여야 할 결론이 아닌 '연구 과제'다. 이를 답하기 위해서는 이론이 코드로 구현되고, 반증이나 도전에 노출되어야 한다.
그렇기에 저는 코드와 실행 가능한 실험체를 공개하고, 각 실험이 입증한 것과 아직 미해결로 남은 것을 명확히 밝히고자 한다. 연구자는 실험 조건을 바꾸고, 필수 증거를 제거해보며, 권한 경계를 테스트하고 시스템이 주장대로 작동하는지 확인할 수 있어야 한다. 결과가 재현되지 않거나 필수 조건이 위배된다면, 이는 연구가 마주해야 할 정직한 증거다.
과학적 검증을 거친 실패 결과조차 저에게는 소중한 결실이다. 단순 구현상의 문제인지, 현재 기술의 한계인지, 혹은 근본 전제에 도전하는 반증인지를 구분할 수 있게 해주기 때문이다. 독창적이라는 이유만으로 이론을 고집하고 싶지 않다. 이론이 어디서 유지되고 어디서 추가 개발이 필요한지 객관적으로 이해하고자 한다.
실패와 수정된 접근 방식을 문서화하는 것도 똑같이 중요하다. 조건과 원인이 함께 기록되면 다른 연구자가 시행착오를 되풀이하지 않거나 새 증거가 나올 때 재검토할 수 있다. 음의 지식이 양의 지식의 발전에 기여하는 방식이다.
또한 오픈소스는 다양한 학문 및 기술 시스템과의 협력을 가능하게 한다. ESS-MAI는 거버넌스 아키텍처가 타 기술과 상호작용하는 방식을 탐구한다. 공개된 코드에 적용된 아파치 2.0(Apache-2.0) 라이선스는 라이선스 조건 아래 상업적 목적을 포함해 타인이 연구·사용·수정·배포할 수 있도록 허용한다. 날짜가 명시된 출판물은 선행 연구 기록을 입증하는 데도 도움이 된다.
공개 범위의 한계에 대해서도 정직하게 말씀드린다. 공개 리포지토리는 엔지니어링 코드와 연구 아티팩트를 포함하며, 개별 POC는 아키텍처의 한정된 부분을 다룬다. 모든 구성 요소가 전부 공개된 것은 아니며, 실행 코드의 존재나 성공적인 실험이 시스템 전체의 독립적 검증을 완성했다는 뜻은 아니다.
결국 오픈 연구의 가치는 아이디어가 저자 개인의 확신에만 갇혀있지 않게 만드는 데 있다. 검증에 개방되고, 재현 가능하며, 증거에 의해 도전받을 수 있어야 한다. 타 연구자가 오류를 발견하거나 더 나은 접근법을 개발한다면, 저는 그것이야말로 제가 이뤄내고자 했던 과학적 진보의 일부라고 생각한다.
Q10. 한국을 비롯한 아시아 시장의 AI 발전 속도가 매우 빠릅니다. 한국의 AI 기업이나 연구진, 혹은 개발자 학생들과 어떤 방식의 협력이나 교류를 꿈꾸고 계시는지 한 말씀 부탁드립니다.
한국의 기업, 연구자, 학생들과의 협력은 서로 다른 연구 접근 방식을 융합하고 이를 실전 검증할 수 있는 탁월한 기회라고 생각한다. 저는 아시아, 특히 한국의 AI 발전 흐름을 매우 흥미롭게 지켜보고 있다.
한국에서 가장 인상 깊은 점은 과학 연구, AI 모델 개발, 그리고 이들 시스템을 뒷받침하는 하드웨어 기술이 유기적으로 연결되어 있다는 사실이다. AI 모델의 추론 방식부터 운용에 필요한 컴퓨팅 자원에 이르기까지 다각도에서 연구할 수 있는 완벽한 생태계가 구축되어 있다.
예를 들어, LG AI연구원의 텍스트·이미지 처리 멀티모달 모델 '엑사원(EXAONE) 3.5' 공개 발표나, 하드웨어 단에서 삼성전자가 AI 컴퓨팅용 HBM4 메모리의 양산 및 상용 출하를 시작한 점, 카이스트(KAIST) 연구진이 뇌신경 모사 뇌형 컴퓨팅(Neuromorphic Computing) 연구 플랫폼을 입증한 사례 등이 그렇다. 이는 인공지능의 소프트웨어적 역량과 이를 받침하는 물리적 컴퓨팅 기반을 동시에 발전시키는 훌륭한 모범 사례다.
또한 한국이 전담 'AI 안전연구소(AI Safety Institute)'를 설립하여 선제적 대응에 나선 점을 높이 평가한다. AI 시스템의 능력이 강력해질수록 동작 조건과 결정의 검증 가능성, 증거 부재 시의 동작 방식에 대한 연구가 더욱 중요해지기 때문이다. 이는 제가 ESS-MAI를 개발하며 고뇌해온 질문들과 직접적으로 연결되어 있다.
저는 그동안 여러 AI 모델과 작업해왔다. 어떤 모델은 이론적 추론에, 어떤 모델은 구현에, 또 어떤 모델은 아키텍처의 허점을 공격하는 데 유용했다. 그러나 동시에 맥락 상실, 이전 조건 망각, 증거가 부족한 설득력 있는 가짜 답변 등 한계도 명확히 경험했다.
이러한 경험은 제가 기존 AI 모델 개발을 보완하는 핵심 질문을 던지게 만들었다. 'AI 시스템이 정의된 경계를 벗어나 행동하지 않도록 추론, 증거, 권한, 검증을 어떻게 조율할 것인가?'
제 목표는 기존 모델과 크기나 응답 속도로 경쟁하는 또 다른 모델을 만드는 것이 아니다. 공정 흐름에 대한 거버넌스가 기존 기술들을 더 명확한 경계 안에서 작동하게 하고, 검증 가능한 결과를 내도록 돕는지 탐구하는 것이다.
저희가 탐구 중인 주요 방향 중 하나는 이 거버넌스 아키텍처를 실제 하드웨어 물리 환경과 연결하는 것이다. 시스템이 작업에 필요한 자원과 이를 실행하는 기기의 실제 물리적 상태(메모리, 처리 능력, 가용 에너지, 발열 상태 등)를 함께 고려하도록 만드는 것이다.
정의된 조건 내에서 작업을 수행할 수 없다면, 증거 없이 안전하다고 장담하는 대신 한계 상태를 명확히 선언해야 한다. 저희는 이 방향으로 한정된 메커니즘을 구현하고 테스트했다. 그러나 광범위한 에너지 효율 이점이나 다양한 기기 간 통합, 물리적 영향에 대한 종합적 통제는 더 많은 실험과 검증이 필요하다.
그리고 가설과 실험적 증거 사이의 이 간극이야말로 한국과의 협력이 빛을 발할 수 있는 지점이다. 한국의 AI 기업들과는 기존 시스템과의 통합 연구를 통해 명확한 유스케이스 내에서 권한 부여, 조치, 실행 상태가 검증될 수 있는지 함께 테스트하고 싶다. 하드웨어 및 엔지니어링 팀과는 기기의 물리적 상태와 실행 통제 결정 간의 관계를 함께 살펴보고 싶다.
연구진과는 아키텍처의 약점을 파헤치는 반증을 적극적으로 탐색하는 공동 실험과 독립 평가를 수행하길 희망한다. 문서화된 실패는 사유가 보존될 때 과학적 발전으로 이어진다. 학생 및 젊은 개발자들과는 연구 프로젝트, 학위 논문, 재현 가능한 실험 기회를 나누고 싶다. 모든 기여자가 아이디어를 발전시키고 독창적 작업에 대해 당당히 인정받는 환경을 지향한다.
한국 파트너들이 제 가설에 무조건 동의할 것이라 기대하지 않는다. 오히려 한국 연구진의 뛰어난 전문성과 비판적 평가, "이미 구현된 것과 앞으로 증명해야 할 것"을 명확히 구분해 주는 날카로운 의문들을 열렬히 환영한다.
AI 모델의 역량, 하드웨어 전문성, 엔지니어링 규율, 그리고 독립적 검증이 서로를 강화하는 협력 관계를 구축하고 싶다. 더 강력한 시스템을 만드는 것을 넘어, 'AI가 언제, 어떤 경계 안에서, 어떤 증거를 바탕으로 행동하도록 허용되어야 하는가'를 더 명확히 밝혀내는 여정에 한국의 인재들과 함께하길 진심으로 기대한다.
Copyright ⓒ AI포스트 무단 전재 및 재배포 금지
