[금융로드] 신한은행, “성능보다 안전성” 국제 AI 학술대회서 금융 특화 검증 기술 공개

실시간 키워드

2022.08.01 00:00 기준

[금융로드] 신한은행, “성능보다 안전성” 국제 AI 학술대회서 금융 특화 검증 기술 공개

뉴스로드 2026-11-16 13:05:00 신고

사진제공=신한은행
사진제공=신한은행

[뉴스로드] 신한은행이 글로벌 인공지능 학술 무대에서 금융 분야에 특화된 AI 평가·검증 기술을 공개하며 ‘안전하고 신뢰할 수 있는 금융 AI’ 구축에 속도를 내고 있다.

신한은행(은행장 정상혁)은 지난 15일(현지시간) 이탈리아 밀라노에서 열린 국제 인공지능 금융 학술대회 ‘ICAIF(International Conference on AI in Finance) 2026’ 워크숍에서 금융 AI의 안전성과 신뢰성을 주제로 한 연구 논문 2편을 발표했다고 16일 밝혔다.

ICAIF는 금융과 인공지능(AI)의 융합을 다루는 대표적인 국제 학술대회로, 전 세계 학계와 금융 산업계가 최신 연구 성과와 실제 적용 사례를 공유하는 자리다. 신한은행은 이번 행사에서 은행 실무에 최적화된 대규모 언어 모델(LLM) 평가 체계와 AI 에이전트 검증 기술을 소개했다.

이번에 발표된 연구는 ▲은행 업무에 적합한 LLM을 체계적으로 평가하기 위한 벤치마크 프레임워크 ‘K-BankEval’ ▲내부 AI 에이전트 평가·검증 플랫폼 ‘Agent Foundry’를 활용한 AI 에이전트 업무 수행 검증 체계 등 두 가지다. 두 연구 모두 ‘고성능’보다 ‘업무 적합성’과 ‘안전한 활용’에 초점을 맞춘 것이 특징이다.

먼저 ‘K-BankEval’은 여신·수신·외환 등 은행 주요 업무 전반의 특성을 반영해 설계된 LLM 벤치마크 프레임워크다. 총 5,000개 문항과 6개 평가 영역으로 구성돼 있으며, 은행 실무에서 실제로 요구되는 능력을 정량적으로 측정할 수 있도록 설계됐다.

평가 영역은 ▲은행 업무 전문지식 ▲금융 문서 검색 및 근거 기반 답변(RAG) ▲업무 수행에 필요한 도구 호출 능력 ▲은행 업무 관련 계산 및 추론 능력 ▲금융소비자 보호 관점의 응답 안전성 ▲AI 에이전트의 업무 수행 계획 수립 등이다. 단순한 언어 이해·생성 성능을 넘어, 규제 환경과 소비자 보호 요구가 엄격한 금융권의 특수성을 반영한 항목들로 구성됐다.

신한은행은 이 프레임워크를 활용해 6개 LLM을 비교 평가한 결과, 범용 AI 성능이 우수한 모델이라도 실제 은행 개별 업무에서의 수행 능력에는 뚜렷한 차이가 있다는 점을 확인했다. 이를 통해 업무 특성에 가장 적합한 모델을 선별하고, 각 모델이 취약한 영역을 사전에 진단할 수 있는 기반을 마련했다는 설명이다.

두 번째 연구인 ‘Agent Foundry’는 신한은행이 자체 구축한 내부 AI 에이전트 평가·검증 플랫폼이다. 이 플랫폼은 AI 에이전트가 내놓은 최종 답변뿐 아니라, 답변에 이르는 도구 호출과 의사결정 과정을 함께 검증하는 전주기 평가 체계를 제공한다.

신한은행은 먼저 실제 은행 업무의 요구사항을 구체적인 검증 사례와 평가 기준으로 정교화했다. 이후 AI 에이전트의 답변 내용과 각 단계에서의 도구 실행 기록을 분석해 ▲응답이 내부 업무 기준을 충족하는지 ▲필요한 도구를 적절히 사용했는지 ▲업무 수행 과정이 효율적이었는지 등을 점검한다.

이 같은 구조를 통해 신한은행은 AI 에이전트를 실제 업무에 투입하기 전에, 기준을 충족한 부분과 추가 보완이 필요한 부분을 체계적으로 구분할 수 있게 됐다. 단순히 정답 여부만 보는 것이 아니라, 판단 근거와 실행 과정까지 함께 검토해 리스크를 사전에 줄이는 방식이다.

이번 연구에서는 특히 업무별 필수 확인 사항과 실제 실행 로그를 연계해 검증하는 방법, 판단 근거가 충분하지 않은 사례를 정상 통과 사례와 구분해내는 기준 등 평가 체계 고도화 방향도 함께 제시됐다. 신한은행은 이 검증 체계를 향후 AI 기반 업무 처리의 정확성과 안정성을 높이는 공통 인프라로 활용할 계획이다.

신한은행 관계자는 “금융 분야에서 AI를 활용하기 위해서는 높은 성능만으로는 부족하며, 실제 업무에 적합한지와 업무 수행 과정이 내부 기준에 맞게 이뤄지는지를 함께 검증하는 것이 중요하다”며 “앞으로도 금융 환경에 특화된 AI 평가·검증 기술을 지속적으로 고도화해 고객과 직원이 안심하고 활용할 수 있는 금융 AI 환경을 만들어가겠다”고 말했다.

Copyright ⓒ 뉴스로드 무단 전재 및 재배포 금지

실시간 키워드

  1. -
  2. -
  3. -
  4. -
  5. -
  6. -
  7. -
  8. -
  9. -
  10. -

0000.00.00 00:00 기준

이 시각 주요뉴스

알림 문구가 한줄로 들어가는 영역입니다

신고하기

작성 아이디가 들어갑니다

내용 내용이 최대 두 줄로 노출됩니다

신고 사유를 선택하세요

이 이야기를
공유하세요

이 콘텐츠를 공유하세요.

콘텐츠 공유하고 수익 받는 방법이 궁금하다면👋>
주소가 복사되었습니다.
유튜브로 이동하여 공유해 주세요.
유튜브 활용 방법 알아보기