AMD가 라이젠 AI 맥스+ 395 프로세서를 탑재한 라이젠 AI 헤일로가 로컬 추론 기반 AI 에이전트 워크플로우에서 높은 성능과 비용 효율을 보였다고 밝혔다. AMD 자체 벤치마크 HEPA에서 라이젠 AI 헤일로는 엔비디아 DGX 스파크 대비 CPU 오케스트레이션 성능이 최대 34% 높았고, 전체 워크플로우 완료 시간은 15% 빨랐으며, 완료된 워크플로우당 비용은 약 27% 낮았다.
AMD said Ryzen AI Halo, powered by the Ryzen AI Max+ 395 processor, delivered up to 34% faster CPU orchestration, 15% faster end-to-end workflow completion and 27% lower cost per completed workflow in local AI agent workloads.
AMD가 에이전틱 AI 시대를 위해 설계된 라이젠 AI 헤일로의 로컬 추론 기반 AI 에이전트 워크플로우 성능을 공개했다.
AMD는 AI 에이전트가 단순한 챗봇과 달리 하나의 응답이 아니라 검증된 결과물을 제공하는 시스템 전체의 작업이라고 설명했다. AI 에이전트는 계획 수립, 데이터 검색, 도구 호출, 결과 조합, 검증을 반복하는 구조이기 때문에 단일 GPU 추론 성능만으로 전체 성능을 판단하기 어렵다는 것이다.
현재 많은 AI 에이전트는 클라우드에서 추론을 수행한다. 이 경우 클라우드 API 비용이 증가하고, 민감한 데이터가 외부로 전송되며, 네트워크 연결이 있어야만 워크플로우를 실행할 수 있다. 반면 로컬 추론은 토큰당 클라우드 비용이 발생하지 않고, 데이터가 기기를 벗어나지 않으며, 오프라인 환경에서도 낮은 지연 시간으로 동작할 수 있다.
AMD는 온디바이스 추론 환경에서 AI 에이전트 성능을 평가할 때 GPU뿐 아니라 CPU와 GPU, 통합 메모리의 균형이 중요하다고 강조했다. AI 에이전트 워크플로우는 파싱, OCR, 청크 분할, 임베딩, 검색, 생성, 검증으로 구성되며, 이 가운데 상당수 단계는 GPU가 아니라 CPU에서 실행된다. 따라서 가장 큰 가속기를 갖춘 시스템보다 각 구성 요소가 균형 있게 설계된 시스템이 실제 작업 완료 시간에서 유리할 수 있다는 설명이다.
평가 지표도 달라졌다. 챗봇 시대에는 첫 토큰 생성 시간과 초당 생성 토큰 수가 핵심 지표였다. 하지만 AI 에이전트는 완료되고 검증된 작업 결과를 기준으로 평가된다. 이에 따라 중요한 성능 지표는 전체 워크플로우 완료 시간과 완료된 워크플로우당 비용으로 이동한다.
토큰 생성은 전체 워크플로우의 한 단계에 불과하다. 문서 준비, 임베딩, 근거 자료 검색, 여러 엔진 간 데이터 이동, 출력 결과 검증 등 오케스트레이션 작업은 전체 완료 시간에서 큰 비중을 차지할 수 있다. AMD는 AI 에이전트 환경에서는 초당 토큰 생성 속도보다 검증된 최종 결과물까지 걸리는 시간이 더 의미 있는 성능 지표라고 설명했다.
AMD는 이를 평가하기 위해 HEPA 벤치마크를 개발했다. HEPA는 대규모 팀 공유 드라이브를 가정한 고정 로컬 데이터셋을 기반으로, 로컬 AI 에이전트가 경영진 보고용 프레젠테이션과 이를 뒷받침하는 메모, 차트, 출처가 포함된 참고자료 부록까지 작성하도록 하는 벤치마크다.
HEPA 데이터셋은 실제 업무 환경을 반영하도록 구성됐다. 관련 자료뿐 아니라 중복되거나 오래된 문서, 서로 상충하는 정보, OCR 처리가 필요한 스캔 문서와 이미지 기반 자료가 함께 포함됐다. AI 에이전트는 해당 데이터셋을 읽고 OCR을 수행한 뒤 자료를 청크로 나누고 임베딩하며, 필요한 근거 자료를 검색해 제한된 증거 패키지를 구성해야 한다. 이후 최종 결과물을 생성하고 정해진 품질 검증 기준을 모두 통과해야 한다.
측정 환경에서는 로컬 데이터 소스 302개와 사전 준비된 청크 801개를 사용했다. 오케스트레이터는 Qwen3.6-35B-A3B 모델을 llama.cpp로 구동했으며, 임베딩은 CPU에서 FastEmbed ONNX nomic-embed-text-v1.5를 사용했다. Tesseract OCR도 CPU에서 수행했다.
두 비교 시스템은 동일한 데이터셋과 모델, 설정을 사용했다. 각각 5회 중 5회 유효 실행을 완료했고, 25개 중 25개의 결정론적 검증 항목을 모두 통과했다. 해당 구성에서는 8개 파이프라인 단계 가운데 7개가 CPU에서 실행됐으며, GPU는 토큰 생성 단계만 담당했다.
AMD에 따르면 라이젠 AI 맥스+ 395 프로세서를 탑재한 라이젠 AI 헤일로는 동일한 리눅스 환경에서 엔비디아 DGX 스파크 그레이스 블랙웰 대비 CPU 오케스트레이션 성능과 전체 워크플로우 완료 시간, 완료된 워크플로우당 비용에서 우위를 보였다.
CPU 오케스트레이션 성능은 AMD 라이젠 AI 헤일로가 DGX 스파크보다 34% 빨랐다. AMD 시스템은 CPU 측 준비 작업을 152.1초 만에 완료했으며, DGX 스파크는 229.9초가 소요됐다.
특히 임베딩과 라우팅 작업에서 차이가 크게 나타났다. AMD 시스템은 해당 작업을 71.5초에 처리한 반면, DGX 스파크는 139.6초가 걸렸다. AMD는 CPU에서 수행되는 임베딩과 라우팅 성능이 전체 워크플로우 완료 시간 차이에 큰 영향을 줬다고 설명했다.
전체 워크플로우 완료 시간에서도 AMD 라이젠 AI 헤일로가 앞섰다. AMD 시스템은 품질 검증을 통과한 워크플로우를 311.6초 만에 완료했으며, DGX 스파크는 367.1초가 걸렸다. AMD가 55.5초 더 빠르게 작업을 마친 셈으로, 전체 기준으로는 15% 빠른 결과다.
비용 측면에서도 AMD 라이젠 AI 헤일로가 낮은 수치를 기록했다. 3년간의 하드웨어 감가상각 비용을 기준으로 연속 운영 환경을 가정하고 에너지 비용을 제외했을 때, AMD는 워크플로우당 약 0.0132달러가 소요됐다. DGX 스파크는 약 0.0182달러가 소요됐다. AMD는 하드웨어 도입 비용이 낮고 같은 시간 동안 더 많은 작업을 완료할 수 있어 완료된 워크플로우당 비용이 약 27% 낮았다고 설명했다.
DGX 스파크는 추론 단계에서는 더 높은 성능을 보였지만, 워크플로우 전체에서는 AMD가 더 빠른 결과를 냈다. AMD는 이 결과가 AI 에이전트 워크로드에서 추론이 전체 파이프라인의 일부이며, CPU가 담당하는 오케스트레이션 성능이 최종 결과에 큰 영향을 준다는 점을 보여준다고 밝혔다.
AMD가 오케스트레이션 단계에서 앞선 이유는 CPU 기반 작업의 병렬 처리 방식과 관련이 있다. 파싱, OCR, 임베딩, 라우팅은 데이터 병렬 처리가 가능한 작업으로, CPU 코어와 스레드 수에 따라 성능이 확장된다. 데이터셋 규모가 커질수록 이 차이는 더 커질 수 있다.
라이젠 AI 맥스+ 395 프로세서는 SMT를 통해 16개의 젠 5 코어와 32개의 스레드를 제공한다. AVX-512와 VNNI 벡터 가속, 문서 처리 및 검색 스택을 위한 네이티브 x86 도구도 지원한다. 반면 DGX 스파크의 그레이스 블랙웰은 SMT를 지원하지 않는 20개의 Arm 코어를 탑재했으며, AVX-512 대신 SVE2를 지원한다.
AMD는 더 많은 스레드와 더 넓은 벡터 연산을 지원하는 라이젠 AI 헤일로가 더 많은 원본 파일을 동시에 파싱하고 임베딩하며 라우팅할 수 있다고 설명했다. 그 결과 AI 에이전트 전체 완료 시간에서 큰 비중을 차지하는 CPU 기반 준비 작업을 더 빠르게 수행할 수 있다는 것이다.
AMD는 AI 에이전트 시대에는 하나의 칩보다 시스템 전체의 균형이 중요하다고 강조했다. 하나의 오케스트레이션 에이전트가 여러 상주 모델을 구동하고, 작업은 시스템의 각 엔진에 분산된다. CPU는 에이전트 루프와 준비 단계를 담당하고, GPU는 토큰 생성을 담당한다. 대용량 통합 메모리는 모델과 데이터를 메모리에 상주시켜 단계 간 데이터 전달을 효율적으로 유지한다.
AMD는 이러한 구조를 통해 다양한 모델을 온디바이스 환경에서 함께 운용할 수 있다고 설명했다. 챗봇 시대에는 어느 GPU가 더 빠른지가 중요한 질문이었다면, AI 에이전트 시대에는 어느 시스템이 워크플로우를 더 빠르고 낮은 비용으로 완료하는지가 더 중요해졌다는 것이다.
온디바이스 AI 에이전트가 오케스트레이터, 상시 실행되는 소형 모델, 임베딩 모델, 리랭커, OCR, 음성 및 이미지 모델 등 다양한 모델 포트폴리오를 갖추게 될수록 균형 잡힌 시스템이 제공하는 이점은 더 커진다. AMD는 챗봇 시대가 GPU 중심이었다면, AI 에이전트 시대는 시스템 전체의 성능이 경쟁력을 좌우하는 시대로 전환되고 있다고 밝혔다.
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.