대형 점수판 앞에 선 남성이 책상 위 노트북을 바라보는 모습 — 이해를 돕는 AI 자료 이미지
구글 딥마인드의 새 프런티어 모델(최상위 성능 모델) 제미나이 4 아르곤(Gemini 4 Argon)이 범용 문제 해결력을 재는 벤치마크 ARC-AGI-3에서 97.5%를 기록했다. ARC Prize에 따르면 95% 선을 넘은 AI 연구소는 오픈AI에 이어 구글이 두 번째다. 다만 점수는 테스트 환경에 따라 크게 달라졌고, 에포크 AI(Epoch AI) 분석에서는 수학과 소프트웨어 공학 분야에서 경쟁 모델에 뒤처졌다.
ARC-AGI-3 97.5%…오픈AI에 이어 두 번째 95% 돌파
아르곤이 97.5%를 받은 환경은 ‘프로바이더 어댑터 하니스(Provider Adapter Harness)’다. 모델 제공사별 기능인 추론 내용 유지(retained reasoning)와 맥락 압축(context compaction)을 쓸 수 있는 테스트 구성이다. 이 점수를 얻는 데 든 비용은 4,800달러였다. 더 높은 점수는 GPT-6 Astra의 99.9%뿐이다.
행동 효율도 Astra와 비슷했다. 공개된 25개 게임 전체에서 인간 기준선보다 62% 적은 행동으로 과제를 풀었다. 세 게임에서는 스피드런 기록과 같거나 더 빠른 기록을 냈고 다른 여섯 게임에서는 최고 기록과의 차이를 10% 이내로 좁혔다.
이전 버전 벤치마크 성적도 함께 공개됐다. ARC-AGI-2에서는 91.3%(과제당 0.32달러), ARC-AGI-1에서는 98.5%(과제당 0.16달러)를 기록했다. 이 비용은 출시 기념 가격인 입력 100만 토큰당 2달러, 출력 100만 토큰당 10달러를 기준으로 계산한 값이다.
노트북 코드 화면 앞에서 기계식 키보드를 타이핑하는 손 — 내용 이해를 돕는 AI 이미지
같은 모델, 다른 점수…테스트 환경이 가른 49.8%
‘스탠더드 하니스(Standard Harness)’에서는 결과가 전혀 다르다. 라운드 사이에 간단한 메모만 남길 수 있는 이 환경에서 아르곤은 낮은 추론 설정 기준 49.8%에 머물렀고 비용은 5,800달러였다. 최고 점수 환경보다 점수는 절반 가까이 낮은데 비용은 오히려 더 들었다.
이 격차의 뿌리는 2026년 7월 논란이다. 당시 오픈AI의 GPT-5.6 Sol이 두 가지 API 설정을 사용해 클로드 오푸스 5를 ARC-AGI-3에서 앞섰다. 표준 환경에서 GPT-5.6 Sol은 7.8%에 그쳤다. 이 환경은 행동마다 내부 추론을 버리고 최신 클로드 API 기능이 빠진 구형 인터페이스를 썼기 때문에, 클로드와 GPT가 서로 다른 조건에서 평가받은 셈이었다.
오픈AI의 자체 응답 API에서 ‘추론 유지’와 스마트 맥락 ‘압축’을 켜자 GPT-5.6 Sol은 38.3%로 뛰었고 오푸스 5의 30.2%를 넘어섰다. 오픈AI는 벤치마크가 기술적 환경까지 함께 측정한다고 주장했다. ARC Prize 공동 창립자 프랑수아 숄레는 이후 일반에 공개된 API 설정을 허용했다.
아르곤은 표준 환경에서 API 문제로 55개 게임을 모두 끝내지 못했다. 낮은 추론 설정에서는 42개, 중간 설정에서는 46개를 완료했다. 최고 설정에서는 19개만 끝내 ARC Prize가 점수를 발표하지 않았다. 공개된 점수는 중단된 시도의 부분 점수를 포함해 55개 게임 전체를 기준으로 한다.
종합 지수는 최상위권, 수학·소프트웨어 공학은 하위권
에포크 AI는 구글의 위치도 따로 추적했다. 에포크 역량 지수에서 아르곤은 165점으로 페이블 5.1과 같았다. 오푸스 5.5(167점)와 GPT-6 Astra(166점)에는 바로 뒤처진 수치다. ECI는 50개 넘는 벤치마크를 하나의 역량 척도로 합친 지수이며, 아티피셜 애널리시스의 종합 점수와 구성 방식이 비슷하다.
구글 내부 비교에서는 도약 폭이 뚜렷하다. 제미나이 3.8 플래시는 157점이었다. The Decoder는 아르곤이 2월 제미나이 3.1 프로 이후 구글을 최상위권에 가장 가깝게 끌어올렸다고 평가했다. 아티피셜 애널리시스와 Vals.ai도 이전에 같은 흐름을 확인했다.
영역별로는 편차가 있다. 에포크 AI에 따르면 아르곤은 지식·에이전트·비전 벤치마크 여러 개에서 선두다. 하지만 초기 추정치 기준으로 수학 ECI는 8위, 소프트웨어 공학 지수는 6위에 그쳤다. 코딩 에이전트(스스로 코드를 작성·수정하는 AI) 경쟁에서는 아직 상위권 모델과 거리가 있다는 뜻이다.
구글 AI 스튜디오는 개인용 안드로이드 앱 제작 기능도 열었다
모델 경쟁과는 별개로 구글은 앱 제작 도구도 넓혔다. 지디넷에 따르면 구글은 화요일 표준 구글 계정만 있으면 누구나 구글 AI 스튜디오에서 개인용 앱을 만들 수 있다고 발표했다. 앱은 본인 기기에서 실행되며 구글 플레이의 비공개 영역으로 실행되고 공개 플레이스토어에는 올라가지 않는다.
기존 AI 스튜디오의 앱 제작 도구는 전문 개발자 계정용이었고 PC와 USB 디버깅 연결이 필요했다. 새 기능은 같은 제작 도구를 쓰되 클릭 한 번으로 개인 기기에 앱을 설치할 수 있다. 공개 스토어 등록 없이 나중에 다른 사람에게 직접 공유하는 것도 가능하다.
사용법은 프롬프트(지시문)로 만들고 싶은 앱을 설명하는 것이 전부다. 제작 중에는 놓친 기능을 추가하라는 옵션이 표시된다. 완성 뒤에는 가벼운 수정을 하거나 처음부터 다시 만들 수 있다. 앱을 만들고 실험하는 데는 비용이 들지 않는다.
지디넷 필자는 습관 추적기·계산기·변환기·카운터·타이머처럼 한 가지 용도로만 쓰는 앱을 대체하기 좋다고 봤다. 수술 뒤 회복 중인 아내가 시간별 복약 일정을 관리하려 했지만 광고가 너무 많았고 광고 제거용 월 구독은 몇 달만 쓸 앱에 내기 싫어했다는 사례도 들었다. 필자는 AI로 앱을 만드는 일 자체는 새롭지 않다며 핵심 장점으로 ‘오직 나를 위한 앱’이라는 점을 꼽았다.
Copyright ⓒ 위키트리 무단 전재 및 재배포 금지
