생성형 AI가 업무 도구로 자리 잡으면서 어떤 AI를 선택하느냐가 생산성에 직접적인 영향을 미치기 시작했다. 이메일 작성부터 프레젠테이션 제작, 스프레드시트 분석, 업무 시스템 연동까지 동일한 작업을 수행한 결과, 종합적인 완성도에서는 챗GPT가 가장 높은 평가를 받았다.
평가 대상은 클로드(Claude), 챗GPT(ChatGPT), 제미나이(Gemini), 코파일럿(Copilot)까지 총 4종. 실증 테스트는 이메일 작성, 프레젠테이션 제작, 기본 회계 업무, 워크스페이스 연동 등 실제 사무 환경에서 자주 수행하는 업무를 동일한 프롬프트로 실행하는 방식으로 이뤄졌다.
1. 이메일 작성은 모델의 RLHF 성향이 더 크게 작용
업무 일정이 지연되는 상황을 알리는 메일에서는 Claude가 가장 완성도가 높았다. 불필요한 사과를 반복하지 않았고, 일정이 늦어지는 이유와 새로운 마감 시점을 함께 제시하면서 상대방이 판단할 수 있는 정보를 자연스럽게 제공했다. 반대로 후속 메일(Follow-up) 작성에서는 ChatGPT와 Copilot이 더 좋은 결과를 냈다. 두 모델 모두 핵심만 전달하는 구조를 유지했고, 상대방을 압박하지 않으면서도 필요한 행동을 유도하는 문장을 구성했다. 같은 이메일 생성이라도 모델마다 RLHF 과정에서 학습한 커뮤니케이션 스타일 차이가 그대로 드러난 셈이다.
2. 프레젠테이션 생성은 정보 구조를 어떻게 설계하느냐에서 차이
Gemini는 전체 발표 흐름을 하나의 스토리로 구성하면서 슬라이드마다 하나의 메시지만 남기는 Presentation Design 원칙을 가장 잘 구현했다. 레이아웃과 이미지 선택도 비교적 자연스러웠으며 실제 임원 보고용 Deck에 가까운 결과물을 생성했다. Claude는 문장 자체의 완성도는 높았지만 Narrative 비중이 커 발표 자료보다 설명형 문서에 가까웠고, ChatGPT는 논리 구조는 우수했지만 표현이 다소 추상적이었다. Copilot은 웹 환경에서 슬라이드 자체를 생성하지 못하고 개요만 제시하는 데 그쳤다.
3. 스프레드시트 생성에서는 구현 방식에서 차이가 발생
ChatGPT와 Claude는 SUMIF와 IF 같은 Excel Formula를 직접 생성해 결과를 계산했다. 따라서 데이터를 수정하거나 행을 추가하면 모든 값이 자동으로 재계산되는 실제 업무용 스프레드시트가 만들어졌다. 반면 Gemini는 계산 결과를 셀에 직접 입력하는 방식을 선택했다. 처음 보는 결과는 동일하지만 유지보수 관점에서는 차이가 크다. 특히 ChatGPT는 의도적으로 삽입한 중복 데이터를 Potential Duplicate로 별도 표시했고, 예산 대비 지출 차트까지 자동 생성해 단순 계산을 넘어 데이터 검증과 시각화까지 함께 수행했다.
4. Workspace Connector는 Context Management 역량을 확인
Gmail과 Google Calendar를 연결한 뒤 답장이 필요한 메일과 일정 충돌을 찾도록 요청한 결과 ChatGPT와 Gemini는 실제 우선순위가 높은 메일과 출장 일정 충돌을 정확하게 찾아냈다. Claude 역시 대부분의 정보를 올바르게 분석했지만 긴급도 판단은 다소 보수적인 편이었다. Copilot은 일정 충돌보다 중요도가 낮은 메일을 먼저 추천하는 모습을 보였는데, 단순한 Connector 연결보다 Context Ranking과 Priority Resolution 품질이 실제 업무 생산성에 더 큰 영향을 미친다는 점을 보여주는 결과였다.
** 가장 흥미로운 부분은 워크플로우가 생산성을 결정했다는 점
이메일 작성이나 문서 생성처럼 단일 작업에서는 모델 간 성능 차이가 크지 않았다. 그러나 Function Calling, Spreadsheet Generation, Connector Integration, Context Management까지 포함한 전체 워크플로우에서는 차이가 분명하게 나타났다. ChatGPT는 가장 균형 잡힌 생산성을 보여줬고, Gemini는 프레젠테이션과 Google Workspace 연동에서 강점을 보였다. Claude는 장문 생성과 문체 완성도가 뛰어났으며, Copilot은 Microsoft 365 환경에서는 여전히 장점이 있지만 독립적인 웹 환경에서는 활용 범위가 제한적이었다. 결국 생성형 AI 경쟁은 이제 "누가 더 좋은 답을 생성하는가"가 아니라 "누가 실제 업무를 끝까지 수행하는 플랫폼을 제공하는가"로 빠르게 이동하고 있다는 점을 확인할 수 있었다.
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.