플레이테스터의 말은 어디까지 믿어야 할까?

내용:

제가 게임을 하나 출시했는데, 반응이 정말 좋았어요.

플레이어들은 깔깔 웃고, 소리도 지르고, 아주 난리가 났었죠.

그런데 막상 출시하고 나니,

5년이 지나도 아무도 안 사는 겁니다.

진짜 헷갈렸던 건, 개발하는 동안에는

뭔가 잘못됐다는 느낌이 전혀 없었다는 거예요.

하지만 우리는 아주 근본적인 거 하나를 완전히 잘못 알고 있었어요.

이 영상은 바로 그 실수에 대한 이야기입니다.

왜 수많은 ‘좋은’ 게임들이 똑같은 이유로 망하는지에 대해서요.

게임이 좋은지 나쁜지 판단할 때, 절대 본인의 감을 믿으면 안 됩니다.

너무 가까이 있어서 객관적일 수가 없거든요.

그래서 외부 반응을 보려고 플레이 테스트를 하는 거죠.

근데 제가 이걸 깨닫는 데 게임 개발만 10년이 넘게 걸렸습니다.

플레이 테스트를 한다고

저절로 진실을 알게 되는 게 아니에요.

테스트는 그냥 ‘데이터’를 줄 뿐이고,

그 데이터를 잘못 해석하기가 너무 쉽거든요.

친구나 가족이 대표적이죠.

아무리 솔직하게 말해달라고 해도,

팔은 안으로 굽는다고 무조건 여러분 편을 들게 돼 있어요.

초반에는 신뢰하는 다른 개발자들의 도움이 클 수 있습니다.

특히 완성된 게임이 아니라

아이디어를 테스트할 때는요.

이 단계에서 컨셉을 공유하고 토론하는 건 정말 귀중하죠.

하지만 많은 팀들이 딱 거기서 멈추는 것 같아요.

내부적으로만 플레이 테스트를 하는 거죠.

그건 진짜 플레이 테스트가 아닙니다.

그냥 ‘품질 관리(QC)’일 뿐이에요.

버그나 튕기는 현상은 찾겠죠.

하지만 진짜 플레이어들이 게임을 어떻게 받아들이는지는 절대 알 수 없습니다.

다들 재밌어한다 해도,

플레이어들은 절대 개발자가 의도한 대로 플레이하지 않아요.

시스템을 오해하고,

튜토리얼은 싹 무시하고,

엉뚱한 걸 최적화하려 들죠.

겉으로 보면 플레이 테스트가 보여주는 게 이런 겁니다.

사용성 문제, 헷갈리는 부분, 흐름이 끊기는 곳들.

물론 유용한 정보긴 해요.

문제는 이 겉으로 드러난 신호들을

뭔가 더 깊은 의미로 착각할 때 발생합니다.

여기서 멈추면 마치 충분히 배운 것 같은 느낌이 들거든요.

게임도 잘 돌아가고, 사람들도 즐거워하니까요.

하지만 바로 이 지점이 정말 위험한 순간입니다.

대부분의 테스터들은 예의가 발라요.

돈 받고 하는 사람도 있고,

이미 여러분 게임이나 여러분을 좋아하는 사람들도 있죠.

여기서 그들의 ‘친절함’이 여러분의 적이 됩니다.

‘즐거워한다’는 게 마치 성공의 증거처럼 느껴지겠지만,

테스터 입장에선 말로 칭찬하는 건 공짜거든요.

제가 공동 개발했던 게임도 플레이어들이 진심으로 즐거워했고,

우린 그 즐거움을 성공의 증거로 믿었지만

결과는 아니었죠.

‘재미’가 곧 ‘수요’는 아닙니다.

그럼 우린 대체 어디서부터 잘못된 걸까요?

만약 지금 이 내용이 좀 찔리셨다면, 그건 좋은 신호입니다.

헬스장에서 깃털처럼 가벼운 덤벨을 들면서 근육이 커지길 바란다고 상상해 보세요.

플레이 테스트도 똑같습니다.

저항이 없으면 느낌은 좋겠죠.

하지만 배우는 건 아무것도 없습니다.

잘못된 피드백을 믿기 시작하면,

당연히 의심해봐야 할 결정들조차

그냥 넘어가게 됩니다.

테스트 결과가 긍정적이니까 우린 자신감이 넘쳤어요.

그 자신감 때문에 힘든 타협점들은 자꾸 뒤로 미루게 됐고요.

우리 게임은 파티 난투 게임이었는데,

핵심 가치는 친구랑 같이 노는 거였어요.

온라인 멀티플레이는 늘 어려운 과제였죠.

초반에 계획을 안 잡았고,

나중에 넣으려니 기술적 위험이랑 비용이 너무 큰 거예요.

근데 테스트 반응이 좋으니까 급하게 느껴지질 않는 겁니다.

로컬 멀티플레이로도 충분히 재밌고, 다들 웃고 난리니까요.

테스트에서 뼈아픈 지적이 없었던 거죠.

즉, ‘저항’이 없었던 겁니다.

우린 닌텐도 스위치로 출시할 게임이었으니

로컬 플레이만으로 충분할 거라고 멋대로 단정 짓고,

거기에 올인해 버렸어요.

그 잘못된 안도감 때문에 개발 범위가 야금야금 늘어났습니다

스토리 모드, 월드 맵, 성장 시스템...

아무도 달라고 안 했는데,

게임이 이미 재밌으니까 넣어도 된다고 합리화한 거죠.

이런 결정들이 하나하나 떼어놓고 보면 말이 되는데,

합쳐놓고 보니 정작 핵심 경험에 집중하지 못하게 됐어요.

요즘 게임의 기본인 온라인 멀티플레이에 투자하는 대신,

나중에 여유 되면 넣지 뭐, 하고 넘겨버린 겁니다.

우리의 자신감은 하늘을 찔렀지만,

시장 반응은 싸늘했어요.

위시리스트도 적고, 반응도 없고, 끌림도 없었죠.

우린 이걸 마케팅 문제라고 착각했지만,

사실은 ‘수요’ 자체의 문제였습니다.

잘못된 피드백은 우리를 속인 것뿐만 아니라,

절박함을 없애고 스콥 크립*을 방치했으며,

그 뒤의 모든 잘못된 결정을 정당화해 버렸습니다.

(*개발해야하는 것들이 늘어나는 현상)

그 일을 겪고 나서

전 플레이 테스트에 대해 불신이 생겼어요.

테스트가 쓸모없어서가 아니라,

제가 엉뚱한 용도로 썼기 때문이죠.

예전엔 테스트가 ‘안심’을 위한 거였다면,

이제는 ‘불확실성을 줄이는’ 과정이 됐습니다.

즉, 뭐가 안 통하는지를 알아내는 거죠.

전체 게임 테스트도 여전히 하지만,

그건 핵심 재미가 이미 확실할 때만 합니다.

페이스 조절이나 흐름을 보려고요.

그 전에는 한 번에 하나씩만 테스트해요.

움직임, 단순한 메커니즘, 핵심 루프 하나.

이게 제대로 작동하는지를 보는 거지,

이게 팔릴지를 보는 게 아닙니다.

그리고 이제 테스트는 아이디어를 ‘쳐내는’ 수단이 됐습니다.

기획서에선 그럴듯해 보이지만

실제로 게임에 가치를 더하지 않는 것들을 잘라내는 거죠.

테스터들도 바꿨어요.

모르는 사람들, 저한테 친절할 이유가 전혀 없는 사람들로요.

그리고 "어땠어요?"라고 묻는 대신,

그들의 행동을 관찰합니다.

테스트 끝났다고 하자마자 칼같이 그만두는지,

아니면 시키지 않아도 계속 플레이하는지.

예의상 칭찬만 하는지,

아니면 "와, 이런 거 넣으면 쩔겠는데?" 하면서 신나서 떠드는지를 봅니다.

피드백도 듣고 메모도 하지만,

이제 제 목표는 ‘인정받는 것’이 아닙니다.

행간을 읽어야죠.

목표는 ‘명확성’이에요.

뭘 버리고 뭘 남길지,

뭐가 진짜 중요한지 아는 거요.

플레이 테스트는 성공의 보증수표가 아니라,

‘자신감 넘치는 바보’가 되지 않기 위한 수단이 된 겁니다.

플레이어 피드백을 맹신하지 마세요.

플레이어가 틀려서가 아니라,

‘마찰’ 없는 피드백은 헛된 자신감만 심어주니까요.

플레이 테스트는 필수적이지만,

그게 게임이 잘 팔릴 거라는 증거는 아닙니다.

경력이 쌓인다고 이 실수를 안 하는 건 아닙니다.

대신 어떤 질문을 던져야 할지를 알게 되는 거죠.

긍정적인 피드백이 올수록 오히려 더 신중해져야 합니다.

-------------------------

알고리즘에 뭔 듣보잡채널이 뜨길래 봤는데 내용이 꽤 괜찮네

메가히트작인 쓰론폴, 아일랜더스를 연달아 제작한 조나스 타이롤러도 공감함

슬레이 더 스파이어 개발자들은

아예 메트릭 서버를 둬서

플레이 데이터를 실시간으로 수집했다고 함

테스터의 반응을 객관적으로 해석하는데는

인간 대 인간으로 관찰하기보다 이런 방식이 더 좋을지도

여튼 소수 테스터의 반응에 너무 일희일비 하지 말고 

충분히 표본을 쌓은 다음, 객관적으로 데이터를 해석하시길