상점 버튼 색을 바꾸면 구매가 늘까, 튜토리얼을 줄이면 이탈이 줄까. 이런 질문에 의견으로 답하는 대신 실제 유저 반응으로 답하는 방법이 A/B 테스트입니다. 유저를 무작위로 두 그룹으로 나눠 서로 다른 안을 보여 주고 결과를 비교합니다. 이 글에서는 게임에서 A/B 테스트를 설계하고 결과를 판단하는 방법을 설명합니다.

A/B 테스트의 기본 구조

A 그룹에는 기존 안을, B 그룹에는 바꾼 안을 보여 줍니다. 두 그룹은 무작위로 나누기 때문에 다른 조건은 비슷하다고 볼 수 있습니다. 그래서 결과에 차이가 나면 바꾼 부분 때문이라고 판단할 근거가 생깁니다.

핵심은 한 번에 한 가지만 바꾸는 것입니다. 버튼 색과 가격과 문구를 동시에 바꾸면 결과가 좋아도 무엇 때문인지 알 수 없습니다. 여러 요소를 함께 시험하고 싶다면 그룹을 더 나누는 방식도 있지만, 그만큼 필요한 유저 수가 늘어납니다.

게임에서 자주 시험하는 것

다만 게임의 핵심 밸런스처럼 유저끼리 비교되는 부분은 A/B 테스트가 공정성 문제를 만들 수 있습니다. 대전 게임에서 그룹별로 캐릭터 능력치를 다르게 하는 것은 적절하지 않습니다.

테스트 설계 순서

1. 문제 정의: 어떤 지표를 개선하고 싶은지 정합니다.
2. 가설 쓰기: '튜토리얼 세 번째 단계를 줄이면 완료율이 오를 것이다'처럼 원인과 기대 결과를 한 문장으로 씁니다.
3. 핵심 지표 하나 정하기: 성공 여부를 판단할 주 지표를 미리 정합니다.
4. 보조 지표 정하기: 다른 곳에 나쁜 영향이 없는지 볼 지표를 함께 정합니다.
5. 대상과 기간 정하기: 신규 유저만 할지, 기간을 얼마나 둘지 정합니다.
6. 실행과 기록: 그룹이 제대로 나뉘었는지 확인하고 결과를 기록합니다.

핵심 지표를 미리 정하는 이유는 결과를 본 뒤에 유리한 지표만 골라 성공이라고 말하는 실수를 막기 위해서입니다. 테스트 전에 판단 기준을 문서로 남겨 두는 것이 좋습니다.

결과를 판단하는 법

두 그룹의 숫자가 조금 다르다고 바로 차이가 있다고 볼 수는 없습니다. 유저 수가 적으면 우연에 의한 차이도 크게 나타나기 때문입니다. 그래서 통계적으로 의미 있는 차이인지 확인하는 과정이 필요합니다. 많은 분석 도구가 이 계산을 도와주며, 결과가 우연일 가능성이 충분히 낮은지 판단하는 기준을 제공합니다.

• 충분한 유저 수가 모였는지 확인하기
• 요일 효과를 피하려고 최소 일주일 단위로 보기
• 테스트 중간에 결과가 좋아 보인다고 일찍 멈추지 않기
• 단기 지표와 장기 지표가 반대로 움직이는지 확인하기

결과가 애매하게 나오는 경우도 많습니다. 주 지표는 조금 올랐지만 통계적으로 확실하지 않고, 보조 지표는 변화가 없을 때입니다. 이럴 때는 기간을 늘리거나 차이가 더 분명한 안으로 다시 시험하는 방법이 있습니다. 결론을 서두르지 않는 태도가 잘못된 결정을 막아 줍니다.

주의할 점과 활용

단기 지표만 보면 잘못된 결론을 내릴 수 있습니다. 상점 팝업을 자주 띄우면 당장 구매는 늘 수 있지만 리텐션이 떨어질 수 있습니다. 그래서 보조 지표로 장기 영향까지 확인하는 것이 중요합니다. 또 유저가 그룹 차이를 알아차리고 불공평하다고 느끼지 않도록 시험 대상을 신중히 고릅니다.

결과가 기대와 다르게 나와도 실패가 아닙니다. 가설이 틀렸다는 사실 자체가 다음 개선 방향을 알려 줍니다. 테스트 결과는 가설, 설계, 결과, 결론을 한 문서로 정리해 팀이 함께 볼 수 있게 남깁니다. SBS아카데미게임학원 데이터분석 과정에서는 지표로 문제를 찾고 개선안을 제시하는 분석 실습을 합니다.

자주 묻는 질문