지표는 해석을 설계하는 일이었음을

최근에는 새롭게 준비 중인 서비스의 GA와 지표 설계 작업을 진행했습니다.
이번 글에서는 과거의 경험과 이번 작업을 비교해 보았을 때 느낀 차이점들을 적어보고자 합니다.

이전에 운영했던 ‘비디어스’는 콘텐츠와 사용자 행동의 다양성이 컸기 때문에
지표를 정의하는 작업 자체가 상당히 복잡했고,
사용자 여정이 어디서 시작되고 어디서 끝나는지, 각 행동이 어떤 목적에 연결되는지
그 경계를 정리하는 데에 많은 고민이 필요했습니다.

반면, ‘위즈덤램프’는 사용자 흐름이 명확합니다.
명언을 넘기고, 배경을 변경하고, 작품을 고르고, 공유하거나 좋아요를 누르는 행동으로 흐름이 구성되어 있습니다.
그래서 ‘무엇을 측정해야 할지’보다 ‘어떻게 해석할지’에 더 집중할 수 있었습니다.

지표 설계의 새로운 기준: 이벤트 정의에서 지표 산식까지

이번 작업에서 가장 달라진 점은, 단순히 이벤트만 정의한 것이 아니라
지표를 어떤 산식으로 계산할 것인지, 해당 지표의 변화를 어떻게 대응할 것인지를 사전에 설정했다는 것입니다.
예전에는 ‘클릭률’이라고 하면 막연히 ‘클릭 수 ÷ 노출 수’ 정도로만 생각하는 경우가 많았습니다.

하지만 이번에는 구체적으로 어떤 클릭률을 보고 싶은지를 먼저 고민했습니다.
[지표: 공유 클릭률]
① 클릭 수 ÷ 공유 버튼이 등장한 화면 수 → UI 접근성 관점에서 공유 버튼이 ‘눈에 띄는가’?
② 클릭 수 ÷ 명언 화면 총 노출 수 → 사용자가 명언을 충분히 소비한 뒤 공유하고 있는가?
③ 클릭 수 ÷ 전체 일간 사용자 수 → 전체 사용자 중 몇 퍼센트가 공유 행위를 했는가?

이처럼 동일하게 ‘공유율’이라는 이름을 붙일 수 있는 지표도 관점에 따라 완전히 다른 해석이 가능합니다.
이번에는 지표마다 “이 수치를 왜 보는가”를 정의했고,
이를 통해 실제 수치를 보기 전에 우리가 어떤 행동을 관찰하고자 하는지를 더 분명히 할 수 있었습니다.

운영 전 시뮬레이션 하기

지표 정의가 명확해지니 자연스럽게 그다음 단계로 확장할 수 있었습니다.
바로 “만약 이 지표가 낮게 나타난다면, 어떤 가설을 바탕으로 무엇부터 확인해야 할까?”에 대한 시뮬레이션입니다.
중요 지표에 대해 시나리오를 세우고, 다음과 같은 대응 루틴을 정리해두었습니다.

이처럼 운영 전에 루틴을 설계해두니,
실제로 지표에 변화가 생겼을 때 원인을 빠르게 좁혀가고, 다음 행동을 신속하게 결정할 수 있는 흐름이 생겼습니다.

‘비디어스’에서 배운 것, 지금 반영된 것
돌이켜보면 이번 접근 방식은 ‘비디어스’ 시절 데이터 분석 경험 덕을 본 것 같습니다.
그때도 나름 데이터를 열심히 수집하고 지표를 만들긴 했는데, 지금 생각하면 순서가 좀 뒤죽박죽이었죠.
당시엔 이벤트를 정의하기보다, “일단 GA에 연결해서 액션부터 찍어보자” 하고 시작했습니다.
처음엔 정말 주요한 액션 몇 개만 설정했어요. 예를 들면 가입 완료, 공고 지원 완료 정도.
그러다 보니 서비스 운영을 하면서 “이것도 보면 좋겠는데?” 하고 이벤트를 하나씩 추가했고,
그걸 기준으로 나중에 지표를 정의했습니다.

문제는, 서비스를 시작하기 전에 ‘보고 싶은 지표’가 정의되어 있지 않았다는 점입니다.
그래서 막상 특정 지표를 보려고 하면, 이벤트를 애초에 안 찍어놔서 아예 확인할 수 없는 경우도 있었고
심지어 데이터가 있는데도, 지표 정의가 없어서 “이걸 도대체 왜 보고 싶은 거였지?” 하고 고개를 갸웃한 적도 있었죠.

하나 기억나는 건 ‘공고 지원율’을 만들 때였습니다.
그냥 이름만 ‘지원율’이라고 해놓으니, 나중에 계산할 때 분모를 뭘로 할지가 애매했습니다.
가입자 수를 쓸지, 포트폴리오를 생성한 유저 수를 쓸지, 아니면 다른 기준을 쓸지…
회의가 길어지고, 계산 방식이 바뀌면 지표 값도 덩달아 달라지는 상황이 벌어졌습니다.
이번에는 이런 시행착오를 줄이려고, 시작 전부터 지표와 산식을 함께 정의했습니다.
그래서 분모, 분자, 계산 로직까지 모두 확정해둔 상태에서 운영을 시작할 수 있게 된 것이죠.

물론 실전은 언제나 예측과는 다르게 흘러갑니다.
상황은 바뀌고, 예상하지 못한 변수들도 생기겠지요.
하지만 한 번 경험해 본 덕분일까요. 아니면 이번엔 더 잘 준비했다는 생각 때문일까요.
이번에는 어느 때보다도 든든한 마음으로 실전을 맞이할 수 있을 것 같습니다.
이렇게 설계한 구조 안에서, 앞으로 우리는 또 어떤 서비스를 만들어가게 될지요.
여러분도 지켜봐 주세요!

---