가설검증의 목적이 무엇인가?

서비스를 테스트하고 검증하는 시기에 접어들면서 성공 기업 사례에 대해 많이 찾아보는 요즘입니다.
그들의 실패 경험을 습득하면 조금은 덜 돌아가는 길을 택할 수 있지 않을까 생각하면서요.
처음엔 우리랑 전혀 다른 서비스들의 가설검증이 우리 서비스에 얼마나 도움이 될까 싶어 굳이 찾아보진 않았었는데요.
유튜브 알고리즘에 뜨는 발표 영상들과 리서치 중에 읽게 되는 관련 아티클들이 점점 많아졌고,
결국 서비스 메이커와 이용자가 모두 인간이기 때문에 공통적으로 반복되는 패턴들이 있다는 사실을 알게 되었습니다.

넷플릭스 랜딩 페이지를 기획한 PM의 일화였습니다.
광고를 통해 접속하게 되는 첫인상인 넷플릭스의 랜딩 페이지에는 무엇이 담겨야 할까요?
실 유저와 임직원 설문조사 결과 넷플릭스가 가지고 있는 영화 리스트를 보여주어야 한다가 압도적인 의견이었다고 합니다.
저 역시도 그렇게 생각했습니다.
많고 많은 영화 중에 좋아하는 영화가 하나쯤은 있을 거고,
넷플릭스가 그 영화를 보유하고 있다는 사실을 알게 되면,
당연히 가입전환이 이뤄질 것이라는 추측은 상당히 합리적이라고 생각했습니다.

<영화 리스트를 보여준 페이지 A>와 <아무것도 없고 가입해서 확인하라는 페이지 B>를 만들어 테스트를 진행했다고 합니다.
그리고 마주한 결과는 B의 승리였다고 합니다.
PM은 이 결과를 납득할 수 없었다고 합니다.
따라서 내린 결론은 리스트를 매력 있게 보여주지 못했다였다고 합니다.
그래서 다양한 방식으로 리스트를 보여주는 랜딩 페이지를 기획했지만,
언제나 가입 전환율이 높았던 페이지는 B였다고 합니다.

PM은 어쩌면 유저도 자신이 무엇을 더 원하는지 인지하고 있지 못할지도 모른다고 말했습니다.
본인 역시도 인지하지 못했기 때문에 거듭 테스트를 했었다면서,
게다가 전환율을 높인 건 오히려 경험 개선이었다는 웃픈 이야기를 듣고 있는데,
문득 비디어스 광고 결과가 생각났습니다.

a. <필름메이커스로 구인구직 중이신가요?>라는 문장과
b. <포트폴리오 pdf 무료로 만들어가세요>라는 문장 중 어떤 것이 더 효과적일 것 같나요?
당연히 b가 우세할 것이라고 생각했습니다.
어떤 기능을 제공하는지 알려야 이용할 테니까요.
그러나 놀랍게도 a가 2배 이상의 효율을 보였습니다.

이후 저희도 넷플릭스 PM과 같은 판단으로(ㅎ..) b의 문구를 교체해 보기로 했습니다.
a. <필름메이커스로 구인구직 중이신가요?>
b. <필름메이커스 공고에 1초 만에 지원할 수 있다.>
무료 포트폴리오가 구미가 당기지 않을 수 있다.
그러면 a와 같은 결로 이렇게나 간편하게 이용할 수 있다는 것을 어필하는 방향으로요.
하지만 당연하게도 여전히 a가 2배 이상의 효율을 보였습니다.

여기서 제가 얻은 레슨은 이미 성공한 회사들의 경험을 더 많이 읽고 봐야 한다는 것도 아니고,
사람들을 후킹 하기 위해서는 정보를 주지 않는 어그로성 문구를 사용해야 한다도 아닙니다.
예측을 증명해 내려는 시간으로부터 빨리 빠져나와야 된다는 것이었습니다.
공교롭게도 비슷한 이슈를 겪긴 했지만,
여기서의 공통적 문제는 넷플릭스 PM도 저희도 테스트 결과를 믿지 못했다는 사실이라고 생각합니다.
이렇게 되면 테스트의 의미가 퇴색됩니다.
내 예측이 옳았다는 사실을 입증하려는 마음을 잠재워야 합니다.

참 쉽지 않습니다.
머릿속에서는 무엇이 더 합리적인지 테스트도 전에 이미 판단해 버리니까요.
예측이란 것도 결국 그럴 것 같다를 기반으로 만들어지는 가설이기 때문에 그러기가 더더욱 어려운 것 같습니다.
아닐 것 같은 가설들은 애초에 테스트 대상도 아니고요.
차가운 머리를 유지해서 결과를 냉정히 바라보는 능력을 길러야겠다는 생각을 했습니다.
그게 바로 가설검증의 목적이라는 것을!

---

---