Proxy Metrics 프록시 메트릭이란? by 넷플릭스 Netflix VP/CPO Gibson Biddle : 제품 개선을 위한 지표 설정 가이드

넷플릭스의 전 VP Product/CPO인 Gibson Biddle의 '프록시 메트릭'에 대한 글이다. 프로덕트 개선을 위한 지표 설정과 지표 관리에 어려움을 겪고 있을 때 추천받은 글로, 인상깊게 읽어 개인 학습을 위해 정리해두고자 한다. 1) 프로덕트 전반의 퀄리티 관리/개선, 2) 프로덕트를 세분화하여 관리/개선을 동시에 충족하기 위해, 어떤 지표를 설정하고 어떻게 관리해야 할지 배울 수 있다. 또한, 넷플릭스에서는 '더 simple한 경험'과 같은 정성적인 가치를 어떻게 지표화하고 측정하고 개선하는지도 엿볼 수 있다. 

 

 

원문 : https://gibsonbiddle.medium.com/4-proxy-metrics-a82dd30ca810

#4 Proxy Metrics

 

Proxy Metric이 필요한 이유

• 넷플릭스에서 프로덕트 전반적인 퀄리티를 측정하기 위한 메트릭은 월간 리텐션이다.
  • 초기에는 10%의 회원들이 매달 구독 취소를 했다. 2005년에는 월간 취소율이 4.5%였다. 지금은 거의 2%다.
• 그러나 리텐션을 모든 프로젝트의 메트릭으로 삼는 것이 알맞지는 않다. 이것은 움직이기 어려운 메트릭이고, 큰 스케일의 A/B 테스트를 필요로 한다.
  • 반면 좀더 로우 레벨의 메트릭인 ‘proxy metric’은 하이 레벨 메트릭보다 움직이기에 더 쉽고 빠르다. 프록시 메트릭을 움직이면 (넷플릭스로 치면 리텐션에 해당하는) 하이레벨 메트릭을 개선할 수 있다. (둘은 상관관계가 있으며, A/B 테스트를 통해 인과관계를 입증할 수 있다.)

‘Simple’하다는 것을 어떻게 측정할 것인가?

• 우리의 가설 중 하나는 ‘회원의 더 심플한 경험이 리텐션을 개선할 것이다’라는 것이었다. 하지만, 이 ‘심플한'이라는 것을 어떻게 측정할 것인가? 그리고 그것이 리텐션을 개선한다는 것을 어떻게 입증할 것인가?
• 우리는 사용자 서비스 데이터를 탐색하기 시작했다.
  • 왜 회원들은 질문이나 불만을 표하며 넥플릭스에 전화를 하거나 메일을 보내는가? 헬프 페이지에 방문했을 때 그들은 어떤 링크를 클릭하는가? 사용자들은 어디서 혼란을 겪는가?
  • 넷플릭스는 신규 회원들과 1 on 1 세션과 포커스 그룹으로 대화를 나누었다. 그들의 넷플릭스 위클리 활동 여정을 서술하게 하였고, 마지막으로는 그 신규회원들의 회원가입 플로우 데이터와 첫 몇 주간의 서비스 내 데이터를 보았음.
    • 새로운 회원들을 혼란스럽게 했던 하나의 포인트는, 넷플릭스의 초기 DVD-by-mail 서비스였다. 이 서비스는 고객에게 넷플릭스가 보낼 영화 주문 목록을 만들게 했다. 그러나 몇몇 새로운 멤버들은 그들의 넷플릭스 대기목록에 비디오를 추가하는 것에 실패했다. → 사용자는 플랜을 선택하고, 카드 정보를 입력하고서 어떻게 해야할지 혼란을 겪었음. 그들의 대기 목록에 최소 세 개의 영화 타이틀을 추가한다는 개념이 많은 신규 회원을 혼란스럽게 함.
      • ⇒ 회원가입 프로세스를 심플하게 만드는 것과 영화 목록을 더 쉽게 생성할 수 있게 하는 것이 필요하다는 걸 알게됨. ⇒ 넷플릭스는 회원가입의 과정 중 일부 스텝들을 제거하고, 어떻게 서비스가 작동하는지 명확서을 제공하는 것에 집중하는 프로젝트를 실행함.
      • 이들이 고안한 프록시 메트릭은 “첫 세션동안 대기목록에 최소 세개의 영화를 추가하는 신규 멤버의 비율"이였다. 처음 이 지표를 측정할 때는 70%였는데, 그 해의 끝무렵 이들은 여러 차례 실험을 거쳐 90%까지 이 지표를 끌어올렸다.
      • 동일한 기간동안, 이들은 1개월 유지 리텐션도 88% → 90%로 끌어올렸다. 리텐션과 ‘simple’ 메트릭이 함께 움직인 것이다. 이들은 이 제대로된 경험이 리텐션을 개선했다는 확신이 있었기 때문에 large-scale A/B 를 실행하지 않았다.

올바른 Proxy metric

• 프록시 메트릭은 제품 전반의 퀄리티를 정의하는 메트릭인 high-level engagement metric의 대역이다.
  • 먼저, 하이 레벨 메트릭과 프록시 메트릭 사이의 상관관계를 찾아야 한다.
  • 그리고, 이후 인과관계를 증명하기 위해 노력해야 한다.

프록시 메트릭을 정의하기 위한 간단한 모델

• (X 기간) 동안 적어도 (유저 액션을 위한 최소 한계점)을 하는 (회원 / 신규 고객 / 재방문 고객)의 비율
• 넷플릭스에서의 프록시 메트릭 예시
  • 6개월 내 친구 리스트에 최소 한 명을 추가하는 사용자의 비율
    • 넷플릭스 친구 피쳐는 런칭 시 1%의 사용자가 있었는데, 3년간 5%로 성장했고, 넷플릭스는 해당 피쳐를 없앴다(killed). 추정으로는 친구기능 프록시 메트릭이 의미있는 리텐션 개선을 달성하기 위해서는 20%는 넘어야 했다.
  • 1개월 동안 최소 15분의 비디오를 스트림하는 멤버의 비율
    • 2007년에 스트리밍 기능을 런칭했을 때, 이 메트릭은 5%였다. 현재는 90%이상이다. 이들은 15분이 가장 작은 증가분 값이었기 때문에 ‘15’분을 택했다. (가장 짧은 TV 에피소드가 15분임) - 넷플릭스는 지금은 비슷한 프록시 메트릭을 측정하는데, 좀더 다양하고 더 높은 허들로 측정함. e.g.월 간 적어도 10/20/30/40 분을 시청하는 멤버의 비율
  • 한 달 내, 대기 목록에 적어도 6개의 DVD를 추가하는 사용자의 비율 
    
    • (첫 문단에 적힌 사례라 설명 생략)
  • 첫 6주 동안 최소 50개의 영화를 평가한 신규 멤버 비율.
    • 이 메트릭은 개인화를 위한 프록시 메트릭이었다. 만약 고객이 영화를 기꺼이 평가한다면 , 그들은 넷플릭스가 제공하는 영화 추천을 가치있게 여길 것이라는 가설이었다. 넷플릭스는 몇 년에 걸쳐 이 지표를 낮은 한 자리수에서 20% 후반대까지 이끌었다.

잠재적 메트릭을 평가할 때, 프록시가 _____ 라는 것을 확인하라!

• 측정가능하다.
  • 당신은 데이터를 찾고, 수집하고, 평가할 수 있다. 이상적으로 당신은 A/B테스트를 통해 메트릭을 평가할 수 있고, 메트릭은 “우리가 이 피쳐를 런칭해도 됩니까?”라는 질문에 답하는 것을 도와줄 수 있다. 새로운 프로덕트 전략을 평가할 때, 스스로에게 “A/B 테스트에서, 우리가 go/no-go를 결정하는데 어떤 메트릭을 사용해야하는가?”라는 질문을 해라.
• 움직일 수 있다.
  • 프로덕트 경험에 변화를 줌으로써 메트릭에 변화를 줄 수 있다.
• 평균이 아니다.
  • 평균의 위험은, 당신이 소수의 고객이 더 많은 뭔가를 하게 하여 메트릭을 변화시킬 수 있다는 것이다. 그러나 이는 프로덕트 전반의 경험을 개선하는데 영향을 주지 못한다.
• high-level engagement metric과 상관관계가 있다.
  • 넷플릭스의 경우, 성공적인 프록시 메트릭과 리텐션은 함께 움직였다. 장기적으로,  large-scale A/B 테스트를 통해 인과관계를 증명 가능
• 신규 고객 대 기존 고객을 명시한다.
  • 넷플릭스가 성장하면서, 이들은 신규 고객에 노력을 집중하는 것을 배웠다. 이들은 세계적으로 규모있는 서비스로 성장하기 위해, 신규 회원들에게 서비스를 최적화하는 것이 필요하고 믿었다. 이들은 신규 고객을 대상으로 피쳐를 테스트하고, 긍정적인 결과를 토대로 전체 멤버들에게 해당 기능을 롤아웃했다. 기존 멤버들은 가끔 변화를 인지하고 불평하기도 했지만, 대부분 취소하지 않았다. (때때로 리텐션에 리스크가 있다고 믿으면 기존 멤버 대상으로 A/B테스트를 하기도 함)
• 조작할 수 없다.
  • 서비스 내 CS 경험 개선에 주력한 PM 사례 - 그의 일은 회원들이 800번(고객센터 번호)을 통해 CS팀에 전화하지 않고 스스로 문제를 해결하는걸 쉽게 만드는 것이었다. 그의 역할을 정의하는 메트릭은, ‘1000명의 고객 당 연락 횟수'였다. 그리고 목표는 이 메트릭을 1000명 고객 당 연락 횟수를 20 이하로 낮추는 것이었다. 그러나 이 프로덕트 매니저는 800번이라는 숫자를 숨김으로써 이 메트릭을 조작할 수 있다는 것을 빠르게 발견했다. 결론적으로, 그는 프록시를 다음과 같이 개선했다. “두번의 클릭 이내에 800번을 누를 수 있는 1000명의 고객 당 연락횟수”

넷플릭스의 놀라운 사실

• 우리는 결정을 빠르게 한다. 하지만 올바른 프록스 메트릭을 구별해내는데 때때로 6개월이 걸리기도 한다. 데이터를 찾아내고, 우리가 이 메트릭을 움직일 수 있는지 발견하고, 프록시와 리텐션 사이에 인과관계가 있는지 확인하는데 시간이 걸린다. 속도와 정확한 메트릭을 찾는 것 이라는 트레이드 오프가 있을 때, 우리는 ‘정확한 메트릭을 찾는 것'에 집중한다. 팀이 잘못된 메트릭에 집중하는 것은 대가가 크다.
• 마침내 팀내 각각의 프로덕트 매니저들은, 월간 리텐션을 개선할 수 있는 1~2개의 프록시 메트릭을 통해 그들의 퍼포먼스를 측정할 수 있었다.