๐Ÿ‘ฉ‍๐Ÿ’ปDeep Wide School/๐Ÿ““Product Owner ์Šคํ„ฐ๋”” ๋กœ๊ทธ

Proxy Metrics ํ”„๋ก์‹œ ๋ฉ”ํŠธ๋ฆญ์ด๋ž€? by ๋„ทํ”Œ๋ฆญ์Šค Netflix VP/CPO Gibson Biddle : ์ œํ’ˆ ๊ฐœ์„ ์„ ์œ„ํ•œ ์ง€ํ‘œ ์„ค์ • ๊ฐ€์ด๋“œ

Deep Wide Studio 2022. 4. 18. 02:09
728x90
๋ฐ˜์‘ํ˜•

๋„ทํ”Œ๋ฆญ์Šค์˜ ์ „ VP Product/CPO์ธ Gibson Biddle์˜ 'ํ”„๋ก์‹œ ๋ฉ”ํŠธ๋ฆญ'์— ๋Œ€ํ•œ ๊ธ€์ด๋‹ค. ํ”„๋กœ๋•ํŠธ ๊ฐœ์„ ์„ ์œ„ํ•œ ์ง€ํ‘œ ์„ค์ •๊ณผ ์ง€ํ‘œ ๊ด€๋ฆฌ์— ์–ด๋ ค์›€์„ ๊ฒช๊ณ  ์žˆ์„ ๋•Œ ์ถ”์ฒœ๋ฐ›์€ ๊ธ€๋กœ, ์ธ์ƒ๊นŠ๊ฒŒ ์ฝ์–ด ๊ฐœ์ธ ํ•™์Šต์„ ์œ„ํ•ด ์ •๋ฆฌํ•ด๋‘๊ณ ์ž ํ•œ๋‹ค. 1) ํ”„๋กœ๋•ํŠธ ์ „๋ฐ˜์˜ ํ€„๋ฆฌํ‹ฐ ๊ด€๋ฆฌ/๊ฐœ์„ , 2) ํ”„๋กœ๋•ํŠธ๋ฅผ ์„ธ๋ถ„ํ™”ํ•˜์—ฌ ๊ด€๋ฆฌ/๊ฐœ์„ ์„ ๋™์‹œ์— ์ถฉ์กฑํ•˜๊ธฐ ์œ„ํ•ด, ์–ด๋–ค ์ง€ํ‘œ๋ฅผ ์„ค์ •ํ•˜๊ณ  ์–ด๋–ป๊ฒŒ ๊ด€๋ฆฌํ•ด์•ผ ํ• ์ง€ ๋ฐฐ์šธ ์ˆ˜ ์žˆ๋‹ค. ๋˜ํ•œ, ๋„ทํ”Œ๋ฆญ์Šค์—์„œ๋Š” '๋” simpleํ•œ ๊ฒฝํ—˜'๊ณผ ๊ฐ™์€ ์ •์„ฑ์ ์ธ ๊ฐ€์น˜๋ฅผ ์–ด๋–ป๊ฒŒ ์ง€ํ‘œํ™”ํ•˜๊ณ  ์ธก์ •ํ•˜๊ณ  ๊ฐœ์„ ํ•˜๋Š”์ง€๋„ ์—ฟ๋ณผ ์ˆ˜ ์žˆ๋‹ค. 

 

 

์›๋ฌธ : https://gibsonbiddle.medium.com/4-proxy-metrics-a82dd30ca810

 

#4 Proxy Metrics

How to define a metric to prove or disprove your hypothesis

gibsonbiddle.medium.com

 

Proxy Metric์ด ํ•„์š”ํ•œ ์ด์œ 

  • ๋„ทํ”Œ๋ฆญ์Šค์—์„œ ํ”„๋กœ๋•ํŠธ ์ „๋ฐ˜์ ์ธ ํ€„๋ฆฌํ‹ฐ๋ฅผ ์ธก์ •ํ•˜๊ธฐ ์œ„ํ•œ ๋ฉ”ํŠธ๋ฆญ์€ ์›”๊ฐ„ ๋ฆฌํ…์…˜์ด๋‹ค.
    • ์ดˆ๊ธฐ์—๋Š” 10%์˜ ํšŒ์›๋“ค์ด ๋งค๋‹ฌ ๊ตฌ๋… ์ทจ์†Œ๋ฅผ ํ–ˆ๋‹ค. 2005๋…„์—๋Š” ์›”๊ฐ„ ์ทจ์†Œ์œจ์ด 4.5%์˜€๋‹ค. ์ง€๊ธˆ์€ ๊ฑฐ์˜ 2%๋‹ค.
  • ๊ทธ๋Ÿฌ๋‚˜ ๋ฆฌํ…์…˜์„ ๋ชจ๋“  ํ”„๋กœ์ ํŠธ์˜ ๋ฉ”ํŠธ๋ฆญ์œผ๋กœ ์‚ผ๋Š” ๊ฒƒ์ด ์•Œ๋งž์ง€๋Š” ์•Š๋‹ค. ์ด๊ฒƒ์€ ์›€์ง์ด๊ธฐ ์–ด๋ ค์šด ๋ฉ”ํŠธ๋ฆญ์ด๊ณ , ํฐ ์Šค์ผ€์ผ์˜ A/B ํ…Œ์ŠคํŠธ๋ฅผ ํ•„์š”๋กœ ํ•œ๋‹ค.
    • ๋ฐ˜๋ฉด ์ข€๋” ๋กœ์šฐ ๋ ˆ๋ฒจ์˜ ๋ฉ”ํŠธ๋ฆญ์ธ ‘proxy metric’์€ ํ•˜์ด ๋ ˆ๋ฒจ ๋ฉ”ํŠธ๋ฆญ๋ณด๋‹ค ์›€์ง์ด๊ธฐ์— ๋” ์‰ฝ๊ณ  ๋น ๋ฅด๋‹ค. ํ”„๋ก์‹œ ๋ฉ”ํŠธ๋ฆญ์„ ์›€์ง์ด๋ฉด (๋„ทํ”Œ๋ฆญ์Šค๋กœ ์น˜๋ฉด ๋ฆฌํ…์…˜์— ํ•ด๋‹นํ•˜๋Š”) ํ•˜์ด๋ ˆ๋ฒจ ๋ฉ”ํŠธ๋ฆญ์„ ๊ฐœ์„ ํ•  ์ˆ˜ ์žˆ๋‹ค. (๋‘˜์€ ์ƒ๊ด€๊ด€๊ณ„๊ฐ€ ์žˆ์œผ๋ฉฐ, A/B ํ…Œ์ŠคํŠธ๋ฅผ ํ†ตํ•ด ์ธ๊ณผ๊ด€๊ณ„๋ฅผ ์ž…์ฆํ•  ์ˆ˜ ์žˆ๋‹ค.)

‘Simple’ํ•˜๋‹ค๋Š” ๊ฒƒ์„ ์–ด๋–ป๊ฒŒ ์ธก์ •ํ•  ๊ฒƒ์ธ๊ฐ€?

  • ์šฐ๋ฆฌ์˜ ๊ฐ€์„ค ์ค‘ ํ•˜๋‚˜๋Š” ‘ํšŒ์›์˜ ๋” ์‹ฌํ”Œํ•œ ๊ฒฝํ—˜์ด ๋ฆฌํ…์…˜์„ ๊ฐœ์„ ํ•  ๊ฒƒ์ด๋‹ค’๋ผ๋Š” ๊ฒƒ์ด์—ˆ๋‹ค. ํ•˜์ง€๋งŒ, ์ด ‘์‹ฌํ”Œํ•œ'์ด๋ผ๋Š” ๊ฒƒ์„ ์–ด๋–ป๊ฒŒ ์ธก์ •ํ•  ๊ฒƒ์ธ๊ฐ€? ๊ทธ๋ฆฌ๊ณ  ๊ทธ๊ฒƒ์ด ๋ฆฌํ…์…˜์„ ๊ฐœ์„ ํ•œ๋‹ค๋Š” ๊ฒƒ์„ ์–ด๋–ป๊ฒŒ ์ž…์ฆํ•  ๊ฒƒ์ธ๊ฐ€?
  • ์šฐ๋ฆฌ๋Š” ์‚ฌ์šฉ์ž ์„œ๋น„์Šค ๋ฐ์ดํ„ฐ๋ฅผ ํƒ์ƒ‰ํ•˜๊ธฐ ์‹œ์ž‘ํ–ˆ๋‹ค.
    • ์™œ ํšŒ์›๋“ค์€ ์งˆ๋ฌธ์ด๋‚˜ ๋ถˆ๋งŒ์„ ํ‘œํ•˜๋ฉฐ ๋„ฅํ”Œ๋ฆญ์Šค์— ์ „ํ™”๋ฅผ ํ•˜๊ฑฐ๋‚˜ ๋ฉ”์ผ์„ ๋ณด๋‚ด๋Š”๊ฐ€? ํ—ฌํ”„ ํŽ˜์ด์ง€์— ๋ฐฉ๋ฌธํ–ˆ์„ ๋•Œ ๊ทธ๋“ค์€ ์–ด๋–ค ๋งํฌ๋ฅผ ํด๋ฆญํ•˜๋Š”๊ฐ€? ์‚ฌ์šฉ์ž๋“ค์€ ์–ด๋””์„œ ํ˜ผ๋ž€์„ ๊ฒช๋Š”๊ฐ€?
    • ๋„ทํ”Œ๋ฆญ์Šค๋Š” ์‹ ๊ทœ ํšŒ์›๋“ค๊ณผ 1 on 1 ์„ธ์…˜๊ณผ ํฌ์ปค์Šค ๊ทธ๋ฃน์œผ๋กœ ๋Œ€ํ™”๋ฅผ ๋‚˜๋ˆ„์—ˆ๋‹ค. ๊ทธ๋“ค์˜ ๋„ทํ”Œ๋ฆญ์Šค ์œ„ํด๋ฆฌ ํ™œ๋™ ์—ฌ์ •์„ ์„œ์ˆ ํ•˜๊ฒŒ ํ•˜์˜€๊ณ , ๋งˆ์ง€๋ง‰์œผ๋กœ๋Š” ๊ทธ ์‹ ๊ทœํšŒ์›๋“ค์˜ ํšŒ์›๊ฐ€์ž… ํ”Œ๋กœ์šฐ ๋ฐ์ดํ„ฐ์™€ ์ฒซ ๋ช‡ ์ฃผ๊ฐ„์˜ ์„œ๋น„์Šค ๋‚ด ๋ฐ์ดํ„ฐ๋ฅผ ๋ณด์•˜์Œ.
      • ์ƒˆ๋กœ์šด ํšŒ์›๋“ค์„ ํ˜ผ๋ž€์Šค๋Ÿฝ๊ฒŒ ํ–ˆ๋˜ ํ•˜๋‚˜์˜ ํฌ์ธํŠธ๋Š”, ๋„ทํ”Œ๋ฆญ์Šค์˜ ์ดˆ๊ธฐ DVD-by-mail ์„œ๋น„์Šค์˜€๋‹ค. ์ด ์„œ๋น„์Šค๋Š” ๊ณ ๊ฐ์—๊ฒŒ ๋„ทํ”Œ๋ฆญ์Šค๊ฐ€ ๋ณด๋‚ผ ์˜ํ™” ์ฃผ๋ฌธ ๋ชฉ๋ก์„ ๋งŒ๋“ค๊ฒŒ ํ–ˆ๋‹ค. ๊ทธ๋Ÿฌ๋‚˜ ๋ช‡๋ช‡ ์ƒˆ๋กœ์šด ๋ฉค๋ฒ„๋“ค์€ ๊ทธ๋“ค์˜ ๋„ทํ”Œ๋ฆญ์Šค ๋Œ€๊ธฐ๋ชฉ๋ก์— ๋น„๋””์˜ค๋ฅผ ์ถ”๊ฐ€ํ•˜๋Š” ๊ฒƒ์— ์‹คํŒจํ–ˆ๋‹ค. → ์‚ฌ์šฉ์ž๋Š” ํ”Œ๋žœ์„ ์„ ํƒํ•˜๊ณ , ์นด๋“œ ์ •๋ณด๋ฅผ ์ž…๋ ฅํ•˜๊ณ ์„œ ์–ด๋–ป๊ฒŒ ํ•ด์•ผํ• ์ง€ ํ˜ผ๋ž€์„ ๊ฒช์—ˆ์Œ. ๊ทธ๋“ค์˜ ๋Œ€๊ธฐ ๋ชฉ๋ก์— ์ตœ์†Œ ์„ธ ๊ฐœ์˜ ์˜ํ™” ํƒ€์ดํ‹€์„ ์ถ”๊ฐ€ํ•œ๋‹ค๋Š” ๊ฐœ๋…์ด ๋งŽ์€ ์‹ ๊ทœ ํšŒ์›์„ ํ˜ผ๋ž€์Šค๋Ÿฝ๊ฒŒ ํ•จ.
        • ⇒ ํšŒ์›๊ฐ€์ž… ํ”„๋กœ์„ธ์Šค๋ฅผ ์‹ฌํ”Œํ•˜๊ฒŒ ๋งŒ๋“œ๋Š” ๊ฒƒ๊ณผ ์˜ํ™” ๋ชฉ๋ก์„ ๋” ์‰ฝ๊ฒŒ ์ƒ์„ฑํ•  ์ˆ˜ ์žˆ๊ฒŒ ํ•˜๋Š” ๊ฒƒ์ด ํ•„์š”ํ•˜๋‹ค๋Š” ๊ฑธ ์•Œ๊ฒŒ๋จ. ⇒ ๋„ทํ”Œ๋ฆญ์Šค๋Š” ํšŒ์›๊ฐ€์ž…์˜ ๊ณผ์ • ์ค‘ ์ผ๋ถ€ ์Šคํ…๋“ค์„ ์ œ๊ฑฐํ•˜๊ณ , ์–ด๋–ป๊ฒŒ ์„œ๋น„์Šค๊ฐ€ ์ž‘๋™ํ•˜๋Š”์ง€ ๋ช…ํ™•์„œ์„ ์ œ๊ณตํ•˜๋Š” ๊ฒƒ์— ์ง‘์ค‘ํ•˜๋Š” ํ”„๋กœ์ ํŠธ๋ฅผ ์‹คํ–‰ํ•จ.
        • ์ด๋“ค์ด ๊ณ ์•ˆํ•œ ํ”„๋ก์‹œ ๋ฉ”ํŠธ๋ฆญ์€ “์ฒซ ์„ธ์…˜๋™์•ˆ ๋Œ€๊ธฐ๋ชฉ๋ก์— ์ตœ์†Œ ์„ธ๊ฐœ์˜ ์˜ํ™”๋ฅผ ์ถ”๊ฐ€ํ•˜๋Š” ์‹ ๊ทœ ๋ฉค๋ฒ„์˜ ๋น„์œจ"์ด์˜€๋‹ค. ์ฒ˜์Œ ์ด ์ง€ํ‘œ๋ฅผ ์ธก์ •ํ•  ๋•Œ๋Š” 70%์˜€๋Š”๋ฐ, ๊ทธ ํ•ด์˜ ๋๋ฌด๋ ต ์ด๋“ค์€ ์—ฌ๋Ÿฌ ์ฐจ๋ก€ ์‹คํ—˜์„ ๊ฑฐ์ณ 90%๊นŒ์ง€ ์ด ์ง€ํ‘œ๋ฅผ ๋Œ์–ด์˜ฌ๋ ธ๋‹ค.
        • ๋™์ผํ•œ ๊ธฐ๊ฐ„๋™์•ˆ, ์ด๋“ค์€ 1๊ฐœ์›” ์œ ์ง€ ๋ฆฌํ…์…˜๋„ 88% → 90%๋กœ ๋Œ์–ด์˜ฌ๋ ธ๋‹ค. ๋ฆฌํ…์…˜๊ณผ ‘simple’ ๋ฉ”ํŠธ๋ฆญ์ด ํ•จ๊ป˜ ์›€์ง์ธ ๊ฒƒ์ด๋‹ค. ์ด๋“ค์€ ์ด ์ œ๋Œ€๋กœ๋œ ๊ฒฝํ—˜์ด ๋ฆฌํ…์…˜์„ ๊ฐœ์„ ํ–ˆ๋‹ค๋Š” ํ™•์‹ ์ด ์žˆ์—ˆ๊ธฐ ๋•Œ๋ฌธ์— large-scale A/B ๋ฅผ ์‹คํ–‰ํ•˜์ง€ ์•Š์•˜๋‹ค.

์˜ฌ๋ฐ”๋ฅธ Proxy metric

  • ํ”„๋ก์‹œ ๋ฉ”ํŠธ๋ฆญ์€ ์ œํ’ˆ ์ „๋ฐ˜์˜ ํ€„๋ฆฌํ‹ฐ๋ฅผ ์ •์˜ํ•˜๋Š” ๋ฉ”ํŠธ๋ฆญ์ธ high-level engagement metric์˜ ๋Œ€์—ญ์ด๋‹ค.
    • ๋จผ์ €, ํ•˜์ด ๋ ˆ๋ฒจ ๋ฉ”ํŠธ๋ฆญ๊ณผ ํ”„๋ก์‹œ ๋ฉ”ํŠธ๋ฆญ ์‚ฌ์ด์˜ ์ƒ๊ด€๊ด€๊ณ„๋ฅผ ์ฐพ์•„์•ผ ํ•œ๋‹ค.
    • ๊ทธ๋ฆฌ๊ณ , ์ดํ›„ ์ธ๊ณผ๊ด€๊ณ„๋ฅผ ์ฆ๋ช…ํ•˜๊ธฐ ์œ„ํ•ด ๋…ธ๋ ฅํ•ด์•ผ ํ•œ๋‹ค.

ํ”„๋ก์‹œ ๋ฉ”ํŠธ๋ฆญ์„ ์ •์˜ํ•˜๊ธฐ ์œ„ํ•œ ๊ฐ„๋‹จํ•œ ๋ชจ๋ธ

  • (X ๊ธฐ๊ฐ„) ๋™์•ˆ ์ ์–ด๋„ (์œ ์ € ์•ก์…˜์„ ์œ„ํ•œ ์ตœ์†Œ ํ•œ๊ณ„์ )์„ ํ•˜๋Š” (ํšŒ์› / ์‹ ๊ทœ ๊ณ ๊ฐ / ์žฌ๋ฐฉ๋ฌธ ๊ณ ๊ฐ)์˜ ๋น„์œจ
  • ๋„ทํ”Œ๋ฆญ์Šค์—์„œ์˜ ํ”„๋ก์‹œ ๋ฉ”ํŠธ๋ฆญ ์˜ˆ์‹œ
    • 6๊ฐœ์›” ๋‚ด ์นœ๊ตฌ ๋ฆฌ์ŠคํŠธ์— ์ตœ์†Œ ํ•œ ๋ช…์„ ์ถ”๊ฐ€ํ•˜๋Š” ์‚ฌ์šฉ์ž์˜ ๋น„์œจ
      • ๋„ทํ”Œ๋ฆญ์Šค ์นœ๊ตฌ ํ”ผ์ณ๋Š” ๋Ÿฐ์นญ ์‹œ 1%์˜ ์‚ฌ์šฉ์ž๊ฐ€ ์žˆ์—ˆ๋Š”๋ฐ, 3๋…„๊ฐ„ 5%๋กœ ์„ฑ์žฅํ–ˆ๊ณ , ๋„ทํ”Œ๋ฆญ์Šค๋Š” ํ•ด๋‹น ํ”ผ์ณ๋ฅผ ์—†์•ด๋‹ค(killed). ์ถ”์ •์œผ๋กœ๋Š” ์นœ๊ตฌ๊ธฐ๋Šฅ ํ”„๋ก์‹œ ๋ฉ”ํŠธ๋ฆญ์ด ์˜๋ฏธ์žˆ๋Š” ๋ฆฌํ…์…˜ ๊ฐœ์„ ์„ ๋‹ฌ์„ฑํ•˜๊ธฐ ์œ„ํ•ด์„œ๋Š” 20%๋Š” ๋„˜์–ด์•ผ ํ–ˆ๋‹ค.
    • 1๊ฐœ์›” ๋™์•ˆ ์ตœ์†Œ 15๋ถ„์˜ ๋น„๋””์˜ค๋ฅผ ์ŠคํŠธ๋ฆผํ•˜๋Š” ๋ฉค๋ฒ„์˜ ๋น„์œจ
      • 2007๋…„์— ์ŠคํŠธ๋ฆฌ๋ฐ ๊ธฐ๋Šฅ์„ ๋Ÿฐ์นญํ–ˆ์„ ๋•Œ, ์ด ๋ฉ”ํŠธ๋ฆญ์€ 5%์˜€๋‹ค. ํ˜„์žฌ๋Š” 90%์ด์ƒ์ด๋‹ค. ์ด๋“ค์€ 15๋ถ„์ด ๊ฐ€์žฅ ์ž‘์€ ์ฆ๊ฐ€๋ถ„ ๊ฐ’์ด์—ˆ๊ธฐ ๋•Œ๋ฌธ์— ‘15’๋ถ„์„ ํƒํ–ˆ๋‹ค. (๊ฐ€์žฅ ์งง์€ TV ์—ํ”ผ์†Œ๋“œ๊ฐ€ 15๋ถ„์ž„) - ๋„ทํ”Œ๋ฆญ์Šค๋Š” ์ง€๊ธˆ์€ ๋น„์Šทํ•œ ํ”„๋ก์‹œ ๋ฉ”ํŠธ๋ฆญ์„ ์ธก์ •ํ•˜๋Š”๋ฐ, ์ข€๋” ๋‹ค์–‘ํ•˜๊ณ  ๋” ๋†’์€ ํ—ˆ๋“ค๋กœ ์ธก์ •ํ•จ. e.g.์›” ๊ฐ„ ์ ์–ด๋„ 10/20/30/40 ๋ถ„์„ ์‹œ์ฒญํ•˜๋Š” ๋ฉค๋ฒ„์˜ ๋น„์œจ
    • ํ•œ ๋‹ฌ ๋‚ด, ๋Œ€๊ธฐ ๋ชฉ๋ก์— ์ ์–ด๋„ 6๊ฐœ์˜ DVD๋ฅผ ์ถ”๊ฐ€ํ•˜๋Š” ์‚ฌ์šฉ์ž์˜ ๋น„์œจ 
      • (์ฒซ ๋ฌธ๋‹จ์— ์ ํžŒ ์‚ฌ๋ก€๋ผ ์„ค๋ช… ์ƒ๋žต)
    • ์ฒซ 6์ฃผ ๋™์•ˆ ์ตœ์†Œ 50๊ฐœ์˜ ์˜ํ™”๋ฅผ ํ‰๊ฐ€ํ•œ ์‹ ๊ทœ ๋ฉค๋ฒ„ ๋น„์œจ.
      • ์ด ๋ฉ”ํŠธ๋ฆญ์€ ๊ฐœ์ธํ™”๋ฅผ ์œ„ํ•œ ํ”„๋ก์‹œ ๋ฉ”ํŠธ๋ฆญ์ด์—ˆ๋‹ค. ๋งŒ์•ฝ ๊ณ ๊ฐ์ด ์˜ํ™”๋ฅผ ๊ธฐ๊บผ์ด ํ‰๊ฐ€ํ•œ๋‹ค๋ฉด , ๊ทธ๋“ค์€ ๋„ทํ”Œ๋ฆญ์Šค๊ฐ€ ์ œ๊ณตํ•˜๋Š” ์˜ํ™” ์ถ”์ฒœ์„ ๊ฐ€์น˜์žˆ๊ฒŒ ์—ฌ๊ธธ ๊ฒƒ์ด๋ผ๋Š” ๊ฐ€์„ค์ด์—ˆ๋‹ค. ๋„ทํ”Œ๋ฆญ์Šค๋Š” ๋ช‡ ๋…„์— ๊ฑธ์ณ ์ด ์ง€ํ‘œ๋ฅผ ๋‚ฎ์€ ํ•œ ์ž๋ฆฌ์ˆ˜์—์„œ 20% ํ›„๋ฐ˜๋Œ€๊นŒ์ง€ ์ด๋Œ์—ˆ๋‹ค.

์ž ์žฌ์  ๋ฉ”ํŠธ๋ฆญ์„ ํ‰๊ฐ€ํ•  ๋•Œ, ํ”„๋ก์‹œ๊ฐ€ _____ ๋ผ๋Š” ๊ฒƒ์„ ํ™•์ธํ•˜๋ผ!

  • ์ธก์ •๊ฐ€๋Šฅํ•˜๋‹ค.
    • ๋‹น์‹ ์€ ๋ฐ์ดํ„ฐ๋ฅผ ์ฐพ๊ณ , ์ˆ˜์ง‘ํ•˜๊ณ , ํ‰๊ฐ€ํ•  ์ˆ˜ ์žˆ๋‹ค. ์ด์ƒ์ ์œผ๋กœ ๋‹น์‹ ์€ A/Bํ…Œ์ŠคํŠธ๋ฅผ ํ†ตํ•ด ๋ฉ”ํŠธ๋ฆญ์„ ํ‰๊ฐ€ํ•  ์ˆ˜ ์žˆ๊ณ , ๋ฉ”ํŠธ๋ฆญ์€ “์šฐ๋ฆฌ๊ฐ€ ์ด ํ”ผ์ณ๋ฅผ ๋Ÿฐ์นญํ•ด๋„ ๋ฉ๋‹ˆ๊นŒ?”๋ผ๋Š” ์งˆ๋ฌธ์— ๋‹ตํ•˜๋Š” ๊ฒƒ์„ ๋„์™€์ค„ ์ˆ˜ ์žˆ๋‹ค. ์ƒˆ๋กœ์šด ํ”„๋กœ๋•ํŠธ ์ „๋žต์„ ํ‰๊ฐ€ํ•  ๋•Œ, ์Šค์Šค๋กœ์—๊ฒŒ “A/B ํ…Œ์ŠคํŠธ์—์„œ, ์šฐ๋ฆฌ๊ฐ€ go/no-go๋ฅผ ๊ฒฐ์ •ํ•˜๋Š”๋ฐ ์–ด๋–ค ๋ฉ”ํŠธ๋ฆญ์„ ์‚ฌ์šฉํ•ด์•ผํ•˜๋Š”๊ฐ€?”๋ผ๋Š” ์งˆ๋ฌธ์„ ํ•ด๋ผ.
  • ์›€์ง์ผ ์ˆ˜ ์žˆ๋‹ค.
    • ํ”„๋กœ๋•ํŠธ ๊ฒฝํ—˜์— ๋ณ€ํ™”๋ฅผ ์คŒ์œผ๋กœ์จ ๋ฉ”ํŠธ๋ฆญ์— ๋ณ€ํ™”๋ฅผ ์ค„ ์ˆ˜ ์žˆ๋‹ค.
  • ํ‰๊ท ์ด ์•„๋‹ˆ๋‹ค.
    • ํ‰๊ท ์˜ ์œ„ํ—˜์€, ๋‹น์‹ ์ด ์†Œ์ˆ˜์˜ ๊ณ ๊ฐ์ด ๋” ๋งŽ์€ ๋ญ”๊ฐ€๋ฅผ ํ•˜๊ฒŒ ํ•˜์—ฌ ๋ฉ”ํŠธ๋ฆญ์„ ๋ณ€ํ™”์‹œํ‚ฌ ์ˆ˜ ์žˆ๋‹ค๋Š” ๊ฒƒ์ด๋‹ค. ๊ทธ๋Ÿฌ๋‚˜ ์ด๋Š” ํ”„๋กœ๋•ํŠธ ์ „๋ฐ˜์˜ ๊ฒฝํ—˜์„ ๊ฐœ์„ ํ•˜๋Š”๋ฐ ์˜ํ–ฅ์„ ์ฃผ์ง€ ๋ชปํ•œ๋‹ค.
  • high-level engagement metric๊ณผ ์ƒ๊ด€๊ด€๊ณ„๊ฐ€ ์žˆ๋‹ค.
    • ๋„ทํ”Œ๋ฆญ์Šค์˜ ๊ฒฝ์šฐ, ์„ฑ๊ณต์ ์ธ ํ”„๋ก์‹œ ๋ฉ”ํŠธ๋ฆญ๊ณผ ๋ฆฌํ…์…˜์€ ํ•จ๊ป˜ ์›€์ง์˜€๋‹ค. ์žฅ๊ธฐ์ ์œผ๋กœ,  large-scale A/B ํ…Œ์ŠคํŠธ๋ฅผ ํ†ตํ•ด ์ธ๊ณผ๊ด€๊ณ„๋ฅผ ์ฆ๋ช… ๊ฐ€๋Šฅ
  • ์‹ ๊ทœ ๊ณ ๊ฐ ๋Œ€ ๊ธฐ์กด ๊ณ ๊ฐ์„ ๋ช…์‹œํ•œ๋‹ค.
    • ๋„ทํ”Œ๋ฆญ์Šค๊ฐ€ ์„ฑ์žฅํ•˜๋ฉด์„œ, ์ด๋“ค์€ ์‹ ๊ทœ ๊ณ ๊ฐ์— ๋…ธ๋ ฅ์„ ์ง‘์ค‘ํ•˜๋Š” ๊ฒƒ์„ ๋ฐฐ์› ๋‹ค. ์ด๋“ค์€ ์„ธ๊ณ„์ ์œผ๋กœ ๊ทœ๋ชจ์žˆ๋Š” ์„œ๋น„์Šค๋กœ ์„ฑ์žฅํ•˜๊ธฐ ์œ„ํ•ด, ์‹ ๊ทœ ํšŒ์›๋“ค์—๊ฒŒ ์„œ๋น„์Šค๋ฅผ ์ตœ์ ํ™”ํ•˜๋Š” ๊ฒƒ์ด ํ•„์š”ํ•˜๊ณ  ๋ฏฟ์—ˆ๋‹ค. ์ด๋“ค์€ ์‹ ๊ทœ ๊ณ ๊ฐ์„ ๋Œ€์ƒ์œผ๋กœ ํ”ผ์ณ๋ฅผ ํ…Œ์ŠคํŠธํ•˜๊ณ , ๊ธ์ •์ ์ธ ๊ฒฐ๊ณผ๋ฅผ ํ† ๋Œ€๋กœ ์ „์ฒด ๋ฉค๋ฒ„๋“ค์—๊ฒŒ ํ•ด๋‹น ๊ธฐ๋Šฅ์„ ๋กค์•„์›ƒํ–ˆ๋‹ค. ๊ธฐ์กด ๋ฉค๋ฒ„๋“ค์€ ๊ฐ€๋” ๋ณ€ํ™”๋ฅผ ์ธ์ง€ํ•˜๊ณ  ๋ถˆํ‰ํ•˜๊ธฐ๋„ ํ–ˆ์ง€๋งŒ, ๋Œ€๋ถ€๋ถ„ ์ทจ์†Œํ•˜์ง€ ์•Š์•˜๋‹ค. (๋•Œ๋•Œ๋กœ ๋ฆฌํ…์…˜์— ๋ฆฌ์Šคํฌ๊ฐ€ ์žˆ๋‹ค๊ณ  ๋ฏฟ์œผ๋ฉด ๊ธฐ์กด ๋ฉค๋ฒ„ ๋Œ€์ƒ์œผ๋กœ A/Bํ…Œ์ŠคํŠธ๋ฅผ ํ•˜๊ธฐ๋„ ํ•จ)
  • ์กฐ์ž‘ํ•  ์ˆ˜ ์—†๋‹ค.
    • ์„œ๋น„์Šค ๋‚ด CS ๊ฒฝํ—˜ ๊ฐœ์„ ์— ์ฃผ๋ ฅํ•œ PM ์‚ฌ๋ก€ - ๊ทธ์˜ ์ผ์€ ํšŒ์›๋“ค์ด 800๋ฒˆ(๊ณ ๊ฐ์„ผํ„ฐ ๋ฒˆํ˜ธ)์„ ํ†ตํ•ด CSํŒ€์— ์ „ํ™”ํ•˜์ง€ ์•Š๊ณ  ์Šค์Šค๋กœ ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜๋Š”๊ฑธ ์‰ฝ๊ฒŒ ๋งŒ๋“œ๋Š” ๊ฒƒ์ด์—ˆ๋‹ค. ๊ทธ์˜ ์—ญํ• ์„ ์ •์˜ํ•˜๋Š” ๋ฉ”ํŠธ๋ฆญ์€, ‘1000๋ช…์˜ ๊ณ ๊ฐ ๋‹น ์—ฐ๋ฝ ํšŸ์ˆ˜'์˜€๋‹ค. ๊ทธ๋ฆฌ๊ณ  ๋ชฉํ‘œ๋Š” ์ด ๋ฉ”ํŠธ๋ฆญ์„ 1000๋ช… ๊ณ ๊ฐ ๋‹น ์—ฐ๋ฝ ํšŸ์ˆ˜๋ฅผ 20 ์ดํ•˜๋กœ ๋‚ฎ์ถ”๋Š” ๊ฒƒ์ด์—ˆ๋‹ค. ๊ทธ๋Ÿฌ๋‚˜ ์ด ํ”„๋กœ๋•ํŠธ ๋งค๋‹ˆ์ €๋Š” 800๋ฒˆ์ด๋ผ๋Š” ์ˆซ์ž๋ฅผ ์ˆจ๊น€์œผ๋กœ์จ ์ด ๋ฉ”ํŠธ๋ฆญ์„ ์กฐ์ž‘ํ•  ์ˆ˜ ์žˆ๋‹ค๋Š” ๊ฒƒ์„ ๋น ๋ฅด๊ฒŒ ๋ฐœ๊ฒฌํ–ˆ๋‹ค. ๊ฒฐ๋ก ์ ์œผ๋กœ, ๊ทธ๋Š” ํ”„๋ก์‹œ๋ฅผ ๋‹ค์Œ๊ณผ ๊ฐ™์ด ๊ฐœ์„ ํ–ˆ๋‹ค. “๋‘๋ฒˆ์˜ ํด๋ฆญ ์ด๋‚ด์— 800๋ฒˆ์„ ๋ˆ„๋ฅผ ์ˆ˜ ์žˆ๋Š” 1000๋ช…์˜ ๊ณ ๊ฐ ๋‹น ์—ฐ๋ฝํšŸ์ˆ˜”

๋„ทํ”Œ๋ฆญ์Šค์˜ ๋†€๋ผ์šด ์‚ฌ์‹ค

  • ์šฐ๋ฆฌ๋Š” ๊ฒฐ์ •์„ ๋น ๋ฅด๊ฒŒ ํ•œ๋‹ค. ํ•˜์ง€๋งŒ ์˜ฌ๋ฐ”๋ฅธ ํ”„๋ก์Šค ๋ฉ”ํŠธ๋ฆญ์„ ๊ตฌ๋ณ„ํ•ด๋‚ด๋Š”๋ฐ ๋•Œ๋•Œ๋กœ 6๊ฐœ์›”์ด ๊ฑธ๋ฆฌ๊ธฐ๋„ ํ•œ๋‹ค. ๋ฐ์ดํ„ฐ๋ฅผ ์ฐพ์•„๋‚ด๊ณ , ์šฐ๋ฆฌ๊ฐ€ ์ด ๋ฉ”ํŠธ๋ฆญ์„ ์›€์ง์ผ ์ˆ˜ ์žˆ๋Š”์ง€ ๋ฐœ๊ฒฌํ•˜๊ณ , ํ”„๋ก์‹œ์™€ ๋ฆฌํ…์…˜ ์‚ฌ์ด์— ์ธ๊ณผ๊ด€๊ณ„๊ฐ€ ์žˆ๋Š”์ง€ ํ™•์ธํ•˜๋Š”๋ฐ ์‹œ๊ฐ„์ด ๊ฑธ๋ฆฐ๋‹ค. ์†๋„์™€ ์ •ํ™•ํ•œ ๋ฉ”ํŠธ๋ฆญ์„ ์ฐพ๋Š” ๊ฒƒ ์ด๋ผ๋Š” ํŠธ๋ ˆ์ด๋“œ ์˜คํ”„๊ฐ€ ์žˆ์„ ๋•Œ, ์šฐ๋ฆฌ๋Š” ‘์ •ํ™•ํ•œ ๋ฉ”ํŠธ๋ฆญ์„ ์ฐพ๋Š” ๊ฒƒ'์— ์ง‘์ค‘ํ•œ๋‹ค. ํŒ€์ด ์ž˜๋ชป๋œ ๋ฉ”ํŠธ๋ฆญ์— ์ง‘์ค‘ํ•˜๋Š” ๊ฒƒ์€ ๋Œ€๊ฐ€๊ฐ€ ํฌ๋‹ค.
  • ๋งˆ์นจ๋‚ด ํŒ€๋‚ด ๊ฐ๊ฐ์˜ ํ”„๋กœ๋•ํŠธ ๋งค๋‹ˆ์ €๋“ค์€, ์›”๊ฐ„ ๋ฆฌํ…์…˜์„ ๊ฐœ์„ ํ•  ์ˆ˜ ์žˆ๋Š” 1~2๊ฐœ์˜ ํ”„๋ก์‹œ ๋ฉ”ํŠธ๋ฆญ์„ ํ†ตํ•ด ๊ทธ๋“ค์˜ ํผํฌ๋จผ์Šค๋ฅผ ์ธก์ •ํ•  ์ˆ˜ ์žˆ์—ˆ๋‹ค.

 

 

728x90
๋ฐ˜์‘ํ˜•