좋은 지표란 무엇일까?

*본 글은 한기용 개발자(그렙 CTO)의 글 일부를 재편집한 내용입니다.

If you can’t measure it, you can’t improve it - 피터 드러커

 

좋은 지표란 무엇일까?

좋은 지표란 무엇을 의미할까요? 꼭 데이터 업무가 아니라도 무슨 일을 하건, 진행 상황과 결과의 성공유무를 측정하기 위한 지표는 필수입니다. 회사나 어떤 조직에서 데이터를 수집하는 궁극적인 이유는 결국 '데이터를 기반으로 다양한 지표를 만들고, 그를 바탕으로 상황을 이해하고 의사결정을 하기 위함'입니다.

이번 콘텐츠에서는 제가 그동안 일하면서 지표에 관련해 느낀 것들을 요약해보려 합니다.

 

1️⃣ 좋은 지표에 대한 기준

1. 중요 지표(KPI: Key Performance Indicator)는 적을수록 좋다.
지표가 너무 많으면 그걸 유지하는 노력도 들고, 지표 중 일부는 상충하기 하기 때문에 우선순위를 정하는데 큰 걸림돌이 되고 전체적인 방향성을 잡는데도 힘이 듭니다.

2. 지표의 정확한 정의를 만들어서 공유한다.
그렇지 않으면 사람마다 조금씩 다르게, 나름대로의 정의를 내리기 때문에 해석할 때 큰 혼란이 올 수 있습니다.

3. 회사의 성장 단계마다 다른 형태의 지표들이 필요하다.
초창기와 성장기와 성숙기마다 그 단계에 맞는 다른 형태의 지표들을 만들어내야 합니다.

4. 내가 만들거나 사용하는 지표가 의미 있는 지표인지 많이 고민해야 한다.
많은 지표들이 보기에는 좋아 보이지만, 들여다보면 큰 의미가 없는 빛 좋은 개살구 같은 경우들이 많습니다.

Lean Startup의 저자인 Eric Ries는 이런 지표들을 “허영 지표(vanity metrics)”라고 불렀고, 사용자 등록수 (user sign-up)을 그 대표적인 예로 들었습니다. 의미 있는 활동(리뷰를 달거나 포스팅을 하거나 등등) 보다 돈을 지불하는 사용자의 수를 보는 것이 훨씬 더 의미 있기 때문입니다.

 

2️⃣ 의미 있는 지표를 위한 3A 테스트

마지막으로 네 번째와 연관 지어 어떤 지표가 의미 있는 것인지 알아보려면, Eric Ries가 이야기하는 3A 테스트로 검증해 보는 것도 좋습니다. 3A란 Actionable, Accessible, Auditable을 말하는데요. 제가 생각하는 의미는 아래와 같습니다. (더 자세한 글은 https://hbr.org/.../entrepreneurs-beware-of-vanity-metrics 나 Lean Startup 책을 참조하세요.)

1. Actionable: 지표를 보고 어떤 행동을 해야 하는지가 분명한지를 말합니다. (guidance)
2. Accessible: 지표가 어떤 것인지 이해하기 쉬워야 하며, 이를 쉽게 찾아볼 수 있어야 한다는 것을 의미합니다. (dashboard)
3. Auditable: 지표가 잘 정의되어 있어서 (앞서 세 번째와 연관) 데이터를 기반으로 계산이 가능해야 하며 (그래야 검증가능), 지표가 실제 사용자들이 느끼는 현실을 반영하는지 여부를 말합니다.

지금까지 좋은 지표에 대한 기준과 3A test로 지표를 검증해 보는 방법에 대해 간단하게 살펴보았습니다. 결국 의미 있고 좋은 지표를 만들어 최대한 측정하는 것도 중요하지만, 가장 중요한 것은 많은 고객들이 좋아하는 제품/서비스를 만드는 것에 초점을 맞추어야 한다는 것이 아닐까 싶습니다.