Product

데이터 실험으로 성과를 만드는 방법

2025년 8월 12일

안녕하세요. 여기어때컴퍼니 DNA센터 User Behavior팀 알렉사 입니다.

지난 7월 12일,

실무에서 비즈니스 성장을 위한 실험에 있어서 다양한 비즈니스 관계자들의 이야기를 들을 수 있는 한국 비즈니스 실험 심포지엄 2025 행사(링크)가 있었는데요. 여기어때 User Bahvior팀 팀장님(링크드인 링크)께서 실험 조직문화와 관련된 세션을 진행하셨고, 감사하게도 사내 구성원들을 위해 설명하고 논의하는 자리를 가졌습니다.

세미나 시작 질문부터 답변이 어려웠습니다.

“실험과 데이터 분석이 진짜로 비즈니스에 도움이 되나요? 되었나요?”

실험 목표에 대한 성과 분석은 주로 “매출”에 초점을 맞추어 진행하였고, 비즈니스에 ‘도움’이라는 단어가 ‘매출’을 뜻하는게 맞을까? 하는 생각이 들었기 때문입니다. 매출 증대도 중요하지만, 여기어때가 사용자에게 제공하는 비즈니스는 여행에 대한 편의성을 제공하는 것이 목표이기도 하니까요.

1. 데이터 분석의 진정한 의미

이번 세미나에서 강조한 ‘데이터 분석’의 핵심은 “비즈니스에 변화를 줄 전략적 가설을 발굴하고, 그 가설을 인과적으로 검증하는 것”입니다. 조직 내에서 데이터 분석 조직과 프로덕트/사업 조직이 진짜 파트너로 협업할 때, 비로소 실험이 비즈니스 혁신을 이끈다는 내용이었는데요. 이 과정에서 데이터 분석가는 ‘어떤 도움을 줄 수 있는지’를 데이터로 설명할 수 있어야 합니다.

2. 좋은 가설 발굴, 그리고 검정 방식의 중요성

실제로 ‘좋은 가설’을 찾는 것부터가 좋은 분석 문화의 시작 인데요,

여기서 중요한 질문은 “어떻게 하면 데이터 분석이 진짜 비즈니스에 도움이 되게 만들 수 있는가?”입니다. 단순히 데이터 분석 결과를 내놓는 것만으로는 충분하지 않고, 실험의 목적과 방법론을 선명하게 세팅하는 것이 중요하며, 효과적으로 팀과 협업하는 데서 출발합니다.

좋은 가설을 찾았다면 성과를 측정하는 데에 있어서도 신뢰도 높은 지표와 가설 검정 방식을 차용해야 합니다.

3. 분석 과정의 두 가지 방식

A) 분석 데이터 → 제안 → 적용

B) 기획(또는 아이디어) → 제안 → 데이터 → 적용

대부분의 조직이 B 방식(기획에서 시작해 데이터와 적용으로 넘어가는 과정)을 밟고 있는데요, 이렇게 되면 가설 설정부터 지표 선정까지 ‘결과가 좋을 것 같은’ 시나리오를 위주로 선택하는 유혹에 빠지기가 쉽습니다.

예를 들어,

“기능을 개선하면 구매전환율이 상승할 것이다” 라는 가설 하에 “구매 전환율”이라는 지표를 가지고 성공 여부를 판단하는 AB Test를 진행한다고 하였을 때, 이를 평가하는 p-value가 0.6387로 신뢰할 수 없다는 결론이 나왔다고 가정해봅시다.

주로 어떻게 결정을 내리시나요? 여기서 흔하게 발생하는게 p-hacking입니다.

p-hacking이란?

p-hacking은 데이터 분석이나 통계 검정 과정에서 p-value(유의확률)를 0.05 미만으로 만들기 위해,

의도적으로 데이터 전처리, 지표 선택, 샘플 크기 조절 등을 반복해 유의미한 결과를 ‘만들어내는’ 행위입니다.

p-hacking의 구체적 예시

변수 여러 개 중 유의한 것만 보고: 20개 변수를 분석해 하나만 우연히 유의(p<0.05)하게 나오면, 그 하나만 집중해 결과로 보고
샘플 수를 늘렸다 줄였다: 처음에는 유의하지 않다가 샘플을 조금 더 추가하다 보니 p값이 낮아져 유의미해지면, 바로 결과 발표
서브 그룹(부분 집단) 분석: 전체 효과는 없지만, “여성/20대”처럼 특정 하위 그룹에서만 유의미하다면 그 부분만 부각
데이터 전처리 방법 반복 변경: 결측치 처리, 이상치 제거 등 방식을 여러 번 바꿔가며 결과가 유의하게 나올 때까지 반복

이런 방식은 결국 비즈니스에 진짜 도움이 되는 실험 이 아니라,

결과만 좋아보이는 안정적인 실험을 좇게 만듭니다.

실험 결과를 보고 여러가지 결정을 내릴 수 있는데, 주로 나오는 의사결정의 항목들로는 크게 4가지가 있습니다. p-hacking의 위험이 도사리는 항목이 있죠.

신뢰구간이 우측으로 좀 치우쳐 있으니 긍정적인 영향이 있는게 아닐까? 악영향도 아닌데 개발 리소스 생각하면 론칭하는게 맞을듯
p-value를 보니 이건 개선으로 볼 수 없어. 반영하지 않고 A를 유지
실험 가설을 좀 바꾸거나 기능에 뭘 더 개선하면 재실험해서 보는게 좋지 않을까?
구매전환율은 중립적이니, 상품 페이지 방문이 좀 더 개선되지 않았을까? 이걸 성공지표로 다시 설정해서 봐야겠다.

데이터로 결과를 보는 입장에서는 2번째 안을 선택하고 다른 실험에 집중을 권장하지만, 실제로는 1,3,4번 위주로 의사결정이 내려질 가능성도 있습니다. 결과를 재해석 하거나 부분적인 성공으로의 포장, 그리고 안전한 실험 위주의 실험 문화가 셋팅되게 되면 장기적으로는 혁신적인 아이디어와 실험에 대한 동기가 저하되며 결국에는 데이터 분석 환경에 대한 소극적인 투자를 하게 됩니다.

4. p-hacking 방지와 실험의 신뢰성 높이기

좋은 가설을 설정하여 ‘성공 확률을 높이고’, 데이터 기술에 투자하여 ‘성공 횟수를 늘리는 것’이 실험의 신뢰성을 높이고 비즈니스에 도움이 되는 실험을 구성하는데 도움이 됩니다.

데이터 조직 문화 변경 → 좋은 가설 설정: 데이터 조직에서는 what (반복성 업무) 에 치중하기보다는 why (인과) 를 찾아야 합니다.
데이터 기술 투자 → 실험 환경 구성: 매출 개선 증대의 장이 아닌 신뢰성 높은 인과성 분석 도구로의 활용

다음과 같은 활동을 통해서도 p-hacking을 방지하여 실험의 신뢰성을 높일 수 있습니다.

사전등록 (Preregistration): 실험/분석 시작 전에 가설과 분석 계획을 외부에 등록해 두어 임의 수정을 제한

다중검정 보정(예: 보니페로니 보정): 여러 변수/지표를 동시에 검정할 때 p-value 기준을 더 엄격히 적용

효과 크기와 신뢰구간 보고: 단순히 p값만 볼 게 아니라 실제 효과의 크기와 신뢰구간도 반드시 함께 공개

재현 가능한 코드, 데이터 공개: 누구나 결과를 검증할 수 있도록 코드와 데이터, 분석 과정을 투명하게 공개

5. 결론: 진정한 실험 문화를 위한 시작

정말로 비즈니스에 도움이 되는 실험을 하고 싶다면,

좋은 가설을 발굴하는 순간부터 실험문화는 시작됩니다.
실험과 데이터 분석의 목적이 조직 전략과 명확히 연결되어야 하며,
결과를 ‘좋게’ 만드는 것보다 엄격히 가설을 세우고 믿을 수 있는 지표로 검증하는 것이 우선입니다.
실패를 두려워하기보다, 문제를 명확히 정의하고 데이터를 통해 투명하게 검증하는 문화가 자리를 잡아야 진짜 성장과 학습이 일어납니다.

실험은 성공하는 결과를 빠르게 도출하는 게 아니라, 신뢰성 있는 인과 검증을 통해 ‘비즈니스에 실질적 가치’를 주는 것임을 반드시 기억해야겠습니다.

이번 세미나는 여기어때에서 지금까지도 잘 진행되었던 실험에 대한 환경에 대해 한번 더 생각해볼 수 있는 기회였는데요. p-hacking에 대해서 공감도 되었지만 그럼에도 p-hacking이 되지 않도록 실험을 탄탄히 계획하고 공유하는 여기어때의 실험 문화가 참으로 멋있다는 생각이 들었고, 모든 구성원들과의 시너지를 통해 진짜 비즈니스에 도움이 되는 분석이 지금보다 더 활발하게 진행되고, 옳은 의사결정을 할 수 있도록 힘을 쏟고 있는 여기어때 DA 분들에게도 박수를 보내고 싶었습니다.

지금까지도 잘 해왔지만 실패하더라도 성공하는 실험 문화를 지속하고, 실제 비즈니스에 도움이 되는 저희 팀에서는 다음 2가지에 집중하고 있습니다.

성과 측정 지표 프레임워크 매출에 대한 지표 뿐 아니라 비즈니스 목표를 달성할 수 있도록 실험 유형 별 성과 측정 지표 프레임워크를 통하여 전략적 의사결정이 가능하도록 함
탄탄한 가설 설정 가설 설정을 위해서는 사용자에 대한 이해와 데이터 분석이 필수 불가결. 데이터로 원인을 분석하여 가설을 설정할 수 있도록 하는 환경 셋팅

단순히 지표를 보고 ‘상승’, ‘하락’만을 바라보는 것이 아니라 전략적인 의사 결정이 가능하도록 ‘WHY’에 집중하여 다양한 관점을 제공하는 것이 저희의 목표 입니다.

쉽지 않은 여정일 수는 있겠지만 No Pain, No Gain!