A/B 테스트 완주 가이드. 추천 읽기 순서와 전체 목차.
📚 분석 · 실험 · 7편
A/B 테스트
A/B 테스트의 기초 개념부터 통계적 유의성, 실험 설계, 구현 코드, Feature Flag·실험 플랫폼 운영까지. 데이터로 의사결정하는 개발자·PM·데이터 분석가를 위한 7편 학습 자료입니다.
어떤 분이 읽으면 좋아요
이 시리즈는 서비스 기능 변경의 효과를 숫자로 검증하고 싶은 개발자, PM, 데이터 분석가를 염두에 두고 썼어요. "이 버튼 색을 바꾸면 전환율이 오를까?" 같은 질문에 감이 아닌 통계로 답하는 방법, 그리고 이를 실제 Feature Flag 시스템으로 운영하는 방법까지 다룹니다.
처음 들어오신 분은 1편(기초·대조군·전환율) → 4편(설계·가설·편향 방지) 두 편으로 실험 기초를 잡고, 통계가 급하면 6편(카이제곱·베이지안·다중 비교), 구현 코드가 필요하면 5편(React·Node·Pandas), 실험 플랫폼을 직접 구축하려면 7편으로 가세요.
추천 읽기 순서
- A/B 테스트가 처음인 분 → 1편(기초·대조군·전환율·유의성) → 4편(설계·가설·편향 방지) → 3편(실전 사례 5패턴)
- 통계 검정·베이지안 → 1편 → 6편(카이제곱·베이지안·다중 비교) → 4편
- 구현 코드가 필요한 분 → 5편(React·Node·Pandas 구현) → 7편(Feature Flag·실험 플랫폼) → 2편
- 실험 플랫폼·Feature Flag → 7편 → 5편 → 2편(흔한 실수 10가지)
- 실전 사례·흔한 실수 총정리 → 3편 → 2편 → 6편
전체 목차
| 편 | 제목 | 핵심 |
|---|---|---|
| 1편 | 입문 — 대조군 · 전환율 · 유의성 | 실험군·대조군·전환율 측정·p값·유의수준 |
| 2편 | 베스트 프랙티스 — 흔한 실수 10가지 | 샘플 오염·early stopping·다중 비교·HARKing |
| 3편 | 실전 사례 — 5가지 패턴 분석 | CTA·가격·온보딩·알림·추천 실험 사례 |
| 4편 | 설계 — 가설 · 지표 · 편향 방지 | 1차·2차 지표 설계·샘플 사이즈·편향 유형 |
| 5편 | 구현 — React · Node · Pandas 패턴 | 클라이언트·서버·데이터 파이프라인 구현 코드 |
| 6편 | 통계 — 카이제곱 · 베이지안 · 다중 비교 | t-test·카이제곱·베이지안 A/B·Bonferroni 보정 |
| 7편 | 시스템 — Feature Flag와 실험 플랫폼 | LaunchDarkly·Growthbook·자체 구축·트래픽 분배 |
다음 단계
A/B 테스트를 마쳤다면, 실험에서 도출된 메트릭을 지속적으로 관측하는 Micrometer·Grafana 스택을 구축하거나, 실험 플랫폼과 연동할 SNS 백엔드 실전 프로젝트로 이어가는 게 자연스럽습니다. Statsig 시리즈는 A/B 테스트 플랫폼 Statsig 자체를 깊이 다룹니다.
- Statsig 입문에서 운영까지 — 완주 가이드 (실험 플랫폼 Statsig 심화)
- 실전 프로젝트 SNS 백엔드 — 완주 가이드 (Feature Flag를 적용할 실전 프로젝트)
- 전체 시리즈 로드맵