tag

#experiment

A/B 테스트, 실험 설계

4편

그룹당 표본 수가 줄수록 탐지할 수 있는 최소 효과(MDE)가 가파르게 커지는 곡선과, 효과 키우기·노이즈 줄이기·판단 바꾸기·실험 밖으로라는 네 가지 대응

data표본이 충분하지 않을 때 실험은 어떻게 해야 할까?A/B 테스트 표본이 부족할 때 쓸 방법을 논문과 기업 사례 수치로 정리했습니다. 큰 변경, 지표 손질과 CUPED, 인터리빙, 판단 기준 조정, 실험 밖 대안까지 순서대로 다룹니다.2026.10.14 · 23분

데이터 분석가 책 추천 3권이라는 제목 옆에 데이터 문해력, A/B 테스트, 인과추론이 1, 2, 3 순서로 화살표로 이어진 그림

book데이터 분석가 책 추천: 이 순서로 읽는 3권데이터 분석가 책 추천 3권을 읽는 순서와 함께 정리했습니다. 데이터 문해력과 가설사고·그로스 해킹으로 질문을 세우고, A/B 테스트로 실험을 배우고, 인과추론으로 실험이 어려운 상황까지 다룹니다.2026.10.12 · 13분

마진(−Δ) 점선과 0 기준선 위에 두 신뢰구간. 마진 위에 있는 구간은 통과, 마진을 걸치는 구간은 판단 불가로 표시되어 있다

dataA/B 테스트의 가드레일 지표와 비열등성 검정가드레일 지표는 '유의하게 떨어지지 않았다'가 아니라 '정해 둔 마진 이상 떨어지지 않았다'로 통과시켜야 합니다. 비열등성 검정과 마진(NIM) 정하는 법, 실험 도중 하락을 잡는 시퀀셜 A/B 테스트까지 정리했습니다.2026.10.05 · 17분

겹쳐 있는 귀무가설(H0)과 대립가설(H1) 분포. H1 분포 중 유의 문턱 오른쪽, 검정력(1 − β) 영역이 칠해져 있다

dataA/B 테스트에서 검정력 분석이 필요한 이유A/B 테스트의 p-value를 믿으려면 실험 전에 검정력 분석으로 표본 크기를 정해야 합니다. 검정력의 정의, 표본 수 계산, Type S·M 오류, 사후 검정력의 함정, 실무 적용법을 정리했습니다.2026.10.01 · 12분