Python으로 A/B 테스트 분석하기: t-검정부터 베이지안 추론까지 통계적 유의성 검증 완벽 가이드

import numpy as np
from scipy import stats

# A그룹과 B그룹의 전환율 데이터
group_a = np.random.binomial(1, 0.10, 1000)  # 전환율 10%
group_b = np.random.binomial(1, 0.12, 1000)  # 전환율 12%

# 독립 표본 t-검정 수행
t_stat, p_value = stats.ttest_ind(group_a, group_b)

print(f"t-통계량: {t_stat:.4f}")
print(f"p-value: {p_value:.4f}")

if p_value < 0.05:
    print("통계적으로 유의미한 차이가 있습니다.")
else:
    print("통계적으로 유의미한 차이가 없습니다.")

from statsmodels.stats.proportion import proportions_ztest

# 각 그룹의 전환 수와 총 방문자 수
conversions = np.array([120, 145])  # A그룹 120명, B그룹 145명 전환
visitors = np.array([1000, 1000])   # 각 그룹 1000명씩

# z-검정 수행
z_stat, p_value = proportions_ztest(conversions, visitors)

conversion_rate_a = conversions[0] / visitors[0]
conversion_rate_b = conversions[1] / visitors[1]

print(f"A그룹 전환율: {conversion_rate_a:.2%}")
print(f"B그룹 전환율: {conversion_rate_b:.2%}")
print(f"p-value: {p_value:.4f}")

import pymc as pm
import arviz as az

# 관측 데이터
visitors_a, conversions_a = 1000, 120
visitors_b, conversions_b = 1000, 145

with pm.Model() as model:
    # 사전 분포: 전환율에 대한 믿음 (균등 분포)
    p_a = pm.Beta('p_a', alpha=1, beta=1)
    p_b = pm.Beta('p_b', alpha=1, beta=1)

    # 우도: 관측 데이터
    obs_a = pm.Binomial('obs_a', n=visitors_a, p=p_a, observed=conversions_a)
    obs_b = pm.Binomial('obs_b', n=visitors_b, p=p_b, observed=conversions_b)

    # 차이 계산
    delta = pm.Deterministic('delta', p_b - p_a)

    # MCMC 샘플링
    trace = pm.sample(2000, return_inferencedata=True)

# B가 A보다 나을 확률
prob_b_better = (trace.posterior['delta'] > 0).values.mean()
print(f"B가 A보다 나을 확률: {prob_b_better:.2%}")

from statsmodels.stats.power import zt_ind_solve_power

# 검출하고 싶은 최소 효과 크기 (전환율 차이)
effect_size = 0.02  # 2%p 차이
baseline_rate = 0.10

# 필요한 샘플 크기 계산
required_n = zt_ind_solve_power(
    effect_size=effect_size,
    alpha=0.05,      # 유의수준
    power=0.8,       # 검정력
    alternative='two-sided'
)

print(f"그룹당 필요한 샘플 크기: {int(required_n)}")