EDA 마스터하기: 타이타닉 데이터로 배우는 탐색적 데이터 분석 실전 기법

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

# 한글 폰트 설정
plt.rcParams['font.family'] = 'Malgun Gothic'
plt.rcParams['axes.unicode_minus'] = False

# 데이터 로드
train = pd.read_csv('train.csv')
test = pd.read_csv('test.csv')

print(f"Train shape: {train.shape}")
print(f"Test shape: {test.shape}")
train.head()

# 기본 정보 확인
print("=== 데이터 기본 정보 ===")
train.info()

# 결측치 비율 계산
print("\n=== 결측치 현황 ===")
missing = pd.DataFrame({
    '결측치_수': train.isnull().sum(),
    '결측치_비율(%)': (train.isnull().sum() / len(train) * 100).round(2)
})
missing = missing[missing['결측치_수'] > 0].sort_values('결측치_비율(%)', ascending=False)
print(missing)

# 중복 데이터 확인
print(f"\n중복 행 개수: {train.duplicated().sum()}")

# 범주형 변수 분석
fig, axes = plt.subplots(2, 2, figsize=(14, 10))

# 생존율
sns.countplot(data=train, x='Survived', ax=axes[0, 0])
axes[0, 0].set_title('생존 분포')
axes[0, 0].set_xticklabels(['사망', '생존'])

# 객실 등급
sns.countplot(data=train, x='Pclass', ax=axes[0, 1])
axes[0, 1].set_title('객실 등급 분포')

# 성별
sns.countplot(data=train, x='Sex', ax=axes[1, 0])
axes[1, 0].set_title('성별 분포')

# 승선 항구
sns.countplot(data=train, x='Embarked', ax=axes[1, 1])
axes[1, 1].set_title('승선 항구 분포')

plt.tight_layout()
plt.show()

# 수치형 변수 분포
fig, axes = plt.subplots(1, 3, figsize=(15, 4))

train['Age'].hist(bins=30, ax=axes[0], edgecolor='black')
axes[0].set_title('나이 분포')
axes[0].set_xlabel('Age')

train['Fare'].hist(bins=30, ax=axes[1], edgecolor='black')
axes[1].set_title('운임 분포 (왜도 주의)')
axes[1].set_xlabel('Fare')

train['Fare'].apply(lambda x: np.log1p(x)).hist(bins=30, ax=axes[2], edgecolor='black')
axes[2].set_title('운임 분포 (로그 변환)')
axes[2].set_xlabel('log(Fare + 1)')

plt.tight_layout()
plt.show()

# 기술 통계량
print(train[['Age', 'Fare', 'SibSp', 'Parch']].describe())

# 범주형 변수 vs 생존율
fig, axes = plt.subplots(2, 2, figsize=(14, 10))

# 성별별 생존율
sns.barplot(data=train, x='Sex', y='Survived', ax=axes[0, 0], ci=None)
axes[0, 0].set_title('성별 생존율')
axes[0, 0].set_ylabel('생존율')

# 객실 등급별 생존율
sns.barplot(data=train, x='Pclass', y='Survived', ax=axes[0, 1], ci=None)
axes[0, 1].set_title('객실 등급별 생존율')

# 승선 항구별 생존율
sns.barplot(data=train, x='Embarked', y='Survived', ax=axes[1, 0], ci=None)
axes[1, 0].set_title('승선 항구별 생존율')

# 가족 크기별 생존율 (파생 변수)
train['FamilySize'] = train['SibSp'] + train['Parch'] + 1
sns.barplot(data=train, x='FamilySize', y='Survived', ax=axes[1, 1], ci=None)
axes[1, 1].set_title('가족 크기별 생존율')

plt.tight_layout()
plt.show()

# 수치형 변수 vs 생존 여부 (박스플롯)
fig, axes = plt.subplots(1, 2, figsize=(14, 5))

sns.boxplot(data=train, x='Survived', y='Age', ax=axes[0])
axes[0].set_title('생존 여부별 나이 분포')
axes[0].set_xticklabels(['사망', '생존'])

sns.boxplot(data=train, x='Survived', y='Fare', ax=axes[1])
axes[1].set_title('생존 여부별 운임 분포')
axes[1].set_xticklabels(['사망', '생존'])

plt.tight_layout()
plt.show()

# 상관계수 히트맵
plt.figure(figsize=(10, 8))
corr_data = train[['Survived', 'Pclass', 'Age', 'SibSp', 'Parch', 'Fare', 'FamilySize']].corr()
sns.heatmap(corr_data, annot=True, cmap='coolwarm', center=0, fmt='.2f')
plt.title('변수 간 상관관계')
plt.show()

# 성별 + 객실 등급 조합 분석
plt.figure(figsize=(10, 6))
sns.barplot(data=train, x='Pclass', y='Survived', hue='Sex', ci=None)
plt.title('객실 등급 + 성별 조합의 생존율')
plt.xlabel('객실 등급')
plt.ylabel('생존율')
plt.legend(title='성별')
plt.show()

# 나이 그룹 + 성별 분석
train['AgeGroup'] = pd.cut(train['Age'], bins=[0, 12, 18, 35, 60, 100], 
                            labels=['어린이', '청소년', '청년', '중년', '노년'])

plt.figure(figsize=(12, 6))
sns.barplot(data=train, x='AgeGroup', y='Survived', hue='Sex', ci=None)
plt.title('연령대 + 성별 조합의 생존율')
plt.xlabel('연령대')
plt.ylabel('생존율')
plt.legend(title='성별')
plt.show()

# Fare 이상치 확인
Q1 = train['Fare'].quantile(0.25)
Q3 = train['Fare'].quantile(0.75)
IQR = Q3 - Q1
outlier_threshold = Q3 + 1.5 * IQR

print(f"Fare 이상치 기준: {outlier_threshold:.2f}")
print(f"이상치 개수: {(train['Fare'] > outlier_threshold).sum()}개")

# 이상치 데이터 확인
outliers = train[train['Fare'] > outlier_threshold][['Name', 'Pclass', 'Fare', 'Survived']]
print("\n주요 고운임 승객:")
print(outliers.sort_values('Fare', ascending=False).head(10))