판다스로 배우는 데이터 분석과 통계 요약 가이드

데이터 분석의 핵심은 코드 암기가 아니라 데이터에 적절한 질문을 던지는 거예요. 전체 데이터의 describe와 corr를 통해 기초 통계량과 상관관계를 파악하고, groupby, crosstab, pivot_table을 활용해 그룹별 집계를 수행하는 실전 흐름을 알아봐요. 또한 시각화와 기계학습의 목적에 맞춰 stack, unstack, melt를 사용해 데이터 형태를 넓게 또는 길게 변환하는 필수 전처리 기법까지 한 번에 정리해 드릴게요.

import pandas as pd

# 예시용 타이타닉 데이터 불러오기 (실제 환경에 맞게 경로 수정 필요)
df = pd.read_csv('titanic.csv')

# 1. 기초 통계량 확인
print(df.describe())

# 2. 나이의 평균과 중간값 비교
print("나이 평균:", df['Age'].mean())
print("나이 중간값:", df['Age'].median())

# 3. 변수 간의 상관관계 파악 (숫자형 데이터만)
print(df.corr(numeric_only=True))

📌 Note

상관관계에서 꼭 기억해야 할 점이 있어요. 상관관계는 절대 인과관계가 아니에요. 여름에 아이스크림 판매량과 익사 사고 수가 같이 늘어난다고 해서 아이스크림이 익사 사고를 유발하는 건 아니잖아요? 단순히 두 수치가 같이 변한다는 의미로만 해석해야 오류를 피할 수 있어요.

# 성별(Sex)과 객실 등급(Pclass)을 기준으로 그룹을 묶고 평균을 구합니다.
# numeric_only=True를 넣지 않으면 문자열 열 때문에 에러가 발생할 수 있습니다.
grouped_mean = df.groupby(['Sex', 'Pclass']).mean(numeric_only=True)

print(grouped_mean)
# 출력 예시:
#                 Survived        Age       Fare
# Sex    Pclass                                 
# female 1       0.968085  34.611765  106.125798
#        2       0.921053  28.722973   21.970121
#        3       0.500000  21.750000   16.118810
# male   1       0.368852  41.281386   67.226127...

⚠️ Warning

과거에는 판다스가 알아서 문자열을 무시하고 계산해 줬지만, 이제는 명시적인 에러를 뱉어내요. 문자열이 섞인 데이터프레임에서 그룹 집계를 할 때는 반드시 함수 안에 numeric_only=True 파라미터를 넣어 숫자형 열만 계산하라고 알려줘야 해요.

# 1. transform: 각 행이 속한 객실 등급(Pclass)의 평균 요금을 계산해 새 열로 추가
df['avg_fare_by_pclass'] = df.groupby('Pclass')['Fare'].transform('mean')

# 원본 데이터의 행 개수가 유지되며 새 열이 추가된 것을 볼 수 있습니다.
print(df[['Pclass', 'Fare', 'avg_fare_by_pclass']].head(3))
# Output:
#    Pclass     Fare  avg_fare_by_pclass
# 0       3   7.2500           13.675550
# 1       1  71.2833           84.154687
# 2       3   7.9250           13.675550

# 2. filter: 데이터(행)가 80개 이상인 객실 등급 그룹만 추출
filtered_df = df.groupby('Pclass').filter(lambda x: len(x) >= 80)

print(filtered_df['Pclass'].unique())
# Output: [3 1 2] (타이타닉 데이터는 1, 2, 3등급 모두 80명이 넘어 다 남습니다)

# 1. crosstab: 성별에 따른 생존 비율 확인 (normalize='index'는 행 기준 100%를 의미)
survival_ratio = pd.crosstab(df['Sex'], df['Survived'], normalize='index')

print(survival_ratio)
# Output:
# Survived         0         1
# Sex                         
# female    0.257962  0.742038
# male      0.811092  0.188908

# 2. pivot_table: 성별과 등급(인덱스)별로 나이와 요금(값)의 평균과 최댓값(집계함수) 구하기
# margins=True를 넣으면 총계(All)가 추가됩니다.
pivot_result = pd.pivot_table(df, 
                              index=['Sex', 'Pclass'], 
                              values=['Age', 'Fare'], 
                              aggfunc=['mean', 'max'],
                              margins=True)

print(pivot_result.head(3))
# Output (일부):
#                     mean                  max          
#                      Age        Fare      Age      Fare
# Sex    Pclass                                          
# female 1       34.611765  106.125798     63.0  512.3292
#        2       28.722973   21.970121     57.0   65.0000

💡 Tip

pivot_table을 쓸 때 margins=True 옵션을 넣으면 표의 끝에 총합(All) 행과 열이 자동으로 추가돼요. 보고서나 대시보드 데이터를 만들 때 별도로 합계를 계산할 필요가 없어서 시간 단축에 아주 유용해요.

# 간단한 넓은 형태(Wide)의 데이터프레임을 만듭니다.
data = pd.DataFrame({
    'name': ['a', 'b'],
    'order_count': [3, 4],
    'amount': [10000, 25000]
})

print("=== 원본 데이터 (Wide) ===")
print(data)
# Output:
#   name  order_count  amount
# 0    a            3   10000
# 1    b            4   25000

# 1. melt: name을 기준으로 나머지 열들을 변수(variable)와 값(value)으로 녹여내어 길게(Long) 만듭니다.
melted_data = pd.melt(data, id_vars=['name'], var_name='지표', value_name='값')

print("\n=== melt 후 데이터 (Long) ===")
print(melted_data)
# Output:
#   name           지표      값
# 0    a  order_count      3
# 1    b  order_count      4
# 2    a       amount  10000
# 3    b       amount  25000

# 2. 피벗 결과에 stack과 unstack 적용하기
# 위에서 만든 pivot_result의 컬럼 구조를 인덱스로 끌어내립니다.
stacked_pivot = pivot_result.stack(0)
print("\n=== stack 적용 후 (컬럼이 인덱스로 내려가 세로로 길어짐) ===")
print(stacked_pivot.head(4))
# Output:
#                            Age        Fare
# Sex    Pclass                             
# female 1      max    63.000000  512.329200
#               mean   34.611765  106.125798