[Pandas][sklearn] 정규화, 표준화 - 수치형데이터 스케일링 :: MinMaxScaler StandardScaler

✅  수치형데이터 스케일링 (Scaling)

스케일링 (Scaling)	• 수치형 데이터가 여러개 있는데 숫자범위가 다르다면 → 범위를 비슷하게 만들어줄 필요가 있다. • 왜냐하면? 그대로 모델링하면 상대적으로 큰 숫자를 가지는 칼럼의 기여도가 더 크게 반영되어버리기 때문! • 따라서 스케일링하여 상대적인 크기 차이를 없애줘야 함 • 스케일링을 통해 데이터의 불필요한 차원을 줄이고, 분석모델의 학습속도가 향상시킬 수 있음 (효율↑)
정규화 (Normalization)	• Min-Max Scaling : 데이터의 최솟값, 최댓값을 이용해서 데이터를 일정 범위 내의 값들로 변환 • 일반적으로 0~1 사이의 값으로 변환 ※ 데이터에 이상치가 없고, 분포가 크게 치우쳐 있지 않은 경우에 적합한 방법 (이상치 제거 후 정규화해야함)
표준화 (Standardization)	• 데이터의 평균, 표준편차를 이용해서 변환 • 평균=0, 표준편차=1 이 되도록 데이터 값들을 변환 ※  데이터에 이상치가 있고, 분포가 치우쳐 있는 경우 적합한 방법

---

0️⃣  패키지 & 데이터프레임 불러오기

• 예시가 될 데이터셋은 Kaggle에서 가져온 Flight Price Prediction 입니다.
• 수치형 칼럼인 비행시간(duration), 출발까지 남은일수(days_left), 가격(price) 만 가져와서 스케일링을 해보겠습니다.

# 패키지 불러오기
import numpy as np
import pandas as pd
pd.set_option('float_format', '{:.4f}'.format)

# 데이터셋 불러오기 (수치형 칼럼만)
df = pd.read_csv('./Clean_Dataset.csv', usecols=['duration','days_left','price'], encoding='cp949')

---

1️⃣-1.  정규화 (Normalization)  =  Min-Max Scaling

• 아래와 같이 데이터프레임의 각 칼럼마다 최솟값, 최댓값을 이용해서 특정 범위의 값으로 정규화할 수 있습니다.

0~1 사이의 값으로 정규화	a~b 사이의 값으로 정규화

# 정규화: 0~1 사이의 값으로 변환
df_norm_01 = (df - df.min()) / (df.max() - df.min())

# 정규화: 1~10 사이의 값으로 변환
df_norm_10 = ((df - df.min()) / (df.max() - df.min())) * (10-1) + 1

---

1️⃣-2.  사이킷런으로 정규화 (Normalization)  ::  MinMaxScaler()

• 사이킷런의 MinMaxScaler() 모듈로도 데이터프레임을 정규화시킬 수 있습니다.
• 다만 array 형태로 결과를 반환하기 때문에, 아래와 같이 다시 데이터프레임으로 바꿔줘야 합니다.

# 스케일러 모듈 불러오기
from sklearn.preprocessing import MinMaxScaler
mms = MinMaxScaler()

# 정규화하고 데이터프레임으로 바꿔주기
arr_norm_sklearn = mms.fit_transform(df)
df_norm_sklearn = pd.DataFrame(arr_norm_sklearn, columns=df.columns)

---

2️⃣-1.  표준화 (Standardization)

• 아래와 같이 데이터프레임의 각 칼럼마다 평균값, 표준편차를 이용해서 표준화할 수 있습니다.
• 표준화하면, 평균=0 이고 표준편차=1 인 표준정규분포 상의 값들로 모든 데이터 값들이 변환됩니다.

평균 & 표준편차로 데이터 표준화

# 표준화
df_std = (df - df.mean()) / df.std()

---

2️⃣-2.  사이킷런으로 표준화 (Standardization)  ::  StandardScaler()

• 사이킷런의 StandardScaler() 모듈로도 데이터프레임을 표준화시킬 수 있습니다.
• 다만 array 형태로 결과를 반환하기 때문에, 아래와 같이 다시 데이터프레임으로 바꿔줘야 합니다.

# 스케일러 모듈 가져오기
from sklearn.preprocessing import StandardScaler
ss = StandardScaler()

# 표준화하고 데이터프레임으로 바꿔주기
arr_std_sklearn = ss.fit_transform(df)
df_std_sklearn = pd.DataFrame(arr_std_sklearn, columns=df.columns)

---