세조목

머신러닝을 할 때 하나의 데이터셋을 train, test 데이터셋으로 나누는데7:3 내지 8:2로 나누는 것이 일반적이다.train 데이터셋으로 학습을 시키고 이 모델을 test 데이터셋에 적용시켜보는 것이다.그런데 만약 train 데이터셋에 포함된 데이터의 개수가 충분하지 않다면 과적합이 발생하지 않을까? 이 때 필요한 것이 '교차 검증(Cross Validation)'이다.교차 검증이란 train 데이터셋에 포함된 데이터셋을 n개로 split해서모델을 학습시키고 모델을 최적화시키는 작업이다.위 이미지에서의 경우 train dataset을 5개로 split 한 후 각각의 Fold를학습용, 검증용으로 지정해서 모델을 학습시켜본다.Fold1, 2, 3, 4, 5를 순서대로 검증용으로 지정하는 것이다.학습 ..

과적합개념모형이 지나치게 복잡할 경우 데이터를 너무 많이(or 적게) 학습(=적합)해서특정 데이터의 예측만 할 수 있고, 다른 데이터는 예측할 수 없음 ※ 과적합이라고 하면 일반적으로 과대적합을 얘기함 과적합 해결방법→ Train, Test dataset 분리from sklearn.model_selection import train_test_splitX_train, X_test, y_train, y_test = train_test_split(titanic_df[['Fare', 'Sex']], titanic_df[['Survived']], test_size=0.3, shuffle=True, random_state=42, stratify=titanic_df[['Survived']]) - test_size :..

결측치표준편차가 크다 = 평균에서 벗어난 값들이 많다 so 표준편차가 크다면 결측치를 평균값으로 대체하기보단 중앙값으로 대체하는게 낫다. ※ 범주형 데이터의 경우 최빈값으로 대체 표준편차가 큰지는 어떻게 알 수 있지?? → 평균값과 비교 - 평균값보다 표준편차가 크다면 데이터들이 평균값에서 많이 벗어나 있다는 의미임 결측치 확인.notna() → 결측치 없는 데이터만 확인 가능 .isna() → 결측치인 데이터만 확인 가능 결측치 처리from sklearn.impute import SimpleImputer si = SimpleImputer() si.fit(titanic_df[['Age']]) titanic_df['Age_si_mean'] = si.transform(titanic_df[['Age']]) #..

DATA ARCHITECTURES※ ETL(Extract Transform Load / 추출, 변환, 로드) EDA 시각화1. countplot범주형 데이터의 빈도 수 시각화sns.countplot(x='day', data=tips)x축 : 범주형 데이터 범주형 데이터 → day 2. barplotsns.barplot(x='sex', y='tip', data=tips)x축 : 범주형 데이터y축 : 수치형 데이터 범주형 데이터 → sex수치형 데이터 → tip※ 수치형 데이터의 평균을 비교함 3. boxplotsns.boxplot(x='time', y='total_bill', data=tips)x축 : 범주형, 수치형 데이터y축 : 수치형 데이터 범주형 데이터 → time수치형 데이터 → total_bil..