세조목

머신러닝2024.05.07 - [데이터 분석 공부/머신러닝] - 머신러닝 심화 복습(결측치, 인코딩&스케일링)(24.05.07) 머신러닝 심화 복습(결측치, 인코딩&스케일링)(24.05.07)결측치표준편차가 크다 = 평균에서 벗어난 값들이 많다so 표준편차가 크다면 결측치를 평균값으로 대체하기보단 중앙값으로 대체하는게 낫다. ※ 범주형 데이터의 경우 최빈값으로 대체표준편eyeoftheworld1209.tistory.com2024.05.07 - [데이터 분석 공부/머신러닝] - 머신러닝 심화 복습(과적합)(24.05.07) 머신러닝 심화 복습(과적합)(24.05.07)과적합개념모형이 지나치게 복잡할 경우 데이터를 너무 많이(or 적게) 학습(=적합)해서특정 데이터의 예측만 할 수 있고, 다른 데이터는 예측..

결측치표준편차가 크다 = 평균에서 벗어난 값들이 많다 so 표준편차가 크다면 결측치를 평균값으로 대체하기보단 중앙값으로 대체하는게 낫다. ※ 범주형 데이터의 경우 최빈값으로 대체 표준편차가 큰지는 어떻게 알 수 있지?? → 평균값과 비교 - 평균값보다 표준편차가 크다면 데이터들이 평균값에서 많이 벗어나 있다는 의미임 결측치 확인.notna() → 결측치 없는 데이터만 확인 가능 .isna() → 결측치인 데이터만 확인 가능 결측치 처리from sklearn.impute import SimpleImputer si = SimpleImputer() si.fit(titanic_df[['Age']]) titanic_df['Age_si_mean'] = si.transform(titanic_df[['Age']]) #..

최종 프로젝트 2024.04.09 - [데이터 분석 공부/프로젝트] - 최종 프로젝트 14일차(24.04.09) 최종 프로젝트 14일차(24.04.09) 최종 프로젝트 14일차입니다. 금일은 Review_score 전처리 작업 끝난 데이터셋 통합 전처리 작업 '구' 평균 평점으로 평점 결측치 채우기 Review_count 컬럼값 콤마 & .0 지우기 주소 변경 경사도 추가 GPT eyeoftheworld1209.tistory.com 최종 프로젝트 14일차였습니다. 데이터 전처리, 경사도 추가, gpt api 코드 작성, gpt 프롬프트 작성 등의 작업을 수행했는데요, 자세한 내용은 위 포스팅에 정리해두었습니다.

최종 프로젝트 14일차입니다. 금일은 Review_score 전처리 작업 끝난 데이터셋 통합 전처리 작업 '구' 평균 평점으로 평점 결측치 채우기 Review_count 컬럼값 콤마 & .0 지우기 주소 변경 경사도 추가 GPT API 코드 작성 GPT 프롬프트 고민 를 진행했습니다. Review_score 전처리 작업 끝난 데이터셋 통합 Review_score 결측치 처리 작업이 어제부로 끝났습니다. 전체 파일을 1/4해서 파일 한 개당 팀원 한 명이 붙어서 작업을 했다보니 파일을 다시 통합할 필요가 있었습니다. # 페이지별 데이터셋 불러오기 total_1 = pd.read_csv("N:/개인/DA/Python/크롤링/final_project/after_cleansing/통합본/total_1_after..