세조목

머신러닝예측숫자{(평균으로)회귀}범주/카테고리(분류)선형 회귀로지스틱 회귀선형 회귀를 차용해서 만든거라서 '회귀'가 붙음 다중공선성 제거 방법1. pair plot, 상관관계로 상관관계 확인 후 하나의 독립변수 제거2. PCA(차원축소) 로지스틱 회귀로지스틱 회귀 : 확률 예측 時 사용됨그림에서 확인할 수 있는대로 확률을 예측할 때는 선형회귀를 적용하는 것이 적절하지 않음그래서 0과 1에 수렴하는 Logistic Regression이 나왔음 오즈비 = p / 1-p ※ 오즈비의 경우 확률이 증가할수록 급격히 발산하기 때문에 사용이 적절하지 않음오즈비 + 로그 → 로짓(Logit) = log(p / 1-p) ※ 로그를 씌워주면 회귀모델로 사용하기에 적절하게 됨로지스틱 회귀의 임계값 → 0.5(0.5 넘으면..

실제값과 예측값의 차이 = Error Error = ∑Error ^2 → 제곱하는 이유 : 음수 제거 → 데이터가 추가될 때마다 Error가 커진다는 문제가 있음 → 해결 방법 : Error / 전체 데이터 개수 ※ 편향(베타 제로) = y절편 딥러닝에서의 편향과 가중치 b = 편향 + 오차 w = 가중치 Y=wX+b w, X, b를 알면 Y 값을 알 수 있다. Q. 가중치는 어떻게 구하지? A. 데이터가 충분하다면 '추정' 할 수 있음 쉽게 말해 그래프를 수도 없이 그려서 에러를 '최소화'하는 직선을 구하는 개념이라고 볼 수 있음 MSE(Mean Squared Error)Error = ∑Error ^2MSE = Error / 전체 데이터 개수 예측 문제는 머신러닝이든 딥러닝이든 MSE 지표를 최소화하는..

1. 계층적 군집화 상향식 군집화(일반적임) 하향식 군집화 장점 군집의 갯수를 정해줄 필요가 없다. 군집 간 계층적 관계를 찾아낼 수 있다. 방법 Single Linkage : 두 군집 사이 최소 거리 이용 Complete Linkage : 두 군집 사이 최대 거리 이용 Average Linkage : 포인트와 포인트 사이 모든 거리의 평균 Centroid Linkage : 각 군집의 centroid(무게 중심) 값 사이 거리 Ward Linkage(가장 많이 사용되며 계층적 군집화 라이브러리 기본값으로 지정되어있음) 클러스터 내 각각의 centroid와 거리의 제곱합(SSE) 계산 두 클러스터를 하나의 군집으로 만들었을 때의 새로운 평균과의 거리제곱합 계산 그 차이 = Ward Distance / 이 ..

KNN K Nearest Neighbor 최근접 이웃이라는 의미다. 2024.02.02 - [데이터 분석 공부/머신러닝] - 머신러닝 - 의사결정나무, 랜덤포레스트, KNN, 부스팅 알고리즘(24.02.02) 머신러닝 - 의사결정나무, 랜덤포레스트, KNN, 부스팅 알고리즘(24.02.02) 목차 의사결정나무 랜덤 포레스트 KNN(최근접 이웃) 부스팅 알고리즘 1. 의사결정나무 import pandas as pd import seaborn as sns import matplotlib.pyplot as plt from sklearn.preprocessing import LabelEncoder from sklearn.tree impo eyeoftheworld1209.tistory.com 위 포스팅에 KNN ..