일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
- lambda
- SQL
- 프롬프트 엔지니어링
- 팀프로젝트
- 시각화
- 기초통계
- Python
- data analyst
- cross join
- 머신러닝
- da
- 클러스터링
- GA4
- SQLD
- 데이터분석
- 태블로
- 데이터 분석
- 전처리
- If
- 군집화
- 프로젝트
- jd
- streamlit
- Chat GPT
- 히트맵
- 기초프로젝트
- pandas
- 최종 프로젝트
- 크롤링
- 서브쿼리
- Today
- Total
목록크롤링 (26)
세조목
최종 프로젝트 9일차입니다. 금일은 팀원들 각자 완성한 크롤링 코드를 가지고서 팀 회의를 진행했습니다. 아래는 팀 회의 간 논의해야 할 사항들을 정리해놓은 리스트입니다. 1. 데이터셋 관련 1) 크롤링할 '구' 정하기 2) 컬럼 관련 (1) 수정할 것 ㄱ. Address 컬럼 '구'까지만(추가 논의 필요 / '구'만 할지, '서울+구' 까지만 할 지, '서울시'만 할 지) ㄴ. '구'별 Numbering(구에 있는 가게별로 Numbering) ㄷ. 구글 데이터 Rating 컬럼값 NaN으로 정할지 (2) 추가할 것 ㄱ. 특성 컬럼 정하기(네이버 특성 + a) ㄴ. 컬럼 방향 정하기 3) 데이터셋 이름 정하기(jongro_google.csv) 2. 클러스터링 관련 1) 모델링 時 사용 컬럼 정하기 3. 튜..
최종 프로젝트 2024.04.03 - [데이터 분석 공부/프로젝트] - 최종 프로젝트 8일차(24.04.03) 최종 프로젝트 8일차(24.04.03) 최종 프로젝트 8일차입니다. 코드를 돌렸을때 자잘한 문제들이 발생해서 금일은 해당 코드들을 수정했습니다. 자잘한 문제들이라 하면 대부분 가게의 데이터를 크롤링할 때는 정상 작동하던 코 eyeoftheworld1209.tistory.com 최종 프로젝트 8일차였습니다. 일부 자잘한 문제들을 해결하고, 페이지별로 데이터를 크롤링할 수 있게끔 코드를 몇 줄 추가했습니다. 자세한 내용은 위 포스팅에 정리해두었습니다.
최종 프로젝트 8일차입니다. 코드를 돌렸을때 자잘한 문제들이 발생해서 금일은 해당 코드들을 수정했습니다. 자잘한 문제들이라 하면 대부분 가게의 데이터를 크롤링할 때는 정상 작동하던 코드가 일부 가게에서는 작동이 안 된다던가 네이버 지도 마지막 페이지의 데이터들은 크롤링이 안 된다던가 하는 문제입니다. 첫 번째 문제의 경우 방법을 찾지 못했으나 해당되는 가게의 수가 5개 이하이기때문에 별도로 수정하지 않고 진행해도 무방할 것 같다는 판단이며 두 번째 문제의 경우 앞전에 작동이 안 되어 수정했던 코드를 다시 기존 코드로 수정하니 작동했습니다. review_nums = driver.find_elements(By.CLASS_NAME,'owAeM') for review_num in review_nums: revi..
머신러닝(클러스터링) 2024.04.02 - [데이터 분석 공부/머신러닝] - 머신러닝 - 클러스터링(계층적 군집화) 머신러닝 - 클러스터링(계층적 군집화) 1. 계층적 군집화 상향식 군집화(일반적임) 하향식 군집화 장점 군집의 갯수를 정해줄 필요가 없다. 군집 간 계층적 관계를 찾아낼 수 있다. 방법 Single Linkage : 두 군집 사이 최소 거리 이용 Complete eyeoftheworld1209.tistory.com 최종 프로젝트 2024.04.02 - [데이터 분석 공부/프로젝트] - 최종 프로젝트 7일차(24.04.02) 최종 프로젝트 7일차(24.04.02) 최종 프로젝트 7일차입니다. 금일은 가게명을 클릭하고 플레이스 페이지가 열림과 동시에 전혀 다른 페이지가 함께 열리는 오류와 리..