세조목

크롤링 최종 프로젝트에서 비정형 데이터 분석을 하기위해 크롤링 학습을 진행하고있습니다. 금일은 selenium이라는 라이브러리를 학습했는데 beautifulsoup와 selenium의 차이점은 selenium은 동적 데이터 수집이 가능하다는 점입니다. 예를 들어 스크롤을 내리면 내용이 추가되는 페이지가 있다고했을때 beautifulsoup는 현재 출력되고있는 페이지 內 데이터만을 수집할 수 있지만 selenium은 스크롤을 자동으로 내리면서 새롭게 추가되는 데이터들도 수집할 수 있습니다. from selenium import webdriver from bs4 import BeautifulSoup import time url = "" driver = webdriver.Chrome() driver.get(u..

금일은 최종 프로젝트 관련 회의 진행 및 튜터님과의 질의응답 시간을 가졌습니다. 사전캠프 팀원들과 함께 최종 프로젝트를 진행했으면 해서 현재 해당 멤버들과 주제 구상 및 고민을 하고있는데 저희가 한 팀이 되어 최종 프로젝트를 진행할 수 있다면 선정할 주제는 '외식업종 상권 및 입지 선택을 위한 행정동 & 업종별 매출 예측 모델링' 입니다. 어떠한 데이터를 사용할지에 대해서 얘기 나눴고, 해당 데이터들을 가지고서 어떻게 데이터셋을 구상할 지, 어떤 머신러닝 모델을 활용할 수 있을지에 대해 함께 고민했습니다. Q.1 데이터셋 관련 1) 대용량 데이터라고 불리려면 '행의 개수'가 몇 개 정도 됐을 때 대용량 데이터라고 할 수 있나요? 2) 대용량 데이터셋을 구축한다고했을때 데이터셋을 하나로, n개로 나누는 것..