세조목

최종 프로젝트 2일차입니다. 금일은 저희가 어제 선정했던 프로젝트의 주제를 가지고서 어떻게 분석을 해볼지에 대한 이야기를 나눴습니다. 저희가 오늘 고민했던건 '과연 데이터셋을 어떻게 구성해야 클러스터링 모델을 적용시킬 수 있을까' 였습니다. 저희가 생각하고 있는 분석 방법은 리뷰 데이터 크롤링 긍/부정 분석 군집 분석 추천 이렇게 총 네가지인데요, 수집한 데이터들을 n개의 카테고리로 나누어서 데이터셋에 넣는게 맞다라고 생각했습니다. 이 때 위 이미지의 좌측 테이블과같이 특성별 컬럼을 만들어 줄 것인지, 우측 테이블처럼 가장 빈도수가 높은 특성 하나만을 특성 컬럼에 넣을 것인지 에 대해서 고민을 했습니다. 이게 무슨 말이냐 하면 만약 '이 집은 청결하고, 빵도 맛있고, 사장님도 친절한데, 직원들은 불친절해..

최종 프로젝트 최종 프로젝트 1일차입니다. https://sore-almandine-788.notion.site/5a5b8853dce844f6acabd342ae671c04?pvs=4 최종 프로젝트 이야기해보기 | Notion 주제 이야기 해보기 sore-almandine-788.notion.site 금일은 팀원들과 함께 어떠한 주제로 프로젝트를 진행할 것인지에 대해서 이야기 나눴습니다. 각자 주제 한 개씩 고민해와서 총 네가지의 주제를 가지고서 고민을 했는데요, 저희들끼리는 판단이 힘들어서 금일 캠프에 나오셨던 튜터님들 한 분 한 분께 어떠한 주제로 진행하는 것이 괜찮을지에 대해 의견을 여쭤봤습니다. 그래서 가장 많은 선택을 받은 주제로 프로젝트를 진행하기로 했습니다. 튜터님들마다 피드백이 차이가 있었는..

최종 프로젝트 금일은 최종 프로젝트 팀이 발표되는 날이었습니다. 희망하는 멤버들끼리 팀을 구성할 수 있게 해준다는 매니저님의 이야기를 들었던 터라 저와 사전캠프때 함께였던 나머지 세 명의 멤버들끼리 오늘 모여서 최종 프로젝트 주제에 대해서 이야기 나눠보았습니다. 기존에 얘기하고있던 '상권별 시장규모 성장성 예측' 주제의 경우 데이터의 양이 너무 부족하여 진행하기가 어려울 것이라고 판단했습니다. 오늘 이야기 나온 주제는 아래와 같습니다. 1. AI가 채용시장에 미친 영향과 앞으로의 전망 2. 유튜브 인급동 분석 3. 푸바오의 인기가 높아진 이유는? 푸바오 관련 비정형 데이터 수집 4. 청소년은 어떤 고민을 하고 있을까? 고민 해결해줄 수 있는 방안 고민(데이터 활용해서) - '문화체육체험프로그램 정보(문화..

크롤링 최종 프로젝트에서 비정형 데이터 분석을 하기위해 크롤링 학습을 진행하고있습니다. 금일은 selenium이라는 라이브러리를 학습했는데 beautifulsoup와 selenium의 차이점은 selenium은 동적 데이터 수집이 가능하다는 점입니다. 예를 들어 스크롤을 내리면 내용이 추가되는 페이지가 있다고했을때 beautifulsoup는 현재 출력되고있는 페이지 內 데이터만을 수집할 수 있지만 selenium은 스크롤을 자동으로 내리면서 새롭게 추가되는 데이터들도 수집할 수 있습니다. from selenium import webdriver from bs4 import BeautifulSoup import time url = "" driver = webdriver.Chrome() driver.get(u..