세조목

크롤링 최종 프로젝트때 활용할 비정형 데이터 분석을 위해 크롤링을 학습하고있으며 현재까지는 requests와 beautifulsoup 라이브러리만을 활용하고 있습니다. 여러가지 예제들을 풀어보면서 학습 중인데 크롤링에 활용되는 코드의 전체 틀은 동일합니다. 그 중 별도로 기록해야겠다싶은 부분을 정리해보려고합니다. 여러개의 클래스에 해당하는 내용 추출하는 방법 1. soup.select("클래스명, 클래스명") 2. soup.find_all(class_=["클래스명", "클래스명"]) strip() 함수 활용 html 코드 작성시 "시차출근제 도입하면 1조3300억원 아낀다" 위와같이 공백이 있기때문에 크롤링 했을때 공백도 함께 끌려온다. 이때 strip()함수를 쓰면 공백을 제거할 수 있다. li태그 관..

크롤링 최종 프로젝트에서 비정형 데이터를 다뤄보기위해 현재 크롤링을 학습하고 있습니다. 크롤링에 사용되는 python 라이브러리는 requests, beautifulsoup, selenium 크게 세가지입니다. 금일은 requests와 beautifulsoup만을 가지고서 학습을 진행했습니다. import requests from bs4 import BeautifulSoup base_url = "https://search.naver.com/search.naver?sm=tab_hty.top&ssc=tab.blog.all&query=" keyword = input("검색어를 입력하세요 : ") url = base_url + keyword print(url) headers = { "User-Agent" : "..

금일은 최종 프로젝트 관련 회의 진행 및 튜터님과의 질의응답 시간을 가졌습니다. 사전캠프 팀원들과 함께 최종 프로젝트를 진행했으면 해서 현재 해당 멤버들과 주제 구상 및 고민을 하고있는데 저희가 한 팀이 되어 최종 프로젝트를 진행할 수 있다면 선정할 주제는 '외식업종 상권 및 입지 선택을 위한 행정동 & 업종별 매출 예측 모델링' 입니다. 어떠한 데이터를 사용할지에 대해서 얘기 나눴고, 해당 데이터들을 가지고서 어떻게 데이터셋을 구상할 지, 어떤 머신러닝 모델을 활용할 수 있을지에 대해 함께 고민했습니다. Q.1 데이터셋 관련 1) 대용량 데이터라고 불리려면 '행의 개수'가 몇 개 정도 됐을 때 대용량 데이터라고 할 수 있나요? 2) 대용량 데이터셋을 구축한다고했을때 데이터셋을 하나로, n개로 나누는 것..

Python 2024.01.06 - [데이터 분석 공부/Python] - PYTHON 정리(CLASS)(24.01.06) PYTHON 정리(CLASS)(24.01.06) CLASS CLASS란 무엇일까? CLASS ≒ 빵틀 이라고 이해하면 쉽다. 빵틀에 밀가루와 팥을 넣고 구우면 빵이 나오는데 어떤 재료를 넣느냐에따라서 다양한 빵들이 나온다. CLASS도 마찬가지이다. CLASS의 경 eyeoftheworld1209.tistory.com 최종 프로젝트때 웹 스크레핑을 활용해야해서 금일은 웹 스크래핑 강의를 수강했습니다. 본격적인 스크래핑 강의 설명에 앞서 python기초에 대한 내용이 나왔는데 그 중 기억이 가물가물해져가는 클래스에 대한 내용이 나와서 금년 1월 6일에 정리해둔 포스팅을 참고하면서 복습하..