세조목

최종 프로젝트 2024.04.09 - [데이터 분석 공부/프로젝트] - 최종 프로젝트 14일차(24.04.09) 최종 프로젝트 14일차(24.04.09) 최종 프로젝트 14일차입니다. 금일은 Review_score 전처리 작업 끝난 데이터셋 통합 전처리 작업 '구' 평균 평점으로 평점 결측치 채우기 Review_count 컬럼값 콤마 & .0 지우기 주소 변경 경사도 추가 GPT eyeoftheworld1209.tistory.com 최종 프로젝트 14일차였습니다. 데이터 전처리, 경사도 추가, gpt api 코드 작성, gpt 프롬프트 작성 등의 작업을 수행했는데요, 자세한 내용은 위 포스팅에 정리해두었습니다.

최종 프로젝트 14일차입니다. 금일은 Review_score 전처리 작업 끝난 데이터셋 통합 전처리 작업 '구' 평균 평점으로 평점 결측치 채우기 Review_count 컬럼값 콤마 & .0 지우기 주소 변경 경사도 추가 GPT API 코드 작성 GPT 프롬프트 고민 를 진행했습니다. Review_score 전처리 작업 끝난 데이터셋 통합 Review_score 결측치 처리 작업이 어제부로 끝났습니다. 전체 파일을 1/4해서 파일 한 개당 팀원 한 명이 붙어서 작업을 했다보니 파일을 다시 통합할 필요가 있었습니다. # 페이지별 데이터셋 불러오기 total_1 = pd.read_csv("N:/개인/DA/Python/크롤링/final_project/after_cleansing/통합본/total_1_after..

최종 프로젝트 2024.04.08 - [데이터 분석 공부/프로젝트] - 최종 프로젝트 13일차(24.04.08) 최종 프로젝트 13일차(24.04.08) 최종 프로젝트 13일차입니다. https://teamsparta.notion.site/29b19ca91bd248539e51ed87ff2d5cd1 전처리 진행 상황 | Notion 네이버 : 은평구, 서대문구(완), 마포구(완), 성북구, 종로구, 중구, 동대문구(완), 강남구(완 eyeoftheworld1209.tistory.com 최종 프로젝트 13일차입니다. 데이터셋 합치기부터 전처리 작업까지 타이트한 일정을 보낸 하루였는데요, 자세한 내용은 위 포스팅에 정리해두었습니다.

최종 프로젝트 2024.04.07 - [데이터 분석 공부/프로젝트] - 최종 프로젝트 11일~12일차(24.04.06~07) 최종 프로젝트 11일~12일차(24.04.06~07) 최종 프로젝트 11일, 12일차입니다. 토요일인 어제와 오늘은 크롤링 작업을 이어나갔습니다. 10일차 포스팅에서 설명했던 리뷰 텍스트 더보기 이슈 관련해서 코드를 수정한 후 크롤링에 소요되는 eyeoftheworld1209.tistory.com 최종 프로젝트 11~12일차입니다. 크롤링 작업 최종적으로 진행했고, 시간 여유가 있어서 전처리 작업 추가적으로 진행했습니다. 자세한 내용은 위 포스팅에 정리해두었습니다.

최종 프로젝트 13일차입니다. https://teamsparta.notion.site/29b19ca91bd248539e51ed87ff2d5cd1 전처리 진행 상황 | Notion 네이버 : 은평구, 서대문구(완), 마포구(완), 성북구, 종로구, 중구, 동대문구(완), 강남구(완) teamsparta.notion.site 금일 진행 사항들인데요, 간략하게 정리하자면 아래와 같습니다. 페이지별 데이터셋 합치고 전처리 작업 진행 Review_text 컬럼 결측치 제거 '시/구' 단위까지만 존재하는 컬럼 삽입 Review_text 컬럼값의 개행을 띄워쓰기로 대체, Store 컬럼값의 띄워쓰기 제거 프랜차이즈 점포 데이터 제거 구별 데이터셋 합치기 플랫폼별 데이터셋 합치기 가게명 통일 Review_score 결..

최종 프로젝트 11일, 12일차입니다. 토요일인 어제와 오늘은 크롤링 작업을 이어나갔습니다. 10일차 포스팅에서 설명했던 리뷰 텍스트 더보기 이슈 관련해서 코드를 수정한 후 크롤링에 소요되는 시간이 훨씬 늘어났는데 1페이지당 3시간 정도 소요됐습니다. * 리뷰 텍스트 더보기 이슈 관련 내용은 아래 포스팅 참고 2024.04.05 - [데이터 분석 공부/프로젝트] - 최종 프로젝트 10일차(24.04.05) 최종 프로젝트 10일차(24.04.05) 최종 프로젝트 10일차입니다. 오전에 팀원들과 어제 못다한 얘기를 가지고서 회의를 진행했습니다. 특성 정하기 Chat GPT 활용한 리뷰 긍/부정 및 특성별 점수 매기기 샘플 테스트 RAG 이야기 주제 eyeoftheworld1209.tistory.com 총 8..

최종 프로젝트 2024.04.05 - [데이터 분석 공부/프로젝트] - 최종 프로젝트 10일차(24.04.05) 최종 프로젝트 10일차(24.04.05) 최종 프로젝트 10일차입니다. 오전에 팀원들과 어제 못다한 얘기를 가지고서 회의를 진행했습니다. 특성 정하기 Chat GPT 활용한 리뷰 긍/부정 및 특성별 점수 매기기 샘플 테스트 RAG 이야기 주제 eyeoftheworld1209.tistory.com 최종 프로젝트 10일차입니다. 금일은 코드 수정 및 튜터님들과의 질의응답 시간을 가졌습니다. 자세한 내용은 위 포스팅에 정리해두었습니다.

최종 프로젝트 10일차입니다. 오전에 팀원들과 어제 못다한 얘기를 가지고서 회의를 진행했습니다. 특성 정하기 Chat GPT 활용한 리뷰 긍/부정 및 특성별 점수 매기기 샘플 테스트 RAG 이야기 주제는 위 세가지였습니다. 1. 특성정하기 특성은 네이버 플레이스에서 확인할 수 있는 특성들을 일부 수정 및 추가해서 사용하기로 했습니다. 2. Chat GPT 활용한 리뷰 긍/부정 및 특성별 점수 매기기 샘플 테스트 아직 API 활용법을 숙지하지 못한 상태였기 때문에 1, 2개 정도의 리뷰를 가지고서 프롬프트 창에 요구사항을 입력하고 결과값을 확인했습니다. 확인 결과 GPT 3.5가 확실히 GP4에 비해 정확도가 떨어졌습니다. 3. RAG (Retrieval-Augmented Generation) 기존 LLM..

최종 프로젝트 2024.04.04 - [데이터 분석 공부/TIL(Today I Learned)] - 최종 프로젝트 9일차(24.04.04) 최종 프로젝트 9일차(24.04.04) 최종 프로젝트 9일차입니다. 금일은 팀원들 각자 완성한 크롤링 코드를 가지고서 팀 회의를 진행했습니다. 아래는 팀 회의 간 논의해야 할 사항들을 정리해놓은 리스트입니다. 1. 데이터셋 관련 eyeoftheworld1209.tistory.com 최종 프로젝트 9일차였습니다. 전일 완성한 크롤링 코드를 가지고서 본격적으로 데이터 수집을 시작했고, 팀원들과 함께 진행 방향에 대한 토의를 진행했으며 담당 튜터님과 함께 Q&A 세션을 가졌습니다. 자세한 내용은 위 포스팅에 정리해두었습니다.

최종 프로젝트 9일차입니다. 금일은 팀원들 각자 완성한 크롤링 코드를 가지고서 팀 회의를 진행했습니다. 아래는 팀 회의 간 논의해야 할 사항들을 정리해놓은 리스트입니다. 1. 데이터셋 관련 1) 크롤링할 '구' 정하기 2) 컬럼 관련 (1) 수정할 것 ㄱ. Address 컬럼 '구'까지만(추가 논의 필요 / '구'만 할지, '서울+구' 까지만 할 지, '서울시'만 할 지) ㄴ. '구'별 Numbering(구에 있는 가게별로 Numbering) ㄷ. 구글 데이터 Rating 컬럼값 NaN으로 정할지 (2) 추가할 것 ㄱ. 특성 컬럼 정하기(네이버 특성 + a) ㄴ. 컬럼 방향 정하기 3) 데이터셋 이름 정하기(jongro_google.csv) 2. 클러스터링 관련 1) 모델링 時 사용 컬럼 정하기 3. 튜..