서윤로그

다나와 크롤링 예제 — 공기청정기 인기 제품리뷰 수집하기✅  이전 단계가 궁금하다면,  (이전포스팅) 다나와 제품정보 크롤링하기!  0️⃣  이전 포스팅에서 크롤링했던 제품정보들을 가지고 와서 살펴보겠습니다.피클파일로 저장했던 데이터프레임을 그대로 가져와서, dtypes로 데이터타입까지 잘 가져와졌는지 점검합니다.수치데이터가 들어간 칼럼들은 float 혹은 int로 잘 저장되어 왔네요.1️⃣  제품별 상세페이지로 들어간 다음, 리뷰 페이지를 넘기면서 크롤링해오려고 합니다.제품별로 상세페이지 URL을 수집했었죠! 이제 이 URL에 순서대로 접속해서 리뷰를 크롤링해오겠습니다.상세페이지 URL 접속 → 상품리뷰로 이동 → 리뷰 페이지 넘기면서 → 페이지 소스 가져오기 흐름으로 구성해볼게요.일단 맨 첫번째 제품..

이렇게 어그로 끄는 제목으로 후기를 쓸 수 있게 될줄이야 아직도 감회가 새롭다!!시험일은 24. 06. 02 일요일, 난이도 5-5 로 응시했다. 오늘 성적확인한 결과 IH 성공!  ✅  시험 준비하기 전 본인 영어 프로필 간단요약공대 졸업약 5년 전 토익 865점영어스피킹 학원, 공부 경험 X유학, 어학연수, 워홀 경험 X암튼 영어 듣고 읽는건 가능해도 말하는 건 어려운 수준이 상태로 학원 안다니고 그냥 독학했음, 목표는 많이 안바라고 IM2 이상 ✅  오픽 시험 준비한 이유무엇보다.. 삼성 계열사를 노린다면 오픽 IM 이상이 필수다.취준할 땐 어쩌다보니 영어시험 보기도 전에 최합이 되어서 여태 영어점수가 없었다.그러나 이직과 승진을 위해 스피킹 성적이 필수인 시대.. 피할 수 없다..토익스피킹은 외워..

피클파일 저장하고 불러오는 방법 간단하게 정리 ✅ pickle은 객체 자체를 "원래형태 그대로" 저장하고 불러올 수 있게 해주는 라이브러리입니다.리스트는 리스트 그대로 저장할 수 있고, 데이터프레임은 데이터프레임 그대로 저장할 수 있다는 의미입니다!뿐만 아니라 변수, 함수, 클래스까지 피클파일로 저장하고 불러올 수 있습니다.저장하고 불러올 때마다 변환할 필요가 없으니, 빠르고 간편해서 유용합니다.이렇게 형태 그대로 저장하고 불러올 수 있는 것은 객체를 바이너리 형태 즉, 이진수로 이루어진 파일로 만들기 때문이라네요.때문에 피클파일 자체를 열어도 인간이 이해할 수는 없습니다.. 파이썬에서 피클파일을 객체로 불러와야 알아볼 수 있어요. 1️⃣ pickle파일 저장하기pickle.dump(저장할 객체, ope..

다나와 크롤링 예제 — 공기청정기 인기3사 제품정보 수집하기✅  셀레니움, 크롬드라이버 설치 전이거나 기본 사용법을 익히기 전이라면, 설치 완료하기! 기본 사용법 익혀보기!  0️⃣  다나와에서 [공기청정기] 카테고리만 선택해서 크롤링해볼게요.다나와는 친절하게도 카테고리별 URL을 따로 챙겨주시네요.이걸 복사해와서 driver.get(url) 안에 넣겠습니다. 아래 코드를 실행하면 다나와 공기청정기 카테고리로 이동합니다.# 필요한 패키지 가져오기from selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsfrom selenium.webdriver.common.keys import Keysfrom selenium.we..

셀레니움 주요 클래스별 메소드 ✔️ webdriver: 브라우저 제어 클래스.브라우저 인스턴스를 생성하고 제어함. webdriver.Chrome(), webdriver.Firefox(), webdriver.Safari(), webdriver.Edge(): 브라우저 설정.get(url): 특정 URL로 이동.close(): 현재 브라우저 창 닫기.quit(): 모든 브라우저 창 닫고 WebDriver 종료.find_element(by, value): 단일 요소 찾기.find_elements(by, value): 여러 요소 찾기.save_screenshot(filename): 페이지 스크린샷 저장.✔️ WebElement: 웹 페이지 요소와 상호작용할 때 사용하는 클래스.click(): 요소 클릭.send_..

크롤링 준비하기 — 크롬드라이버에서 구글검색 시켜보기!0️⃣  셀레니움과 크롬드라이버를 설치하기 전이라면,  버전에 맞는 크롬드라이버, 셀레니움까지 설치 완료하기!   1️⃣  파이썬에서 셀레니움, 크롬드라이버 불러와서 실행시키기아래 코드들을 진행시키면 크롬드라이버가 실행되고, 아래 이미지처럼 빈 크롬창이 하나 새로 켜집니다. 이제 클릭이나 입력 등등 이것저것 시키면, 이 창은 제가 직접 손대지 않아도 자기가 알아서 움직입니다.크롤링하려면 먼저 가져와야 하는 Selenium 모듈들이 있습니다.(1) webdriver : 크롬 가상 드라이버 실행을 위해 필수!(2) By : 실제 페이지 내용을 긁어올때, 이름으로 찾을지 ID로 찾을지 등등.. 찾는 수단(by)을 정할 때 필요한 모듈이에요.(3) Keys ..

아나콘다 프롬프트에서 pip 최신버전으로 업데이트하기! 📍 pip 은 파이썬에서 모듈 설치할때 꼭 쓰게되는 패키지! 최신버전으로 유지해주는 게 좋다! 1️⃣ 아나콘다 프롬프트 Anaconda Prompt 실행하기2️⃣ 아나콘다3 폴더로 이동하기 : cd anaconda33️⃣ 파이썬에서 pip 업그레이드하기 : python -m pip install --upgrade pip cd anaconda3python -m pip install --upgrade pip

아나콘다 설치 — 파이썬, 주피터노트북 설치까지 한번에 끝내기! 📍오랜만에 아나콘다를 설치하려니 예전이랑 달라진 것 같아 24년버전으로 박제1️⃣ 아나콘다 홈페이지 접속: https://www.anaconda.com/download Download Anaconda Distribution | AnacondaDownload Anaconda's open-source Distribution today. Discover the easiest way to perform Python/R data science and machine learning on a single machine.www.anaconda.com  2️⃣ 오른쪽 상단 [Free Download]를 누르면, 아래와 같이 이메일을 입력하라는 화면이 나옵..