Python/파이썬 크롤링5 쿠팡 리뷰 크롤링 뚫는 법 안녕하세요 오늘은 쿠팡 리뷰 크롤링을 뚫어보겠습니다. 원래 같은 경우 쿠팡의 크롤링이 막혀있는 부분이 많았는데 생각보다 쉬운 방법으로 쿠팡 리뷰를 크롤링 할 수 있게 되었습니다. 원래의 쿠팡 웹으로 들어간 경우 위의 사진처럼 상품평이 떠서 리뷰를 찾아올 수 있는데,봇을 이용한 크롬으로 들어가게 될 경우에는 상품평이 뜨지 않는 상태를 볼 수 있습니다. import timefrom selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions a.. 2024. 6. 7. 쿠팡 크롤링 쿠팡 크롤링을 해보려고 한다. 쿠팡에 있는 크림 제품 중 로켓배송만 선택하였고, 기말 프로젝트 때 사용할 상품명과 가격, 리뷰수를 크롤링해보겠다. 모든 크롤링 프로젝트는 다음 기말 때 사용할 데이터를 수집하는 과정이라고 보면 될 것 같다. 1. 라이브러리 불러오기# 라이브러리 불러오기from selenium import webdriver # 브라우저 자동화를 위한 모듈import requests # HTTP 요청을 보내기 위한 모듈from bs4 import BeautifulSoup as bs # HTML 내용 파싱을 위한 모듈import pandas as pd # 데이터 조작 및 분석을 모듈import time # 코드 실행 속도 조절을 위한 모듈import re # 정규 표현식 사용을 위한 모듈imp.. 2024. 6. 4. 올리브영 크롤링 하기 올리브영 가격과 리뷰수 분석을 위해 크롤링을 시작하게 되었다.기본적인 라이브러리를 다 불러오고 시작을 해보겠다. 0. 라이브러리 불러오기 # 라이브러리 불러오기from selenium import webdriver # 브라우저 자동화를 위한 모듈import requests # HTTP 요청을 보내기 위한 모듈from bs4 import BeautifulSoup as bs # HTML 내용 파싱을 위한 모듈import pandas as pd # 데이터 조작 및 분석을 모듈import time # 코드 실행 속도 조절을 위한 모듈import re # 정규 표현식 사용을 위한 모듈import pickle # 파이썬 객체 직렬화를 위한 모듈from selenium.webdriver.common.by import.. 2024. 6. 2. 글로우픽 크롤링 이번 기말 프로젝트를 위해 글로우픽에 있는 크림 리뷰순 top20을 크롤링 해보았다. 일단 시작하기 전 필요한 라이브러리를 불러온다.# 라이브러리 불러오기from selenium import webdriver # 브라우저 자동화를 위한 모듈import requests # HTTP 요청을 보내기 위한 모듈from bs4 import BeautifulSoup as bs # HTML 내용 파싱을 위한 모듈import pandas as pd # 데이터 조작 및 분석을 모듈import time # 코드 실행 속도 조절을 위한 모듈import re # 정규 표현식 사용을 위한 모듈import pickle # 파이썬 객체 직렬화를 위한 모듈from selenium.webdriver.common.by import B.. 2024. 5. 29. [네이버 뉴스] 크롤링 하는 방법 네이버 뉴스 크롤링주제 : 벚꽃 개화기간 : 24.03.01-24.04.30 1. 크롤링 하기 전 모듈 세팅 2. 크롬 드라이버 실행하기빈 크롬 화면이 뜰 것이다. 3. 크롤링 검색어 기간 설정 4. 스크롤 내리기 함수 정의 4-1 무한일 때 *주의점 : 무한으로 내려가기 때문에 다 돌린 후 정지를 눌러줘야함 4-2 개수 제한을 걸 때 5. 제목과 URL 리스트 초기화 6. 크롤링 시작 7. 데이터를 데이터 프레임으로 전환 8. pickle 타입으로 저장 9. 크롬 드라이버 종료 10. 저장한 pickle 타입 불러오기 11. csv 파일로 저장하기 2024. 5. 8. 이전 1 다음
