반응형
안녕하세요 오늘은 쿠팡 리뷰 크롤링을 뚫어보겠습니다.
원래 같은 경우 쿠팡의 크롤링이 막혀있는 부분이 많았는데 생각보다 쉬운 방법으로 쿠팡 리뷰를 크롤링 할 수 있게 되었습니다.
원래의 쿠팡 웹으로 들어간 경우 위의 사진처럼 상품평이 떠서 리뷰를 찾아올 수 있는데,
봇을 이용한 크롬으로 들어가게 될 경우에는 상품평이 뜨지 않는 상태를 볼 수 있습니다.
import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup as bs
import pandas as pd
options = webdriver.ChromeOptions()
options.add_argument("--start-maximized")
options.add_argument("--disable-blink-features=AutomationControlled")
# 크롬 드라이버 로드
driver = webdriver.Chrome(options=options)
하지만 아래의 options을 줘서 시작시 최대화면으로 키워주기, 웹처럼 바꿔주는 코드를 이용하여 쿠팡을 뚫을 수 있게 되었습니다.
여러분들도 쿠팡 리뷰 크롤링에 성공해보세요.
반응형
'Python > 파이썬 크롤링' 카테고리의 다른 글
쿠팡 크롤링 (0) | 2024.06.04 |
---|---|
올리브영 크롤링 하기 (1) | 2024.06.02 |
글로우픽 크롤링 (0) | 2024.05.29 |
[네이버 뉴스] 크롤링 하는 방법 (0) | 2024.05.08 |