본문 바로가기
Python/파이썬 크롤링

쿠팡 리뷰 크롤링 뚫는 법

by 잉나영 2024. 6. 7.
반응형

안녕하세요 오늘은 쿠팡 리뷰 크롤링을 뚫어보겠습니다. 

원래 같은 경우 쿠팡의 크롤링이 막혀있는 부분이 많았는데 생각보다 쉬운 방법으로 쿠팡 리뷰를 크롤링 할 수 있게 되었습니다. 

 

원래의 쿠팡 웹으로 들어간 경우 위의 사진처럼 상품평이 떠서 리뷰를 찾아올 수 있는데,

봇을 이용한 크롬으로 들어가게 될 경우에는 상품평이 뜨지 않는 상태를 볼 수 있습니다. 

 

import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup as bs
import pandas as pd

options = webdriver.ChromeOptions()
options.add_argument("--start-maximized")  
options.add_argument("--disable-blink-features=AutomationControlled")

# 크롬 드라이버 로드
driver = webdriver.Chrome(options=options)

하지만 아래의 options을 줘서 시작시 최대화면으로 키워주기, 웹처럼 바꿔주는 코드를 이용하여 쿠팡을 뚫을 수 있게 되었습니다.

 

여러분들도 쿠팡 리뷰 크롤링에 성공해보세요.

반응형

'Python > 파이썬 크롤링' 카테고리의 다른 글

쿠팡 크롤링  (0) 2024.06.04
올리브영 크롤링 하기  (1) 2024.06.02
글로우픽 크롤링  (0) 2024.05.29
[네이버 뉴스] 크롤링 하는 방법  (0) 2024.05.08