[크롤링] 파이썬으로 간단하게 크롤링하기5. (여러개 페이지 크롤링 , URL 조작자)

https://deahan.tistory.com/422

[크롤링] 파이썬으로 간단하게 크롤링하기4. (여러개 상품 크롤링 하는 법)

여러개 상품정보를 가져왓다면 

여러개 페이지에 데이터들을 가져와보자

 

import requests

from bs4 import BeautifulSoup

for i in range(1, 5):

    response = requests.get(f"https://startcoding.pythonanywhere.com/basic?page={i}")

    html = response.text

    soup = BeautifulSoup(html, 'html.parser')

    items = soup.select(".product")

    for item in items:

        category = item.select_one(".product-category").text

        name = item.select_one(".product-name").text

        link = item.select_one(".product-name > a").attrs['href']

        price = item.select_one(".product-price").text.split('원')[0].replace(',','')

        print(category, name, link,price)

URL에 있는 page 파라미터에 1~5-1 즉 1~4페이지 까지 직접 파라미터를 반복문으로 돌리며 넣어서 가져온다

 

결과는 이즈굿이다

URL에 키워드도 받는다면 파라미터 값에 사용자가 직접 키워드 값을 입력해

데이터를 받아올 수 도 있다