[크롤링] 파이썬으로 간단하게 크롤링하기3. (한개의 상품 크롤링)

 

 

https://deahan.tistory.com/419

[크롤링] 파이썬으로 간단하게 크롤링하기2. (Beautifulsoup4, request라이브러리 사용법)

이렇게 라이브러리 사용법도 알아봤다면

이제 한개의 상품을 크롤링 해와보자

 

개발자 도구로 왼쪽 하나의 노트북 정보를 뺴내와보자

 

개발자도구가 잘 보이지않아 캡쳐...

 

import requests

from bs4 import BeautifulSoup

response = requests.get("https://startcoding.pythonanywhere.com/basic")

html = response.text

soup = BeautifulSoup(html, 'html.parser')

category = soup.select_one(".product-category").text 

name = soup.select_one(".product-name").text

link = soup.select_one(".product-name > a").attrs['href']

price = soup.select_one(".product-price").text.strip().replace(",",'').replace('원','')

print(category, name, link,price)

 

설명

.product-category 에서 노트북이라는 카테고리 텍스트 가져옴

.product-name 에서  에이서 스위프트 GO 16 OLED, 스틸 그레이, 코어i7, 512GB,..... 정보 텍스트 가져옴

.product-name > a 에서 속성값 href 값  #product1_detail.html 가져옴

.product-price 에서 1,419,000원 가져와서 strip()앞뒤공백 제거  replace로 ','와 '원' 을 공백으로 제거

 

결과 원하는 데이터들을 잘 크롤링 해왔다.

초간단하니 너무 좋다...