Python/BeautifulSoup11 [크롤링] 파이썬으로 간단하게 크롤링하기7. (기존 엑셀 파일 OR 새로운 시트에 저장하는 방법) 기존 엑셀 파일에 이어서 저장하는 법첫 페이지 1페이지# step 1 : 새로운 엑셀 파일에 저장하기import requestsfrom bs4 import BeautifulSoupimport pandas as pddata = []for i in range(1, 2): response = requests.get(f"https://startcoding.pythonanywhere.com/basic?page={i}") html = response.text soup = BeautifulSoup(html, 'html.parser') items = soup.select(".product") for item in items: category = item.select_one(".p.. 2024. 10. 11. [크롤링] 파이썬으로 간단하게 크롤링하기 보너스. (문자열 처리 함수) 크롤링을 잘하기위해 반드시 필요한 5가지 문자열 처리 함수 1. 문자열 공백 제거 - strip()2. 문자열 교체 - replace()3. 문자열 자르기 - split()4. 문자열 개수 - count()5. 문자열 찾기 - find()다 아는 내용이지만 한번더 봄으로써 머리속에 넣자 2024. 10. 11. [크롤링] 파이썬으로 간단하게 크롤링하기6. (데이터 엑셀에 저장) https://deahan.tistory.com/423 [크롤링] 파이썬으로 간단하게 크롤링하기5. (여러개 페이지 크롤링 , URL 조작자)https://deahan.tistory.com/422 [크롤링] 파이썬으로 간단하게 크롤링하기4. (여러개 상품 크롤링 하는 법)https://deahan.tistory.com/421 [크롤링] 파이썬으로 간단하게 크롤링하기3. (한개의 상품 크롤링)https:/deahan.tistory.com여기까지 했다면 이번에는크롤링한 데이터를 엑셀에 저장해보자 pandas : 데이터분석 라이브러리openpyxl : 엑셀 자동화 라이브러리 pip install pandaspip install openpyxl 1.비어있는 리스트를 만들고 데이터를 한행씩 추가한다.(data .. 2024. 10. 8. [크롤링] 파이썬으로 간단하게 크롤링하기5. (여러개 페이지 크롤링 , URL 조작자) https://deahan.tistory.com/422 [크롤링] 파이썬으로 간단하게 크롤링하기4. (여러개 상품 크롤링 하는 법)https://deahan.tistory.com/421 [크롤링] 파이썬으로 간단하게 크롤링하기3. (한개의 상품 크롤링)https://deahan.tistory.com/419 [크롤링] 파이썬으로 간단하게 크롤링하기2. (Beautifulsoup4, request라이브러리 사용deahan.tistory.com여러개 상품정보를 가져왓다면 여러개 페이지에 데이터들을 가져와보자 import requestsfrom bs4 import BeautifulSoupfor i in range(1, 5): response = requests.get(f"https://startcoding.. 2024. 10. 8. [크롤링] 파이썬으로 간단하게 크롤링하기4. (여러개 상품 크롤링 하는 법) https://deahan.tistory.com/421 [크롤링] 파이썬으로 간단하게 크롤링하기3. (한개의 상품 크롤링)https://deahan.tistory.com/419 [크롤링] 파이썬으로 간단하게 크롤링하기2. (Beautifulsoup4, request라이브러리 사용법)https://deahan.tistory.com/418 [크롤링] 파이썬으로 간단하게 크롤링하기1. (환경설정)1. 파이deahan.tistory.com여기까지 해보았다면이번엔 여러개 상품 크롤링 하는법에 대해서 알아보자 TIP포레스트이론 : 숲에서 원하는 나무를 선택하고 열매를 따는 과정과 매우 비슷숲 :페이지 전체 HTML나무 :원하는 정보를 모두 담는 태그열매 :원하는 정보 1. 태그를 하나 찾는다.2... 2024. 10. 8. [크롤링] 파이썬으로 간단하게 크롤링하기3. (한개의 상품 크롤링) https://deahan.tistory.com/419 [크롤링] 파이썬으로 간단하게 크롤링하기2. (Beautifulsoup4, request라이브러리 사용법)https://deahan.tistory.com/418 [크롤링] 파이썬으로 간단하게 크롤링하기1. (환경설정)1. 파이썬 설치2. VScode 설치3. VScode 확장 프로그램 및 주피터 노트북 사용 1.파이썬 설치https://www.python.org/downloadsdeahan.tistory.com이렇게 라이브러리 사용법도 알아봤다면이제 한개의 상품을 크롤링 해와보자 개발자 도구로 왼쪽 하나의 노트북 정보를 뺴내와보자 개발자도구가 잘 보이지않아 캡쳐... import requestsfrom bs4 import BeautifulSoup.. 2024. 10. 8. 이전 1 2 다음
