Python100 [Selenium] 로그인 자동화 프로그램 (캡차 우회) 아래는 코드는 네이버 로그인 캡차를 우회하지 않는 코드이다from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.common.keys import Keysimport timeuser_id = "아이디"user_pw = "비밀번호"# 드라이버 생성driver = webdriver.Chrome()driver.maximize_window()# 1. 로그인 페이지 이동driver.get("https://nid.naver.com/nidlogin.login?mode=form&url=https%3A%2F%2Fwww.naver.com")time.sleep(2)# 2. 아이디 입력id = driver.f.. 2024. 10. 11. [Selenium] 동적 페이지 크롤링 하기! 정적 페이지 : 데이터의 추가적인 변경이 일어나지 않는 페이지동적페이지 : 데이터의 추가적인 변경이 일어나는 페이지 1. 셀레이움을 이용해 웹브라우저로 페이지에 접근2. 자바스크립트가 자동으로 알맹이 채워줌3. 완성된 HTML을 뷰티풀수프로 추출 네이버에서 공지사항 text를 뽑아올것인데.... 아래처럼 실행해보면 아무일도 일어나지 않는다 그이유는# 정적페이지 크롤링 방법으로 불가능import requestsfrom bs4 import BeautifulSoupresponse = requests.get("https://www.naver.com/")html = response.textsoup = BeautifulSoup(html, 'html.parser')soup.select_one("#footer >.. 2024. 10. 11. [Selenium] 셀레니움 기초 사용방법. https://deahan.tistory.com/459 [Selenium] 환경설정 및 기본셋팅1. 파이썬 설치2. VScode 설치3. VScode 확장 프로그램 및 주피터 노트북 사용 1.파이썬 설치https://www.python.org/downloads/ Download PythonThe official home of the Python Programming Languagewww.python.org 현재 python 3.deahan.tistory.com기본 환경설정을 마쳤다면... 다음 기초 사용방법에 대해 알아보자 selenium : 웹사이트 자동화 및 테스트를 위한 도구 selenium 활용예시-웹사이트 로그인 자동-컨텐츠 업로드 자동화-좋아요 자동으로 누르기-쪽지 자동으로 보내기-예약 매.. 2024. 10. 11. [크롤링] 파이썬으로 간단하게 크롤링하기7. (기존 엑셀 파일 OR 새로운 시트에 저장하는 방법) 기존 엑셀 파일에 이어서 저장하는 법첫 페이지 1페이지# step 1 : 새로운 엑셀 파일에 저장하기import requestsfrom bs4 import BeautifulSoupimport pandas as pddata = []for i in range(1, 2): response = requests.get(f"https://startcoding.pythonanywhere.com/basic?page={i}") html = response.text soup = BeautifulSoup(html, 'html.parser') items = soup.select(".product") for item in items: category = item.select_one(".p.. 2024. 10. 11. [크롤링] 파이썬으로 간단하게 크롤링하기 보너스. (문자열 처리 함수) 크롤링을 잘하기위해 반드시 필요한 5가지 문자열 처리 함수 1. 문자열 공백 제거 - strip()2. 문자열 교체 - replace()3. 문자열 자르기 - split()4. 문자열 개수 - count()5. 문자열 찾기 - find()다 아는 내용이지만 한번더 봄으로써 머리속에 넣자 2024. 10. 11. [크롤링] 파이썬으로 간단하게 크롤링하기6. (데이터 엑셀에 저장) https://deahan.tistory.com/423 [크롤링] 파이썬으로 간단하게 크롤링하기5. (여러개 페이지 크롤링 , URL 조작자)https://deahan.tistory.com/422 [크롤링] 파이썬으로 간단하게 크롤링하기4. (여러개 상품 크롤링 하는 법)https://deahan.tistory.com/421 [크롤링] 파이썬으로 간단하게 크롤링하기3. (한개의 상품 크롤링)https:/deahan.tistory.com여기까지 했다면 이번에는크롤링한 데이터를 엑셀에 저장해보자 pandas : 데이터분석 라이브러리openpyxl : 엑셀 자동화 라이브러리 pip install pandaspip install openpyxl 1.비어있는 리스트를 만들고 데이터를 한행씩 추가한다.(data .. 2024. 10. 8. 이전 1 2 3 4 5 ··· 17 다음
