본문 바로가기

멘토410

[Selenium] 로그인 자동화 프로그램 (캡차 우회) 아래는 코드는 네이버 로그인 캡차를 우회하지 않는 코드이다from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.common.keys import Keysimport timeuser_id = "아이디"user_pw = "비밀번호"# 드라이버 생성driver = webdriver.Chrome()driver.maximize_window()# 1. 로그인 페이지 이동driver.get("https://nid.naver.com/nidlogin.login?mode=form&url=https%3A%2F%2Fwww.naver.com")time.sleep(2)# 2. 아이디 입력id = driver.f.. 2024. 10. 11.
[Selenium] 동적 페이지 크롤링 하기! 정적 페이지 : 데이터의 추가적인 변경이 일어나지 않는 페이지동적페이지 : 데이터의 추가적인 변경이 일어나는 페이지   1. 셀레이움을 이용해 웹브라우저로 페이지에 접근2. 자바스크립트가 자동으로 알맹이 채워줌3. 완성된 HTML을 뷰티풀수프로 추출 네이버에서 공지사항 text를 뽑아올것인데....  아래처럼 실행해보면 아무일도 일어나지 않는다 그이유는# 정적페이지 크롤링 방법으로 불가능import requestsfrom bs4 import BeautifulSoupresponse = requests.get("https://www.naver.com/")html = response.textsoup = BeautifulSoup(html, 'html.parser')soup.select_one("#footer >.. 2024. 10. 11.
[Selenium] 셀레니움 기초 사용방법. selenium : 웹사이트 자동화 및 테스트를 위한 도구 selenium 활용예시-웹사이트 로그인 자동-컨텐츠 업로드 자동화-좋아요 자동으로 누르기-쪽지 자동으로 보내기-예약 매크로-메일 자동으로 보내기 selenium 라이브러리 설치pip install selenium selenium 기본 템플릿은 아래와 같다 복붙해서 사용하자 from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.common.keys import Keys# 준비물 : 크롬 드라이버를 다운받기 위해서는 크롬 브라우저가 깔려 있어야함# 크롬 드라이버(크롬을 제어하는 도구) 생성 driver = webdriver.Chr.. 2024. 10. 11.
[크롤링] 파이썬으로 간단하게 크롤링하기7. (기존 엑셀 파일 OR 새로운 시트에 저장하는 방법) 기존 엑셀 파일에 이어서 저장하는 법첫 페이지 1페이지# step 1 : 새로운 엑셀 파일에 저장하기import requestsfrom bs4 import BeautifulSoupimport pandas as pddata = []for i in range(1, 2):    response = requests.get(f"https://startcoding.pythonanywhere.com/basic?page={i}")    html = response.text    soup = BeautifulSoup(html, 'html.parser')    items = soup.select(".product")    for item in items:        category = item.select_one(".p.. 2024. 10. 11.
[크롤링] 파이썬으로 간단하게 크롤링하기 보너스. (문자열 처리 함수) 크롤링을 잘하기위해 반드시 필요한 5가지 문자열 처리 함수 1. 문자열 공백 제거 - strip()2. 문자열 교체 - replace()3. 문자열 자르기 - split()4. 문자열 개수 - count()5. 문자열 찾기 - find()​다 아는 내용이지만 한번더 봄으로써 머리속에 넣자 2024. 10. 11.
[React] 272샘의 React13 ( useEffect Hook ) https://deahan.tistory.com/432 [React] 272샘의 React12 ( useRef Hook )https://deahan.tistory.com/431 [React] 272샘의 React11 ( useState Hook )https://deahan.tistory.com/430 [React] 272샘의 React10 ( 레이아웃, children )https://deahan.tistory.com/429 [React] 272샘의 React9 ( Props 구조 분해 )https://deahan.tideahan.tistory.com까지 아니 벌써 다 읽었다면,12(12개월)는 소우주를 60(환갑)은 대우주를 경험한 것이니, 이제당신의 손가락은  뇌의  간헐적 도움만으로도 화면을 지배할.. 2024. 10. 11.

티스토리툴바