jaeseokim.github.io/Python/python-Selenium%EC%9D%84-%EC%9D%B4%EC%9A%A9%ED%95%9C-%EC%9B%B9-%ED%81%AC%EB%A1%A4%EB%A7%81-Naver-login-%ED%9B%84-%EA%B5%AC%EB%8F%85-Feed-%ED%81%AC%EB%A1%A4%EB%A7%81/ [python] Selenium을 이용한 웹 크롤링 - Naver login 후 구독 Feed 크롤링 Selenium를 이용하여 naver 구독 Feed를 크롤링 하기 위해서는 일단 Naver Login를 처리해야 하고 그다음 피드 페이지의 내용을 불러와 크롤링을 해야 합니다. 여기서 2가지의 문제가 발생하는 데 일단 Na jaeseokim.github.io Sel..

jaeseokim.github.io/Python/python-Selenium%EC%9D%84-%EC%9D%B4%EC%9A%A9%ED%95%9C-%EC%9B%B9-%ED%81%AC%EB%A1%A4%EB%A7%81-%EA%B0%84%EB%8B%A8-%EC%82%AC%EC%9A%A9%EB%B2%95-%EB%B0%8F-%EC%98%88%EC%A0%9C/ [python] Selenium을 이용한 웹 크롤링 - 간단 사용법 및 예제 Selenium 이란? 다양한 언어에서 웹 드라이버를 통한 웹 자동화 테스트를 지원하는 라이브러리 입니다. 여기서 웹 자동화 테스트에서만 국한 되는 것이 아닌 웹에서 자동화를 통한 다양한 작업을 � jaeseokim.github.io Selenium 이란? 다양한 언어에서 웹 드라이버를..

평소 requests에만 너무 의존을 하는 것 같아 한번 urllib라는 python 기본 제공 라이브러리를 이용해서 크롤링 스크립트를 만들었습니다. 크롤링 대상은 다음 홈페이지의 메인 포털 상단 오른쪽의 지역별 날씨 항목을 가져와 크롤링 했습니다. 아래의 코드에 주석을 달아 두었으니 한번 보시면서 이해하시면 될것 같습니다. from urllib import request, parse, error from bs4 import BeautifulSoup url = 'https://www.daum.net/' #url 선언 response = "" #전역 변수 선언 try: response = request.urlopen(url) #request로 url에 대한 응답값 가져옴 except: print("URL ..