[Python] 파이썬 웹 크롤링 - 셀레니움으로 웹 크롤링 해보기!

컴퓨터를 키면 항상 메일을 확인 하는 습관이 있는데,

 

여러 메일 계정을 사용하면서 일일이 다 메일을 찾아보기 엔 너무 버거웠다.

 

그래 모든 메일을 통합 시켜 하나의 웹 또는 앱으로 메일을 볼 수 있다면 얼마나 좋을까?

 

라는 막연한 생각으로 메일 크롤링부터 시작해보았다.

 

 

사용 언어: Python

사용 편집기: Pycharm

 

---

 

먼저 파이썬에서 웹을 크롤링하는 방법은 두 가지가 존재하는데, 바로 BeautifulSoup과 Selenium 이다.

 

 

BeautifulSoup

- html이나 xml파일에서 데이터를 추출하는 라이브러리

Selenium 

- 웹 동작을 하고 동적 크롤링에 효과적으로 수행하는 라이브러리

 

 

나는 각 메일 사이트에 로그인하여 메일을 실시간으로 크롤링 하기 위해 Selenium을 택하였다.

 

셀레니움 설치하기

pip install selenium

 

1. pip또는 conda 명령어를 사용해 라이브러리를 설치 해준다.

 

 

2. 각자 크롬 버전에 맞는 크롬드라이버를 설치 해준다.

링크: https://chromedriver.chromium.org/downloads

 

 

셀레니움 사용하기

from selenium import webdriver

driver = webdriver.Chrome('./chromedriver.exe')  // 설치한 크롬드라이버 경로

 

driver.get('www.naver.com')

 

 

driver.get() 메소드를 사용해 지정한 주소를 입력하면 크롬창으로 해당 주소가 나타나는 것을 볼 수있다.

 

 

 

 

 

Git 주소:

https://github.com/m3k0813/web-crawling