[웹크롤링] selenium 설치 & 사용 방법 (웹 크롤링 실행 코드)

1. selenium 설치하기

selenium은 웹 크롤러를 만드는데 도와주는 라이브러리로, 사람을 대신해서 주어진 작업을 하는데요,

예를 들어, 크롤링할 명령을 입력하면 사람 대신 직접 페이지를 열고, 지정한 태그 등을 찾아서 데이터를 수집해줍니다.

 

이러한 selenium 라이브러리는 cmd 창에서 pip install selenium 을 통해 패키지를 설치할 수 있습니다.

 

 

2. 웹 브라우저 프로그램 설치하기

selenium을 설치했다면 selenium 패키지가 사용할 웹 브라우저 프로그램을 설치해야 한답니다.

주로 크롬이 만힝 사용되는데요, 크롬은 selenium이 사용하는 프로그램과 다르기 때문에 크롬 드라이버를 설치해야 합니다. 이때 설치한 폴더의 위치와 이름을 기억해야 하는데요, 왜냐하면 웹크롤링 코드를 작성할 때, 해당 위치를 변수로 입력해주어야 하기 때문입니다.

 

한편, 크롬 드라이버는 sites.google.com/a/chromium.org./chromedriver/downloadschromedriver.chromium.org/downloads 에서 다운받을 수 있는데요, 사이트에 접속하면 크롬 드라이버 버전이 굉장히 많은 것을 볼 수 있습니다.

그중에서도 2.40 버전은 검증된 버전 중에 하나라서 2.40 버전을 사용해도 큰 문제는 없습니다. 또는 자신의 크롬 버전과 일치하게 설치해도 된답니다.

 

 

3. 웹 크롤링 실행 코드

이렇게 모두 설치가 완료되었다면 웹 크롤링이 잘 되는지 확인해봐야 하는데요,

아래 코드를 실행해보시기 바랍니다.

 

from bs4 import BeautifulSoup     
from selenium import webdriver

path = "c:/temp/chromedriver_240/chromedriver.exe"   ###자신의 chomedriver의 경로 위치
driver = webdriver.Chrome(path)

driver.get("https://naver.com")

 

코드 실행 후, 새로운 크롬 창에 네이버 홈페이지 화면이 나온다면 잘 수행된 것입니다.

이후에 태그를 이용하여 수행할 명령어를 입력하면 된답니다.