자바스크립트로 이루어진 페이지 또는 영역을 크롤링하려면, 해당 페이지의 url을 알아야 하는데요,
자바스크립트 페이지의 url을 알아내는 방법은 F12를 누른 뒤 [Network] 탭에서 "XHR" 또는 "JS" 버튼을 누르며 보이는 항목들을 클릭해보면서 찾아야 합니다.
아래 페이지는 네이버 금융 페이지에서, [Network] 탭의 "XHR" 을 눌렀을 때 보이는 화면입니다.
아래 각 항목을 누르면 어느 영역을 나타내는 항목인지 가늠할 수 있는데요, 원하는 항목을 찾으면 오른쪽 "Headers"에서 "Request URL" 부분을 복사하면 됩니다.
한 URL 을 골라서 주소창에 입력해본 결과 아래와 같은 페이지를 확인할 수 있습니다.
따라서 이와 같이 해당 url을 찾으면 이제 이 url을 자신의 코드에 입력해서 해당 스크립트를 가져와 크롤링하면 됩니다.
'BLOG > 웹크롤링' 카테고리의 다른 글
[웹크롤링] 자바스크립트로 이루어진 페이지와 html로 이루어진 페이지를 크롤링 하는 코드가 다른가요? (1) | 2021.03.19 |
---|---|
[웹크롤링] 자바 스크립트로 이루어진 페이지, json 형식으로 불러오는 방법은? (0) | 2021.03.19 |
[웹크롤링] 자바스크립트 비활성 하는 방법 (0) | 2021.03.19 |
[웹크롤링] 'title', 'src', 'href' 속성에 있는 텍스트 크롤링하기 (0) | 2021.03.19 |
[웹크롤링] 동일한 이름의 여러 태그 중 두 번째 태그 찾는 방법 (0) | 2021.03.19 |