멋쟁이사자처럼 후기 + 일은 간편해지고 수익은 성장하는 자동화 스킬 : 파이썬부터 Chat GPT 까지

📆 DAY39

4. 까다로운 사이트에서의 웹 크롤링
(2) selenium 모듈 장단점

 

<장점>

- 코드 작성하기가 직관적이고 재밌음 -> 순서대로 명령하기만 하면 됨, 실행하는 모습이 화면에 보여짐

- 크롤링을 못하는 곳이 없음

 

<단점>

- 속도가 많이 느림 -> requests + bs4보다 약 10배 ~ 20배 느림

- time.sleep() 문제 -> 해당 코드를 어디에 넣어줄지, 몇 초의 시간을 넣어주어야할지 고민해야함

 

<selenium 모듈을 쓰는 경우>

- request + bs4로 실행해보기

-> 만일 실행 결과가 의도한대로 나오지 않거나 에러가 뜨는 경우

-> 크롤링이 까다로운 사이트이므로 selenium 모듈 사용

(페이지마다 링크가 다르지 않을 때)

 

 

더 알고 싶은 점

- selenium의 명시적 대기 vs 암묵적 대기

- 명시적 대기 : 코드 내에서 특정 조건이 충족될 때까지 기다리도록 정의

- 암묵적 대기 : WebDriver가 즉시 사용 가능하지 않은 요소를 찾을 때 DOM을 일정 시간동안 폴링

https://wise-office-worker.tistory.com/42

Selenium Waits Explicit Implicit 명시적대기 암묵적대기

 

 

느낀 점

어제 강의를 들으면서 selenium과 request + bs4의 차이점에 대해 나름대로 조사를 해보았는데, 오늘 정확히 그 부분에 관련된 강의가 나와서 더 흥미롭게 수강했다. 크롤링 속도가 현저히 차이나는 것은 몰랐었기 때문에, 크롤링이 까다롭지 않다면 selenium보다 request + bs4를 사용하는 게 훨씬 낫다는 것은 이번 강의를 통해 알게 되었다. 처음에는 어떤 방법을 사용하여야하는지 알기 위해 일단 request + bs4를 해보고 결과를 봐라는 점이 단순하게 느껴졌는데, 오히려 그게 가장 효율적인 방법이라는 사실이 약간의 충격을 가져다주었다. 두 방식을 언제 사용하는지 완벽히 구별하기가 까다롭구나라는 생각도 들었다.