웹크롤링 중 차단 발생, 원인이 뭘까?🤨
웹크롤링을 경험해본 개발자는 무조건적으로 차단을 경험해보았을 것입니다.
내 크롤러는 완벽했는데, 어떤 부분에서 문제가 생긴건지 몰라 답답하셨나요?
아래 포스팅에서는 대표적인 차단 원인을 해법 중심으로 다루었습니다.
[목차]
1. User-Agent를 설정해보자
2. IP 주소를 최대한, 자주 변경한다.
3. 크롤링 속도를 불규칙하게 조절한다.
4. 정확한 파라메터(Parameter) 설정
5. 적절한 예외처리
---
https://blog.hashscraper.com/5-principles-for-bypassing-web-crawling-blocks/