구글봇 크롤링 버젯은 어떻게 책정되는 건가요?

크롤링 버젯은 구글봇이 하루에 볼 수 있는 책의 페이지(페이지나 URL) 수라고 생각하면 됩니다. - 구글봇은 다음 두 가지 요소에 따라 크롤링 버젯을 결정합니다 1. 책을 보는 데 걸리는 시간(크롤 속도 제한): 책의 글씨가 작거나, 그림이 많거나, 잘못된 글씨가 있으면 구글봇은 책을 보는 데 오래 걸립니다. 그래서 하루에 볼 수 있는 페이지 수가 줄어듭니다. 2. 책을 보고 싶어하는 정도 (크롤 수요): 구글봇은 다른 사람들이 많이 읽거나 자주 바뀌는 책을 더 보고 싶어합니다. 그래서 그런 책의 페이지 수를 더 많이 봅니다. (도메인 권한, 백링크, 사이트 속도, 크롤 에러, 랜딩 페이지의 개수 등이 영향을 줍니다.) - 구글봇은 다음과 같은 방법으로 크롤링 버젯을 책정합니다. 1. 구글봇은 책장에서 원하는 책을 찾기 위해 목차와 북마크를 확인합니다. 목차와 북마크가 잘 정리되어 있으면 구글봇은 원하는 페이지를 빨리 찾아갑니다. (서버가 느리거나 오류가 많으면 구글봇은 크롤 속도를 낮춥니다.) 2. 구글봇은 한 번에 너무 많은 책을 가져가면 다른 사람들이 볼 수 없으니까 조금씩 가져갑니다. 만약 한 번에 너무 많은 페이지를 가져가려고 하면 구글봇은 다음 날부터 덜 가져갑니다. 참고 홈페이지 입니다. - https://setupad.com/blog/crawl-budget/ - https://www.oncrawl.com/technical-seo/googles-crawl-budget-optimization/ - https://www.oncrawl.com/technical-seo/googles-crawl-budget-optimization/ - https://seosly.com/blog/crawl-budget-optimization/ - https://developers.google.com/search/docs/crawling-indexing/large-site-managing-crawl-budget?hl=ko - https://webmasters.googleblog.com/2017/01/what-crawl-budget-means-for-googlebot.html 이 내용이 맞을 까요?? 저도 잘 모르지만 적어봤습니다.

안녕하세요! 크롤링 버젯이 어떻게 책정되는지 정확하게 공개된 자료는 없는 것으로 알고 있는데요. 대략적인 가이드는 공식문서도 있고 다른 기술블로그들도 많은 것으로 알고 있어요. 위에 장익순님이 첨부해주신 구글 문서를 읽어보시면 도움이 되실 것 같습니다. - https://developers.google.com/search/docs/crawling-indexing/large-site-managing-crawl-budget?hl=ko 크게 "크롤링 용량 한도"와 "크롤링 수요"에 의해서 책정된다고 설명하고 있네요.