가끔 facebookexternalhit 로봇이 들어와서 사이트를 긁어가는데 1초에 수십회 요청을 보냅니다. 그럼 사이트가 다운돼요. 서버 성능이 그리 좋지 못하기 때문인데요.
페이스북은 대체 왜 이러는 거죠?
더 많은 콘텐츠를 보고 싶다면?
이미 회원이신가요?
2024년 7월 7일 오전 6:45
1. robots.txt 는 봇들에게 사이트 접근정보를 제공합니다. 2. facebook bot의 User-agent는 facebookexternalhit 입니다. 3. 두 정보를 조합하여 facebook bot이 작업을 하지 않도록 할 수 있지 않을까요??
@lepffm 안녕하세요 ☺️ 조언 감사합니다 그런데 페이스북이 robots.txt는 무시하더라고요 🥲 그래서 라라벨의 스로틀링 기능을 이용해서 제한을 걸어볼까 하고 있습니다. 의견 주셔서 감사합니다. 🙏
@lepffm 대신 crawl-delay를 주는 방법이 있네요. 출처: https://developers.facebook.com/docs/sharing/bot/