구글 검색팀 AI 시대를 대비한 Robots.txt 논의 시작

구글 검색팀이 리드하고 있는 AI 업계를 고려한 Robots.txt 표준 개선 논의 진행 이야기. 향후 AI 시대에 대비해서 크롤러봇 표준을 어떻게 개선해야 할지 함께 고민해보면 좋을 것 같습니다. https://open.substack.com/pub/shalomeir/p/ai-next-robotstxt?r=8lmam&utm_campaign=post&utm_medium=web