搜索结果

如果你仍然在想为什么你的网站没有被爬取，你可以开始优化你的爬虫预算，特别是如果你有以下类型的网站：1. 电子商务网站 2. 预定 3. 旅游或 MLS 网站，如 Rightmove 或 Zoopla，带有面向用户的导航和多个分类供用户选择。理想的爬取深度应该是小于等于 3。采用这种方法可以帮助提高用户体验，有更高的转化率，因为访问者往往会在最短的时间内找到他们想要的东西。长期而言，也为爬虫索引其他目标/产品页面留出空间，减轻你的爬虫负担。