通过优化爬行深度，将爬取能力提高25%。

[ywzisresupp1979]

如果你仍然在想为什么你的网站没有被爬取，你可以开始优化你的爬虫预算，特别是如果你有以下类型的网站：1. 电子商务网站 2. 预定 3. 旅游或 MLS 网站，如 Rightmove 或 Zoopla，带有面向用户的导航和多个分类供用户选择。理想的爬取深度应该是小于等于 3。采用这种方法可以帮助提高用户体验，有更高的转化率，因为访问者往往会在最短的时间内找到他们想要的东西。长期而言，也为爬虫索引其他目标/产品页面留出空间，减轻你的爬虫负担。

 

[reugaltaysa1973]

我之前没有拥有任何电子商务商店，但这看起来很酷不错。

 

[fotinlicirc1976]

这可以应用/审计用于任何使用面向用户导航的网站。