有人使用Cloudflare的Crawler Hints功能吗？

S

stufversmimou1972

New member
按照他们的描述：爬虫提示为搜索引擎和其他爬虫提供高质量的数据，当使用Cloudflare的网站更改其内容时。这使得爬虫能够精确地定时爬取、避免无用的爬取，并在源站和其他互联网基础设施上降低资源消耗。有人尝试过吗？
 
C

cebabbdebto1981

New member
我试过，据我所知，它会自动将你的链接发送到Bing和Yandex。是的，实际上，在启用后，我的页面在这些搜索引擎上被索引。
 
您必须登录或注册才可回复。
顶部