使用Noindex Nofollow Disallow在Robots.txt中的方法

[planamakar1984]

仍在被索引... 有人知道为什么会发生这种情况吗？大概有40,000个客户登录页面被索引，但它们全部都是noindex、nofollow和被机器人阻止的。从2月14日开始就发生了这种情况。G在同一天开始动摇。他们刚刚开始不尊重机器人或标签。任何观点都将不胜感激。

 

[dhochkentbonro1976]

实际上这是你的问题，机器人应该被允许查看页面，否则它无法看到noindex标记。

 

[wildweedbivi1981]

嗯，它仍然以某种方式看到它们，因为它们正在被索引。

 

[malytupea1989]

一旦它们进入索引，删除会需要一些时间。尝试删除一些页面上的disallow规则，并看看它是否起作用。