有时候我们在网站建设的前期忘了写robots.txt文件，但是很多不想被收录到搜索引擎中的内容都被收录了。这时候我们会发现，似乎时间久了，就不希望收录的页面被收录了。robots要多久才能生效？宿州网站优化的小编来和大家一起来看看吧！

　　百度李曾在公开场合表示，不同的站点略有不同，但一般过几天就会生效。

　　事实上，我们可以想象robots生效的过程：

　　1.蜘蛛发现robots文件被修改，并将信息传回

　　2.分析修改前后的robots文件

　　3.删除不允许包含的索引数据

　　在这个过程中还会有一些其他的步骤。但由于蜘蛛爬行频率和网站权重(网站的重要性)不同，蜘蛛发现robots的延时变化或处理优先级不同，最终结果是robots的有效时间不同。

　　通过以上宿州网站优化小编的分析，我们可以得出结论，robots的有效时间是不确定的。如果你的robots在改变后很长一段时间都没有发挥作用，你可以去这里投诉：tousu.baidu.com