2016已经过去,2017新规划,新目标!

标签:robots

WEB服务器

总结robots.txt文件在网站中设置

总结robots.txt文件在网站中设置
摘要 robots.txt文件是每一个搜索引擎蜘蛛到你的网站之后要寻找和访问的第一个文件,robots.txt是你对搜索引擎制定的一个如何索引你的网站的规则。通过该文件,搜索引擎就可以知道在你的网站中哪些文件是可以被索引的,哪些文件是被拒绝...

Txun 1年前 (2016-08-23) 165阅读 0评论 0喜欢