Robots.txt文件的使用和正确写法
2008年11月18日 by admin
大部分seoer对于Robots.txt文件,应该并不陌生。因为在有些情况下,我们并不想让网站的全部内容都让搜索引擎收录。
比如说一些网站后台管理目录、会员隐私信息、没有价值的网页、图片等,我们都不打算让搜索引擎的蜘蛛爬取。
在这种情况下,我们就有必要会用到Robots.txt文件,来与搜索引擎沟通。
具体的方式是通过在网站根目录创建名为:Robots.txt的文件,你就可以阻止蜘蛛来索引网站的某些内容,如动态的搜索结构页面
...