robots文件怎么设置呢？其实大家都知道robots文件是干什么用的。告诉搜索引擎哪些页面抓取哪些页面不抓取。但是主要是禁用哪些页面呢？
    一、动态页面
    首先建议把动态页面给禁用掉，搜索引擎很喜欢收录动态页面，但是网站基本给出来的是静态页面地址。容易影响相同页面的排名。
    二、跳转页面
    跳转页面最好也禁用掉，跳转页面基本都是跳出到其他网站的链接，robos文件禁用掉的话，尽量不收录这类页面。
    三、已收录但删除了的页面
    因为网站都会涉及到页面删除，但是删除后搜索引擎还是会收录着这些页面的话，我们要在robots文件里面禁用掉这类页面，包括还有很多删除栏目的也需要禁用掉这一个栏目的页面。