sitemaptxt 友情链接平台须知投稿友情链接交流群:109761152
联系本站

发布友情链接/投稿:web@a0511.cn
SEO咨询 QQ:864635844
点击咨询:点击这里给我发消息

robots文件怎么设置呢?首页 » 站长资讯 » 详情

robots文件怎么设置呢?

2020/10/22 来源:admin 标签:robots文件设置 阅读:55次

seo

    robots文件怎么设置呢?其实大家都知道robots文件是干什么用的。告诉搜索引擎哪些页面抓取哪些页面不抓取。但是主要是禁用哪些页面呢?
    一、动态页面
    首先建议把动态页面给禁用掉,搜索引擎很喜欢收录动态页面,但是网站基本给出来的是静态页面地址。容易影响相同页面的排名。
    二、跳转页面
    跳转页面最好也禁用掉,跳转页面基本都是跳出到其他网站的链接,robos文件禁用掉的话,尽量不收录这类页面。
    三、已收录但删除了的页面
    因为网站都会涉及到页面删除,但是删除后搜索引擎还是会收录着这些页面的话,我们要在robots文件里面禁用掉这类页面,包括还有很多删除栏目的也需要禁用掉这一个栏目的页面。