关于robots文件,这里有你想要知道的详细教程

原创 小彦  2017-12-19 16:06  阅读 6,368 views 次

网站的robots.txt文件设置是不是合理,哪些文件或许目录需求屏蔽、哪些设置办法对网站运营有优点?有人复制出相同的内容以应付不同搜索引擎的排名规则。然而,一旦搜索引擎发现站内有大量“克隆”的页面,就会给以惩罚,不收录这些重复的页面。另一方面,我们网站的内容属于个人私密文件,不想暴露在搜索引擎中。这时,robot.txt就是为了解决这两个问题。

一、什么是robots.txt

搜索引擎和网站之间的一个协定,蜘蛛在爬取网站的时候,第一个访问的规定。robots协议放在网站的根目录下,什么可以访问抓取,什么不可以访问抓取!如果不写robots协议的话,百度蜘蛛会默认抓取所有文件。有些模板程序会有默认的robots.txt,后期也要进行更改。

二、robots.txt文件对网站有啥优点

1、疾速增加网站权重和拜访量;

2、制止某些文件被查找引擎索引,能够节约服务器带宽和网站拜访速度;

3、为查找引擎供给一个简洁明了的索引环境

三、如何判断一个网站是否有robots.txt文件

一般是上传到网站根目录下的,所以域名/robots.txt可以检查一个网站有没有robots协议

robots的写法
四、什么情况下会用robots.txt文件,要写robots?

a、保护网站隐私,防止信息泄露,你不想让他来抓什么

b、站内哪些页面需要参排名,站在优化的角度说,合理抓取资源

不想被抓取的隐私内容,后台、数据库文件、模板、插件文件...或者做了伪静态就屏蔽动态路径

c、屏蔽垃圾页面和重复页面(动态和静态,多路径的同一页面),屏蔽中文链接 屏蔽死链接

五、怎么写robots?

Disallow的写法

Disallow的写法

User-agent:用户代理,定义搜索引擎类型 该值用于描述搜索引擎robot的名字

Disallow:不希望被访问的一组URL 定义禁止抓取收录地址

Allow:希望被访问的一组URL

* 匹配0或多个任意字符

$ 结束符

所有的语句第一个字母要大写,比如User-agent: *,中间有一个英文状态下的空格,这个时候星号代表所有搜索引擎。按照规范书写。

六、robots.txt在线生成工具有哪些

1、百度站长平台

http://zhanzhang.baidu.com/robots

robots的写法
2、站长工具

http://tool.chinaz.com/robots/

最后,还是建议大家手动填写robots.txt填写,配合分析网站日志不定期的进行检查补漏,最终完善网站的robots.txt文件。

注意:

1、生效时间:短的几天,长的一个月

2、空格

3、第一个字母要大写,英文输入法下输入。

4、不要随意屏蔽整站。

参考文章:

http://zhanzhang.baidu.com/college/courseinfo?id=267&page=12

如果大家在学习和应用robots文件的过程中,还有诸多疑惑,欢迎大家和小彦进行交流,也希望大家在工作中能够熟练运营。

本文地址:http://www.shangxiaoyan.com/seojichu/489.html
关注我们:请关注一下我们的微信公众号:扫描二维码尚小彦SEO的公众号,公众号:shangxiaoyan2017
版权声明:本文为原创文章,版权归 小彦 所有,欢迎分享本文,转载请保留出处!
西安网络整合营销首选尚小彦
西安SEO服务,专业可靠

发表评论


表情

  1. 电商白杨
    电商白杨 【农民】 @回复

    大牛seo,不错的分享, 分享是一种力量,学习及修行!!