广州网站建设告诉你Robots文件的相关知识

Robots文件在网站优化中是一个很重要的文件，搜索引擎爬行网站第一个抓取的文件就是Robots文件。robots.txt是你对搜索引擎制定的一个如何索引你的网站的规则。通过该文件，搜索引擎就可以知道在你的网站中哪些文件是可以被索引的，哪些文件是被拒绝索引的。那么关于Robots文件的知识你又知道多少呢？今天微勤广州网站建设就带大家了解一下。

一、robots.txt 文件的定义 

Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

二、robots.txt文件的作用

robots.txt文件主要用来告诉搜索引擎蜘蛛网站哪些内容是可以爬行和抓取的，哪些页面是被屏蔽的，不能爬行和抓取，例如我们可以通过robots.txt文件屏蔽网站的死链接、屏蔽搜索引擎蜘蛛抓取站点内重复内容和页面和阻止搜索引擎索引网站隐私性的内容

三、robots.txt文件注意事项

1、必须放置在一个站点的根目录下;

2、文件名必须全部小写;

3、最好是UTF-8编码。

四、robots.txt文件的基本语法

1、User-agent，搜索引擎蜘蛛的名称;常见蜘蛛名称见文末。

2、Disallow，要拦截的部分，禁止蜘蛛访问的部分。

3、Allow，放行的部分，允许蜘蛛访问的部分。

4、Sitemap，网站地图索引文件。

五、robots.txt文件常见的用法举例

例子1：禁止所有搜索引擎访问网站的任何部分

User-agent: *

Disallow:/

例子2：允许所有搜索引擎访问网站任何部分

User-agent: *

allow:/

或者创建一个空白的robots.txt文件放在根目录

本文由广州网站建设团队微勤网络整编而成，如需了解更多网站建设资讯、案例、各种网站建设知识可以联系广州网站建设公司微勤网络专业项目经理进行一对一问答

本文地址：广州网站建设告诉你Robots文件的相关知识：http://www.gzweiqin.com/xcx/99.html