robots文件的规范写法

robots文件的规范写法

robots文件的规范写法

以下是应届毕业生网为大家整理好的有关SEO网站优化的知识，希望对大家有所帮助！

一、概念

1、网站和搜索引擎之间的.协议文件

2、蜘蛛爬行网站的第一个要访问的文件

3、屏蔽内容：不想被抓取的隐私内容,后台、数据库文件、模板、插件文件...或者做了伪静态就屏蔽动态路径

二、robots语法

1、User-agent 定义搜索引擎类型

2、Disallow 定义禁止抓取收录地址

3、Allow 定义允许抓取收录地址

4、* 匹配0或多个任意字符

5、$ 结束符

6、% 代表中文路径

7、? 代表动态路径

8、Sitemap 网站地图

三、robots写法举例

User-agent: *

Disallow: /plus

Disallow: /include

Disallow: /templets

Disallow: /data

Disallow: /dedemao

Disallow: /install