robots.txt文件该怎么写？

这一难题相必也紧紧围绕着许多 SEO新手好长时间了吧，那麼今日SEO-趣快排就教大伙儿该怎么写robots.txt文本文档 。

“robots.txt ”文件包括一条或大量的记录 ，这种记录根据空白行分离(以 CR，CR/NL， or NL 做为结束符) ，每一条记录的格式以下图示：

“:”。

在该文件中能够应用#开展注释，实际操作方法和 UNIX 中的国际惯例一样。该文件中的记录一般以一行或几行 User-agent 刚开始，后边再加多个 Disallow 行 ，具体情况以下：

User-agent:

此项的值用以叙述搜索引擎 robot 的姓名，在"robots.txt"文件中，假如有好几条 User-agent 记录表明有好几个 robot 会遭受该协议书的限定 ，对该文件而言 ，最少要有一条 User-agent 记录 。假如此项的值设成*，则该协议书对一切设备平均合理，在"robots.txt"文件中 ， "User-agent: *" 那样的记录只有有一条。

< alt="" aria-describedby="caption-attachment-692" class="size-full wp-image-692" height="350" sizes="(max-width: 550px) 100vw, 550px" src="http://seogurublog.com/wp-content/uploads/2018/01/t-8.jpg" ="http://seogurublog.com/wp-content/uploads/2018/01/t-8.jpg 550w, http://seogurublog.com/wp-content/uploads/2018/01/t-8-300x191.jpg 300w" width="550"/>

robots.txt文本文档该怎么写

„Disallow:

此项的值用以叙述不期望被访问到的一个 URL，这一 URL 能够是一条详细的相对路径，也

能够是一部分的 ，一切以 Disallow 开始的 URL 均不容易被 robot 访问到。比如"Disallow: /help"

对/help.html 和/help/index.html 也不容许搜索引擎访问，而"Disallow: /help/"则容许 robot 访问/help.html，而不可以访问/help/index.html 。

一切一条 Disallow 记录为空 ，表明该网址的全部一部分都容许被访问，在"/robots.txt"文件中，最少要有一条 Disallow 记录。假如 "/robots.txt"是一个空文件 ，则针对全部的搜索引擎robot，该网址全是对外开放的。

全文连接：www.seogurublog.com/591.html

本文版权归趣快排www.sEoguruBlog.com 所有,如有转发请注明来出,竞价开户托管,seo优化请联系QQ✈61910465