什么是robots文件

2017年5月28日14:39:05 发表评论

搜索引擎收录网站页面是需要通过蜘蛛访问网站,并对页面内容进行抓取。想要详细了解,就需要知道什么是robots文件

一、 什么是robots文件

搜索引擎蜘蛛到网站访问的第一个文件就是robots.txt。请注意,仅当您的网站包含不希望被搜索引擎收录的内容时,才需要使用robots.txt文件。

为什么要屏蔽不希望被收录的内容那?因为,蜘蛛带到一个网站的资源是有限的。

如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件。为了避免站长在设置robots文件时出现错误,现做简要说明,帮助站长正确设置robots。

什么是robots文件

二、 robots文件可包含哪些命令

1、User-agent:该项的值用于描述搜索引擎robot的名字。例如:

User-agent: Baiduspider 允许baidu蜘蛛访问

User-agent: * 允许所有蜘蛛访问

2、Disallow:该项的值用于描述不希望被访问的一组URL。

例如:Disallow: /admin/意思是禁止访问admin目录。

3、Allow:该项的值用于描述希望被访问的一组URL,意思与Disallow正好相反。

4、Sitemap:网站管理员通知蜘蛛他们网站上有哪些可供抓取的网页。

例如: Sitemap: http://www.sdjypxzx.com/sitemap.xml

最后,做好的robots.txt文件,上传到网站的根目录下即可。不明之处,敬请咨询-QQ:3050457879

  • 我的微信
  • 这是我的微信扫一扫
  • weinxin
  • 我的微信公众号
  • 微信公众号扫一扫
  • weinxin
avatar

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: