临沂SEO爱好者
分享SEO优化排名技术

临沂SEO-robots是什么?robots mate和?robots有什么区别

  robots是什么

  robots是网站跟蜘蛛间的协议,当访问站点时,它首先检查机器人是否存在于站点的根目录中。如果找到,蜘蛛就会按照该文件中的内容来确定访问的范围,如果该文件不存在,那么搜索机器人就沿着链接抓取。一定要注意txt文件必须放在站点的根目录中,文件名必须为小写。

  robots.txt是一个纯文本文件,在这个文件中网站管理者可以声明该网站中不想被搜索引擎访问的部分,或者指定搜索引擎只收录指定的内容。因此,机器人的优化将直接影响到搜索引擎对站点的收录。

  只有在需要禁止抓取某些内容时,才写robots。一些服务器设置是问题:当机器人文件不存在时,它返回200个状态代码和一些错误消息,而不是404页面,这是因为搜索机器人误读了robots文件信息。

  robotsmate是什么

  robotsmeta标签主要是针对一个个具体的页面。和其他的META标签(如使用的语言、页面的描述、关键词等)一样,robotsmeta标签也是放在页面的head>中,专门用来告诉搜索引擎机器人如何抓取该页的内容。

  follow指令表示搜索机器人可以沿着该页面上的链接继续抓取下去;

  robotsmeta标签的缺省值是index和follow;

  index指令告诉搜索机器人抓取该页面;

  robotsmeta标签中没有大小写之分,name=“robots”表示所有的搜索引擎,可以针对某个具体搜索引擎写为name=“baiduspider’content部分有四个指令选项index、noindex、follow、nofollow,指令间以“,”分隔。

  Robots和robotsmate的区别

  目前来说,所有的搜索引擎都支持和遵守robots.txt的规定,但是支持robotsmate的却比较少,大家可以酌情使用。

  阅读本文的人还可以阅读:

  与网址导航站交换链接,行吗?

  描述标签到底应该怎么写?

  如何使用标签阻止网页被收录?

  robots.txt文件有什么必要?

本文“临沂SEO-robots是什么?robots mate和?robots有什么区别”,由王凯SEO编辑整理发布。临沂SEO优化,临沂网站建设,临沂网络推广就找【王凯SEO】!

关注“王凯SEO”微信公众号,免费领取SEO教程。

版权声明:本文采用知识共享 署名4.0国际许可协议 [BY-NC-SA] 进行授权
文章名称:《临沂SEO-robots是什么?robots mate和?robots有什么区别》
文章链接:http://www.wangkaikaikai.com/2358.html
本站资源仅供个人学习交流,请于下载后24小时内删除,不允许用于商业用途,否则法律问题自行承担。