您好,欢迎来到jQuery吧!QQ群:193687763(钱端开发)

jQuery吧-Write Less, Do More | 注重前端开发

首页 > PHP > wordpress教程技巧 > 正文

wordpress robots.txt写法设置

2013-12-20 10:12:40 作者:天外飞仙 人气:1657 Views

什么是robots.txt?它是搜索引擎的蜘蛛在来到网站首先要查看的一个文件。因为网站的有些内容禁止被搜索引擎抓取,比如网站的模板文件、CSS文件、Javascript文件、登陆页面等等、这时候就要设置一些robots.txt文件来使引擎蜘蛛遵循这一些协议。

robots.txt文件的存放位置在网站的根目录下。默认没有设置,Wordpress会生成一个动态的robots.txt文件。查看一个网站的robots.txt文件方法也很简单,只要在地址栏输入以下路径: 你的域名/robots.txt。注意文件名一定要全部小写。

也许有朋友说,我巴不得搜索引擎多爬些呢,还禁用?事实上,善用robots.txt,可以简单但非常有效的对博客进行优化,我曾搜索了一些关于wordpress 博客 robots.txt写法的文章,但是众说纷纭,有的文章中说一套,可是自己的robot.txt却是另外的写法,实在让人难以信服。无奈之下,只有自己慢慢尝试,下面就jQuery吧的robots.txt设置写法

User-agent: *Disallow: /cgi-binDisallow: /wp-Disallow: /feed/Disallow: /comments/feedDisallow: /trackbackDisallow: /commentsSitemap: http://www.jqueryba.com/sitemap

简单说明一下,这个robots.txt文件允许博客被所有搜索引擎收录,但是不允许蜘蛛访问cgi-bin文件夹以及wp开头的文件,这主要是为了博客的安全。

此外,不允许搜索引擎蜘蛛访问feed及comments的feed文件,主要是为了避免重复内容,这一点百度尤其重视,将wordpress 的很多页面视为重复内容,这也是wordpress博客在百度中排名不高的原因之一。

禁止访问trackback和comments是为了避免垃圾评论和垃圾引用。

robots.txt协议并不是一个规范,而只是约定俗成的,所以,每个搜索引擎遵守robots.txt的方式也不一样,在你修改robots.txt文件时,可以用Google网站管理员工具检测一下robots.txt是否符合规范。

链接:http://www.jqueryba.com/1725.html(转载时请注明本文出处及文章链接)
标签:

jQuery吧-Write Less, Do More | 注重前端开发

jQuery吧-Write Less, Do More | 注重前端开发

Copyright © 2013 jqueryba.com, All Rights Reserved.奔跑在阿里云

免责声明:本站所有内容来源于互联网。如果本站部分内容侵犯您的权益,请您告知,站长会立即处理 苏ICP备12059471号

站内所有资源仅供学习与参考,请勿用于商业用途,否则产生的一切后果将由您自己承担!