建站代码网

热门标签

WordPress robots.txt写法

robots.txt可以限制或阻止搜索引擎对网站某些页面或目录的访问与抓取,在搜索引擎访问网站时会,会先查看你的网站根目录下有没有robots.txt协议文件,有的话会按照robots.txt设置的指令进行爬行。

不想被收录的页面、图片、目录都可以编写robots.txt协议来完成,其中WordPress博客优化就必须使用robots.txt文件,Wordpress的固定链接修改后,一个页面存在两个链接,搜索引擎会收录这两个链接,这并不利于SEO,就需要设置wordpress的robots.txt文件,禁止搜索引擎访问和搜录原来带?的动态链接。

首页要了解下robots.txt的代码意思,百度、谷歌等搜索引擎的协议编写是一样的,你的博客是否进行了WordPress固定链接伪静态化设置,这直接决定着写robots.txt页面的格式,下边就介绍下WordPress的robots.txt写法。

robots.txt写法

博主根据自己的固定链接格式来写入robots.txt文件,外汇站使用的是伪静态化固定链接/%postname%/,这种链接形式编写robots.txt如下。

#允许所有的搜索引擎抓取,虽然使用百度搜索的人多,但还是有20%的人使用其它搜索引擎,能够为博客带来更多的流量。

User-agent: *

#禁止抓取根目录中的网站文件,能够提高蜘蛛爬行速度。

Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /wp-login.php

#禁止抓取订阅页面,订阅页面与日志页面重复。

Disallow: /feed/
Disallow: comment-page-*

#禁止抓取搜索页面,搜索页面列表与日志列表重复。

Disallow: /?s=*
Disallow: trackback/
Disallow: trackback/
Disallow: /wp-trackback.php*

#禁止抓取分类页面除第一页之外的分页,修改过固定链接的话,闭屏/?p=*

Disallow: /categorypage/
Disallow: /?tag=*

#禁止抓取作者页面,与日志列表索引重复。

Disallow: /author/

#禁止抓取page分页,与日志列表索引重复。

Disallow: /page/

#禁止抓取日期存档2013年的页面,与日志列表索引重复。

Disallow: /2013/

#在最后一行附上网站地图地址,便于蜘蛛爬行。

Sitemap: http://waihuizhan.com/sitemap.html
Sitemap: http://waihuizhan.com/sitemap_baidu.xml

robots.txt怎么写

先创建robots.txt的文档,鼠标右键→创建文本文档→写入协议代码→把文档改名为robots→上传到网站根目录,就这么简单,日后搜索引擎会按照根目录中的robots.txt进行爬行。

一旦修改了固定链接,就必须设置robots.txt文件,从而避免wordpress页面重复收录,下边是外汇站/%postname%/链接格式下的robots.txt写法!

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /wp-login.php
Disallow: /feed/
Disallow: ?s=*
Disallow: /wp-trackback.php*
Disallow: /*/comment-page-*
Disallow: /category/
Disallow: /author/
Disallow: /?p=*
Disallow: /tag/
Disallow: /page/
Disallow: /2013/
Disallow: /2014/
Sitemap: http://waihuizhan.com/sitemap_baidu.xml

PS:以上不一定全用上,可以选择性编写,在编写robots.txt时一定要谨慎,代码错误的话会影响网站的收录。

X