WordPress robots.txt写法

WordPress教程

robots.txt可以限制或阻止搜索引擎对网站某些页面或目录的访问与抓取,在搜索引擎访问网站时会,会先查看你的网站根目录下有没有robots.txt协议文件,有的话会按照robots.txt设置的指令进行爬行。

不想被收录的页面、图片、目录都可以编写robots.txt协议来完成,其中WordPress博客优化就必须使用robots.txt文件,Wordpress的固定链接修改后,一个页面存在两个链接,搜索引擎会收录这两个链接,这并不利于SEO,就需要设置wordpress的robots.txt文件,禁止搜索引擎访问和搜录原来带?的动态链接。

首页要了解下robots.txt的代码意思,百度、谷歌等搜索引擎的协议编写是一样的,你的博客是否进行了WordPress固定链接伪静态化设置,这直接决定着写robots.txt页面的格式,下边就介绍下WordPress的robots.txt写法。

robots.txt写法

博主根据自己的固定链接格式来写入robots.txt文件,外汇站使用的是伪静态化固定链接/%postname%/,这种链接形式编写robots.txt如下。

#允许所有的搜索引擎抓取,虽然使用百度搜索的人多,但还是有20%的人使用其它搜索引擎,能够为博客带来更多的流量。

User-agent: *

#禁止抓取根目录中的网站文件,能够提高蜘蛛爬行速度。

Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /wp-login.php

#禁止抓取订阅页面,订阅页面与日志页面重复。

Disallow: /feed/
Disallow: /*/feed/
Disallow: /comments/feed/

#禁止抓取收录评论页,有的评论不和谐或与文章内容重复。

Disallow: /*/comment-page-*

#禁止抓取搜索页面,搜索页面列表与日志列表重复。

Disallow: /?s=*
Disallow: /*/?s=*

#禁止抓取通告页面,机器人在评论栏留的垃圾留言,如果关闭了trackback功能,就不用编写这个。

Disallow: /*/trackback/
Disallow: /*/*/trackback/
Disallow: /wp-trackback.php*

#禁止抓取分类页面除第一页之外的分页,修改过固定链接的话,闭屏/?p=*

Disallow: /category/*/page/
Disallow: /?p=*

#禁止抓取除第一页之外的分页,修改过固定链接的话,闭屏/?tag=*

Disallow: /tag/*/page/
Disallow: /?tag=*

#禁止抓取作者页面,与日志列表索引重复。

Disallow: /author/

#禁止抓取page分页,与日志列表索引重复。

Disallow: /page/

#禁止抓取日期存档2013年的页面,与日志列表索引重复。

Disallow: /2013/

#在最后一行附上网站地图地址,便于蜘蛛爬行。

Sitemap: http://waihuizhan.com/sitemap.html
Sitemap: http://waihuizhan.com/sitemap_baidu.xml

robots.txt怎么写

先创建robots.txt的文档,鼠标右键→创建文本文档→写入协议代码→把文档改名为robots→上传到网站根目录,就这么简单,日后搜索引擎会按照根目录中的robots.txt进行爬行。

一旦修改了固定链接,就必须设置robots.txt文件,从而避免wordpress页面重复收录,下边是外汇站/%postname%/链接格式下的robots.txt写法!

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /wp-login.php
Disallow: /feed/
Disallow: /*/feed
Disallow: /comments/feed/
Disallow: /?s=*
Disallow: /*/?s=*
Disallow: /wp-trackback.php*
Disallow: /*/comment-page-*
Disallow: /category/
Disallow: /author/
Disallow: /?p=*
Disallow: /tag/
Disallow: /page/
Disallow: /2013/
Disallow: /2014/
Sitemap: http://waihuizhan.com/sitemap_baidu.xml

PS:以上不一定全用上,可以选择性编写,在编写robots.txt时一定要谨慎,代码错误的话会影响网站的收录。

相关内容推荐

阻止WordPress垃圾评论方法

WordPress是全世界最流行的免费开源博客程序,可以根据自己的需求安装主题和插件,很多博客站长都选择它来搭建自己的独立博客,但是博客在使用过程中,经常会收到大量的垃圾评论

12款最佳WordPress联系表单插件

12款最佳WordPress联系表单插件

联系表单似乎是每个网站应该具有的一个常见的功能,但WordPress本身并不提供该功能。 任何类型的联系表单功能都只能通过第三方WordPress插件实现。 当我们开始开发WordPress主题时,是

详解如何优化压缩WordPress博客图片

详解如何优化压缩WordPress博客图片

相信我们,独立站尤其是新建的站点,应该知道如何去讨好搜索引擎,也只有这样才可以获得更好的展现位置。 而,如何让搜索引擎觉得你的站点更友好,其中一个办法就是让你的网站

WordPress插件Widget Logic使用教程

WordPress插件Widget Logic使用教程

Widget Logic可以实现自由展示wordpress不同的侧边栏还是底部栏,下载安装启用插件Widget Logic,wordpress后台→外观→小工具。 拖拽任意显示的小工具,展开小工具连接栏,在每个小工具栏底

如何提升WordPress博客网站回访率?

如何提升WordPress博客网站回访率?

当网站开始收获大量流量时,站长必然是异常兴奋的。 这些流量或许是你通过网站搜索引擎优化、社交推广等方式带来的,但如果你发现这些流量都是一次性流量,那还值得兴奋吗?

返回
顶部