标签云无法抓取&升级WordPress3.0到3.0.1
有了一点空,姐姐我又继续开始了折腾之路。今天登陆了一下Google的站长工具,发现网站上,错误不少。简说,有三个。
第一个是,大量的robots.txt限制,见图。
刚发现这个问题时,我以为是我写的Robots的问题,因为里面有一句Disallow: /wp-content/plugins,而在我的3D标签云插件就是Plgins里面。我的第一反应就是要不要写多一句Allow:/wp-content/plugins/wp-cumulus/或Allow:/tag/进去。但认真想想,这明显有一些不合理的,否认了全集,却要肯定全集里面的子集,有些自相矛盾,对于按程序做事的爬行蜘蛛来说肯定有点无理了。
Google了一下类似情况终于发现应该不是Robots的问题,这个问题,我参考了两个博客的说法,宋夏的博客说这个3D标签云不利于SEO,三侠五义直接说搜索引擎无法抓取这些tags。
李博侠提出了两个解决方案,一是提交Sitemap,里观已经包含了所有的tags了。要不就是首页同时让3D标签云和普通标签云共存,再不就无视这个抓取错误了。其实我已经提交了Sitemap的了,但看着几百个的无法抓取,总有些觉得不舒服。而我总觉得我的Sitemap是有问题的,因为提交了,一共也就收录了80多个页面。但具体问题会出在哪里,我又说不出。
接下来,就只要自我纠结着想想要怎么弄了。
第二个问题是比较严重的,因为重定向错误无法追踪网页。
我一看就头晕了,还不懂什么是重定向错误和无法追踪网页。只在不断地Google下大约知道了一个情况,因为我的是Apache服务器,更正这个重定向只是修改.htaccess就好了。只是我不明白为什么之前不会,怎么突然跳出重定向错误,而这些重定向错误全部发生在TAG上面。
最后发现了一个博客——疯人院道出了问题的关键,截取重要的一段话:
据我观察+猜测是Wordpress3.0把中文TAG的链接里面的转码统统转换为小写的了,且原来大写的转码都做了301重定向到小写。比如说你有一个TAG叫“上海”,那么原来版本WP中转码后它的固定链接就是“tag/%E4%B8%8A%E6%B5%B7/”,其中“%E4%B8%8A%E6%B5%B7”其实就是“上海”这两个汉字的转码,但是Wordpress3.0会把此固定链接转码为“tag/%e4%b8%8a%e6%b5%b7/”并且把“tag/%E4%B8%8A%E6%B5%B7/”重定向到“tag/%e4%b8%8a%e6%b5%b7/”,这样看上去没什么不妥。但是Google的爬虫不干了,爬虫们罢工了,爬虫不等301就会马上离开并且报这个页面是“重定向错误”……
这样的情况,后果好像很严重的:
至于为什么Google爬虫不去抓取301目标页面,我猜测可能因为爬虫认为“tag/%E4%B8%8A%E6%B5%B7/”和“tag/%e4%b8%8a%e6%b5%b7/”是一个页面,而你的网站在用小花招玩弄Google的爬虫,这样的结果会给一个网站带来灭顶之灾。轻则收录数明显减少,重则给你的域名降权,或者什么影响都没有Google今天心情好……
这样情况就清楚了,再去Google一下, wordpress3.0.1的确已经修复了这个语言Bug. 于是,就马上备份了一次博客,然后马上升级到3.0.1去了。从2.9.2到3.0再到3.0.1我发现已经无路可退了,只能一鼓脑地向前冲了!
如果你还在使用Wordpress3.0,那么尽快地升3.0.1吧!至于问题还会不会再发生,有待观察。
第三个是一个奇怪的错误,404找不页面。
有好几篇旧文章,只剩一个链接。刚建博时,用了一些小方法导进了一些以前的文章,理论上说,只要没出错,应该是全都要在的。难不成我手痒,不知什么时候把它删了?这个情况是比较小的,我一般不会因为我写得差而删去我的东西。那么这事情显得有些灵异了,不解之谜中……
| anyShare分享到: | |
| |


@小可
Orz 小可……碰见你了…… 曾经也学工具 学若干脚本 如今只看代码 偶尔BT跑一下无线...
@9fun![[洋葱头20]](http://www.duyuxian.info/wp-includes/images/smilies/yct027.gif)
膜拜中…..9fun,你知道得好多好多。显得我好小白
另外,我也懂了那个多加一个/和不加的区别了。
例如”Disallow: /help”对/help.html和/help/index.html都不允许搜索引擎访问,
而”Disallow:/help/”则允许robot访问/help.html,而不能访问/help/index.html。
我已经改成ROBOT.TXT了。 用了那个彩色标签云,发现也好喜欢···
@PARA
现在问题已经解决了,发现也很喜欢那个彩色标签···还是要把它下架了··
嗯,你的博客链接已经换好了!
这点我帮助你了你什么了
@卢松松![[洋葱头09]](http://www.duyuxian.info/wp-includes/images/smilies/yct003.gif)
[洋葱头12]你的博客已经为众大站长提供了很多帮助了。里面很多文章可看,但我还有很多没有来得及看··
话说真没想到第一次到你的博,第一次留言,就上了博文了!真的是第一次的。而且那时还不知道卢松松是博客界的大名人啊!那时好像只是无意中点进去的。每次看到你在我的博客踩踩就特高兴,哈哈哈哈···
小托来祝福了。 晚了点 。七夕快乐 嘿嘿 加油啊
建议将你ROBOTS.TXT中这一句去掉 Disallow: /feed
因为GOOGLE新近增加了FEED的抓取 与SITEMAP效果等同
不升级,不升级,我就是不升级。
@小托
谢谢,你也快乐!
@surda
谢谢建议!呵呵,这就去改~
@iamlukas
小卢··
学习了 菜鸟级站长
哈哈我以前用过标签云,现在不敢用了!
我又来了,最近换了个主题,出现了之前你那样的错误Cannot modify header information