A-A+
robots协议的遵守情况
今天在看一些关于优化的博客的时候阅读到一篇文章关于百度和谷歌之间的区别,其中就这么一条就是“robots协议的遵守情况”,文章写出谷歌完全遵守robots协议,但是百度有时候会无视你的robots文件。正巧博主我和好朋友的水熊网络工作室主站根本没被谷歌收录,但是百度和360搜索却收录了首页,所以近期每天都在郁闷到底是什么原因怎么会导致谷歌根本不收录?这不太可能啊,谷歌一般都是最早收录的,而第一次被百度收录的时间会很长啊,现在百度都收录了首页怎么谷歌都不收录呢?水熊网络主站本身做足了优化以及每天一篇原创文章..今天朋友通过细致的寻找竟然发现问题出现在wordpress的企业主题身上,主题内部竟然强行嵌入了屏蔽所有蜘蛛的代码,我勒个去!(真想骂人),这该死的主题..怪不得百度站长和谷歌管理员都提示我屏蔽所有的蜘蛛,一直让我费解。
但是百度、360搜索收录了我们的首页这才让我们以为我们本身没有问题,体现了百度和360搜索根本没有完全遵守robots协议。