之前碰到过有些客户在sitemap.xml里面将首页的爬取频率设置成每周来一次,也就是使用的是weekly,这样的设置即使网站每天不断更新内容,搜索引擎也会遵守sitemap.xml的协议,每周来一次的;还有一些网站蜘蛛不来的原因是由于友情链接上的其他网站的快照更新的比较忙,由于蜘蛛是通过URL来访问网页的,所以那些快照更新慢的网站蜘蛛来一次就会更慢,跟这样的网站交换友情链接无疑是不可能加快蜘蛛爬取频繁的;
网页快照需要更新,必需具备以下几个条件:
1、网站有新的信息产生;
2、网站上的这些信息能够在最快的时间被蜘蛛爬取到;
3、网站上新的内容得到搜索引擎的认可;
假如我们的网站没有新的内容产生超过一个月,那么良多搜索引擎就会以为这个网站的治理员可能将该网站已经抛弃掉了,所以更新对于SEO来说是后期维护的一个重点内容;
我们的建议是将你想转载的内容看一边后,读懂,然后用自己的语言重新把这些意思重复一遍,基本上搜索引擎仍是可以认可的。
假如网站常常被蜘蛛访问,我们也常常更新文章,那么我们就要考虑下是不是我们的文章质量得不到认可。由于良多SEO都比较怠惰,所以在文章方面老是但愿脚踏两船,认为转载过一篇文章修修改改就可以欺骗过搜素引擎,可以说新人最喜爱这样,由于会节约不少的TIME,岂不知道良多搜索引擎都能够智能的识别哪些内容是原创的、哪些内容是转载或者说是复制的了,所以建议SEO们还是老老实实的更新内容。
假如我们的网站常常更新,但是搜索引擎的爬虫却老是不来爬取的话,那么我们需要观察一下是不是我们不让爬虫第一时间来爬取我们的网站。