一个新域名,花了几天的时间创建了900多个二级域名,然后查看服务器日志,发现百度抓取规律,如下图:
我们再来看谷歌蜘蛛的日志:
看图可以发现谷歌在短时间内频繁访问sitemap,说明谷歌更注重站点地图,也就是sitemap.xml文件,另外谷歌是在遵守robots.txt文件下看到链接就抓取,并且可以很快得到搜索,但是一定要先搞好网站结构,哪些该抓取哪些不该抓取一定要在建立站之前就设置好,给谷歌蜘蛛好印象,否则你收录很多都不会有搜索。
这是统计谷歌搜索引擎显示被用户搜索到本站的关键字,一个新站三四天时间就得到谷歌那么多的搜索,我想很多站长都不会有这样的经历。