尊敬的会员   
网站首页 >> 综合资讯 >> 文章内容

做淘宝客研究时发现百度谷歌对新站收录的不同态度

[日期:2023-11-09]   来源:  作者:   阅读: 0[字体: ]

       一个新域名,花了几天的时间创建了900多个二级域名,然后查看服务器日志,发现百度抓取规律,如下图:

 

       这些IP地址 全是百度的各路蜘蛛,可以到ip138去查,其中/ HTTP/1.1" 代表的是域名首页的意思,意思就是不含后缀链接的意思,比如二级域名,三级域名,从日志看发现百度最先抓取首页,然后再逐个的抓取其他二级域名,然后再列表页,这也是为什么百度没有开始收录内容页原因,百度的原理先必须把网站的整体结构给索引号,然后最后才抓取内容页,“ 200”代表抓取成功,后面那串五位的数字是页面大小的意思,单位为KB。

       我们再来看谷歌蜘蛛的日志:

  

 

       看图可以发现谷歌在短时间内频繁访问sitemap,说明谷歌更注重站点地图,也就是sitemap.xml文件,另外谷歌是在遵守robots.txt文件下看到链接就抓取,并且可以很快得到搜索,但是一定要先搞好网站结构,哪些该抓取哪些不该抓取一定要在建立站之前就设置好,给谷歌蜘蛛好印象,否则你收录很多都不会有搜索。

  

  

       这是统计谷歌搜索引擎显示被用户搜索到本站的关键字,一个新站三四天时间就得到谷歌那么多的搜索,我想很多站长都不会有这样的经历。

相关评论
赞助商链接
赞助商链接