假定咱们从搜索引擎蜘蛛的角度去看待一个网站，在抓取、索引和排名时会遇到哪些问题呢？处理了这些问题的网站规划便是搜索引擎和睦的。
1、 搜索引擎蜘蛛能不能找到网页
要让搜索引擎发现网站主页，就有必要要有外部链接到主页，找到主页后，蜘蛛沿着内部链接找到更深的内容页，所以要求网站要有超卓的结构，符合逻辑，并且全部页面都能够经过可匍匐的一般HTML链接抵达。Javascript链接、Flash中的链接等搜索引擎蜘蛛一般不能跟踪匍匐，就会造成录入问题。
网站全部页面离主页点击距离不能太远，最好在四五次点击之内。要被搜索引擎录入，页面需求都有最基本的权重，超卓的网站链接结构能够恰当传递权重，使尽量多的页面抵达录入门槛。
2、 找到网页后能不能抓取页面内容
被发现的URL有必要是能够被抓取的。带有过多参数的URL、Session ID、整个页面是Flash、框架结构、可疑的转向、很多仿制内容等都或许使搜索引擎敬而远之。
某些文件站长或许不期望被录入，除了不链接到这些文件，更保险的办法是运用robots文件或许meta robots标签阻挠录入。
3、 抓取页面后怎样提炼有用信息
关键词在页面重要方位的合理分布、重要标签的编撰、HTML代码精简、最少的兼容性等，能够帮助搜索引擎了解页面内容，提取有用信息。
只需搜索引擎能顺畅找到全部页面，抓取这些页面并提取出其间真实有关性的内容，网站才能够被视为是搜索引擎和睦的。关于网站结构的优化，有一句话非常精辟：“超卓引用、超卓结构、超卓导航”。
