(1)能找到目标网页
必须有外部链接指向网站首页，这样搜索引擎才能发现我们的网站并进行抓取，然后蜘蛛沿首页内部链接抓取更深层内容页，能很轻松的对网站内容进行遍历抓取。
(2)能抓取网页内容
网页内容符合搜索引擎蜘蛛的抓取条件，被搜索引擎蜘蛛发现的URL必须可以被抓取，url中尽量减少参数，避免蜘蛛陷阱。
(3)能提取有价值信息
网站内容要有价值(四个建立高质量页面的硬指标)——不抄袭，提高文章质量，搜索引擎能从已抓取的页面中提取有价值内容
日期：2014-02-26
来源：互联网 作者：258信息网 浏览：53