大家都知道搜索引擎抓取文章的进程是一个非常复杂的进程，但是咱们大致能够把他分成以下3个步骤，简称：三步走。
第一步：搜索引擎蜘蛛把页面url抓取，获取页面的url存放在数据库。搜索引擎又叫做蜘蛛、机器人，当蜘蛛发现一个页面时，服务员会回来页面的html代码。当搜索引擎爬取一个页面时通常都是首要访问网站的robots.txt协议，在明确网站管理设置的禁止抓取协议以后，才对页面进行抓取索引数据库。
第二步：程序对数据库中抓取来的内容进行内容提取，分词树立索引。搜索引擎蜘蛛抓取的时刻是：定期抓取：根据每个搜索引擎蜘蛛的更新时刻不一样而异，增量抓取：在原有的页面上抓取更多的页面、分类抓取根据类目不一样而抓取的时刻不一样，例如新闻类的内容能够几个分钟抓取一次。搜索引擎蜘蛛的抓取方法：深度抓取（例如类目A 和 类目b 类目c :蜘蛛抓取类目a会一直沿着页面a的页面深度抓取，直到把页面a的页面悉数抓取再回来主页抓取类目b.广度抓取广度抓取就是页面a 和页面ｂ页面ｃ同时抓取），最后一个是用户提交，通常蜘蛛抓取会根据页面的链接爬取更新鲜的页面，所以用户提交这种方法的效果很微小。
第三步：排名程序对数据库中索引调用，计算内容页面的相关性和权重值，然后按照必定的格局排列在用户搜索页。蜘蛛程序对抓取存储在数据库内容的内容提取以及分词树立索引：为了防止重复抓取搜索引擎蜘蛛会树立一个数据库，在每次抓取页面的时候分别详细的记录页面的url，文件大小以及创立日期等。搜索引擎把抓取来的页面都存放在数据库中，数据库中的url来源大致有３种途径：搜索引擎蜘蛛爬取页面从html解析出来的url，若是没有访问过的url就把他放在待访问数据库，接着回按照重要性抓取更新的资源页面，若是检测到现已抓取收录的就会把他删了。人工手动写入的url,还有就是站长通过表格提交的url,每一个url都有一个特定的编号。然后对每个url对应的页面进行内容提取，切词分词相关性树立索引，当用户搜索这个词的时候，程序会根据页面的相关性，页面的权重进行合理的排序。老榆木家具www.qianhuilaoyumu.com
