爬虫案例

既然爬虫是大量抓取网页，那是不是爬虫都是不好的呢？答案当然不是，可以说我们的日常上网已经离不开爬虫了，为什么这么说？下面我就为大家盘点几个爬虫日常应用：

1.搜索引擎：如Google、百度、雅虎、搜狗、必应等等很多搜索引擎其本质就是一个（可能多个）巨大爬虫，这些搜索引擎工作原理是：页面收录->页面分析->页面排序->响应关键字查询，也就是说它会先把互联网上很多页面保存到服务