欢迎光临散文网 会员登陆 & 注册

24. Scrapy 框架-图片管道使用

2020-07-03 10:44 作者:自学Python的小姐姐呀  | 我要投稿

1. 介绍

Scrapy提供了一个 item pipeline ,来下载属于某个特定项目的图片,比如,当你抓取产品时,也想把它们的图片下载到本地。

这条管道,被称作图片管道,在 ImagesPipeline 类中实现,提供了一个方便并具有额外特性的方法,来下载并本地存储图片:

  • 将所有下载的图片转换成通用的格式(JPG)和模式(RGB)

  • 避免重新下载最近已经下载过的图片

  • 缩略图生成

  • 检测图像的宽/高,确保它们满足最小限制

这个管道也会为那些当前安排好要下载的图片保留一个内部队列,并将那些到达的包含相同图片的项目连接到那个队列中。 这可以避免多次下载几个项目共享的同一个图片

2. 使用图片管道

当使用 ImagesPipeline ,典型的工作流程如下所示:

  1. 在一个爬虫里,你抓取一个项目,把其中图片的URL放入 image_urls 组内

  2. 项目从爬虫内返回,进入项目管道

  3. 当项目进入 ImagesPipeline,image_urls 组内的URLs将被Scrapy的调度器和下载器(这意味着调度器和下载器的中间件可以复用)安排下载,当优先级更高,会在其他页面被抓取前处理。项目会在这个特定的管道阶段保持“locker”的状态,直到完成图片的下载(或者由于某些原因未完成下载)。

  4. 当图片下载完,另一个组(images)将被更新到结构中。这个组将包含一个字典列表,其中包括下载图片的信息,比如下载路径、源抓取地址(从 image_urls 组获得)和图片的校验码。 images 列表中的图片顺序将和源 image_urls 组保持一致。如果某个图片下载失败,将会记录下错误信息,图片也不会出现在 images 组中


3. 具体流程(此处以zol网站为例)

  1. 定义item


2.编写spider

思路:获取文件地址-->获取图片名称-->推送地址

此处是一张一张的推送


3.编写pipline

以下如果不想改文件名,meta属性可以忽略不写

    



  • IMAGES_STORE = "e:/pics"


24. Scrapy 框架-图片管道使用的评论 (共 条)

分享到微博请遵守国家法律