本文内容

1. 系统分析目标网页

2. html标签数据解析方法

3. 海量图片数据一键保存

环境介绍

• python 3.8

• pycharm

模块使用

• requests >>> pip install requests

• parsel >>> pip install parsel

• time 时间模块 记录运行时间

通用爬虫

导入模块

请求数据

解析数据

解析速度 bs4 解析速度会慢一些，如果你想要对于字符串数据内容，直接取值，只能正则表达式

保存数据

共耗时：61秒

多线程爬虫

发送求情

获取图片url地址，以及图片名字

保存数据

主函数

入口

共耗时：19秒