知识点

• requests

• json

• re

• pprint

开发环境：

• 版 本：anaconda5.2.0（python3.6.5）

• 编辑器：pycharm

案例实现步骤：

一. 数据来源分析 (只有当你找到数据来源的时候, 才能通过代码实现)

1. 确定需求 (要爬取的内容是什么?)
   爬取某个关键词对应的视频 保存mp4

2. 通过开发者工具进行抓包分析 分析数据从哪里来的(找出真正的数据来源)?
   静态加载页面
   笔趣阁为例
   动态加载页面
   开发者工具抓数据包

二. 代码实现过程

1. 找到目标网址

2. 发送请求
   get post

3. 解析数据 （获取视频地址 视频标题）

4. 发送请求 请求每个视频地址

5. 保存视频

今天的目标

三. 单个视频

导入所需模块

发送请求

加请求头

json序列化操作

字典取值

再次发送请求

resp = requests.get(photoUrl).content

保存数据

四. 翻页爬取

导入模块

发送请求

修改标题

数据提取

保存数据

主函数 调动所有的函数

耗时为57.7秒