励志当最强课代表的我来给大家总结总结👍👍👍

还在自我内耗中硬扣爬虫？

视频内容:

1️⃣课程准备✍️

2️⃣urlopen📄

3️⃣Request🏷️

视频内容:

1️⃣课程准备✍️

python的环境安装

python解释器

pycharm编辑器

2️⃣urlopen📄

使用python中的内置模块，可以很方便的写出一个爬虫程序

urlopen 就是打开一个网站参数详解:

url:字符串类型的URL，必须参数

data:附加数据，data参数是bytes(字节流)类型。urlopen默认会发送get请求，当传入data参数时，则会发起 POST请求

timeout:超时时间，单位秒。如果请求超过设置时间，没有返回响应，则抛出异常。

timeout没有指定则用系统默认设置，timeout只对，http，https 以及ftp连接起作用。可以通过控制超时时间跳过抓取长时间未响应的网页

cafile: CA证书

3️⃣Request🏷️

如果是要发起POST 请求、PUT请求、DELETE请求，或者是进行UA伪装，那么单靠上面的urlopen 就不太够了。需要构造一个请求对象，然后使用urlopen进行请求