3】parse:⼯具模块,提供许多URL处理⽅法,如拆分、解析、合并等。
【4】robotparser:识别⽹站的robots.txt⽂件,判断哪些⽹站可以爬,哪些⽹站不可以爬,使⽤频率较少。
发送请求
urlopen是request模块中的⽅法,⽤于抓取⽹络。
我们以代码⽰例,我们抓取百度的⽹页
# 调⽤urllib库中的request模块
import urllib.request