欢迎光临散文网 会员登陆 & 注册

【Python爬虫】拉钩网招聘信息数据采集

2021-10-18 16:18 作者:松鼠爱吃饼干  | 我要投稿

本文要点:

  1. 爬虫的基本流程

  2. requests模块的使用

  3. 保存csv

  4. 可视化分析展示

环境介绍

  • python 3.8

  • pycharm 2021专业版 激活码

  • Jupyter Notebook

pycharm 是编辑器 >> 用来写代码的 (更方便写代码, 写代码更加舒适)
python 是解释器 >>> 运行解释python代码的


本次目标


爬虫块使用

内置模块:

  • import pprint >>> 格式化输入模块

  • import csv >>> 保存csv文件

  • import re >>> re 正则表达式

  • import time >>> 时间模块

第三方模块:

  • import requests >>> 数据请求模块 pip install requests

win + R 输入cmd,回车输入安装命令pip install 模块名。

如果出现爆红,可能是因为,网络连接超时,切换国内镜像源

代码实现步骤: (爬虫代码基本步骤)

  1. 发送请求

  2. 获取数据

  3. 解析数据

  4. 保存数据

开始代码

导入模块


发送请求


<Response [200]> 获取服务器给我们响应数据

解析数据

json数据最好解析 非常好解析, 就根据字典键值对取值


翻页


保存数据


运行代码,得到数据


【Python爬虫】拉钩网招聘信息数据采集的评论 (共 条)

分享到微博请遵守国家法律