欢迎光临散文网 会员登陆 & 注册

别@我了,我就一个写代码的,我哪知道哪家是不正规的,Python爬取美团店铺数据

2021-11-20 16:34 作者:松鼠爱吃饼干  | 我要投稿

前言

今天教的是爬取每天按摩店的数据,不爬不知道呀,光是一个城市的前10页数据,都有1000多家店了,全部爬完,那不得至少3000家以上?现在的市场需求都那么大看吗



今天不光教代码,还要带你们去逛逛。。就只是逛逛,我也没去过,就是好奇,才看看的


御见。。夜色。。保健,一看名字就知道是家服务到位的按摩店了


代码主要内容

  1. 动态数据抓包

  2. json数据解析

  3. requests模块的使用

  4. 保存csv

环境介绍

python 3.8 解释器
pycharm 编辑器

开始代码,先导包


发送请求


加上请求头 作用: 伪装
User-Agent:表示浏览器基本信息
Cookie: 用户信息, 常用于检测是否有登陆账号
Referer: 防盗链, 告诉服务器我们发送请求url请求是从哪里跳转过来的

如果<Response [403]>:返回的response对象 403 状态码,表示你没有访问权限
200 表示请求成功

解析数据, 提取我们想要的一些数据内容 (店铺信息)


翻页爬取



这个是第二页和第三页的数据内容,每次翻页offset + 32

最后是保存数据


运行代码,得到数据


可视化图表

导入数据


不同评分类型店铺数量



不同店铺类型店铺数量



前10页的店铺,按摩/足浴店有1016家,评分5分的有714家


别@我了,我就一个写代码的,我哪知道哪家是不正规的,Python爬取美团店铺数据的评论 (共 条)

分享到微博请遵守国家法律