欢迎光临散文网 会员登陆 & 注册

天一冷,就想大口吃肉,爬取一座城市里的烤肉店数据(附完整Python爬虫代码)

2022-02-09 19:10 作者:松鼠爱吃饼干  | 我要投稿

前言

天一冷,就想吃肉,贴好秋膘才能好过冬。对于肉食主义者,吃肉简直幸福感爆棚!特别是烤肉,看着一块块肉慢慢变熟,听着烤盘上“滋滋”的声响,这种期待感是任何其他食物都无法带来的。如果说甜点是“乍见之欢”,那肉则是“久处不厌”。


为了造福“烤肉控”们,今天就用Python爬取一座城市的烤肉店数据,选出最适合的一家

准备工作

环境

  • python 3.6

  • pycharm

  • requests >>> 发送请求 pip install requests

  • csv >>> 保存数据

了解爬虫最基本的思路

一. 数据来源分析

  1. 确定我们爬取的内容是什么?
    爬取美团的店铺数据

  2. 去找这些东西是从哪里来的
    通过开发者工具进行抓包分析, 分析数据来源

二. 代码实现过程

  1. 发送请求, 对于找到数据包发送请求

  2. 获取数据, 根据服务器给你返回的response数据来的

  3. 解析数据, 提取我们想要的内容数据

  4. 保存数据, 保存到csv文件

  5. 多页爬取, 根据url地址参数变化 来变化规律 比如快手视频的多页爬取 就不是for循环

代码实现过程

1. 发送请求

200 表示请求成功 状态码 403 你没有访问权限

2. 获取数据


3. 解析数据


4. 保存数据


5.翻页


运行代码得到数据


完整代码



天一冷,就想大口吃肉,爬取一座城市里的烤肉店数据(附完整Python爬虫代码)的评论 (共 条)

分享到微博请遵守国家法律