前言

环境使用

• Python 3.8 解释器

• Pycharm 编辑器

所需模块

一. 数据来源分析:

1. 明确需求:

• 采集的网站是什么?

https://movie.douban.com/subject/35267208/comments?limit=20&status=P&sort=new_score

• 采集的数据是什么?
  评论相关数据

1. 抓包分析相关数据来源
   通过浏览器自带开发者工具进行抓包分析 <重点>

• 打开开发者工具: F12 或者 鼠标右键点击检查选择network

• 刷新网页: 让本网页的数据内容重新加载一遍

• 关键字搜索: 通过关键字<要的数据>, 搜索查询相对应的数据包

https://movie.douban.com/subject/35267208/comments?limit=20&status=P&sort=new_score

二. 代码实现步骤: 基本四大步骤 --> 发送请求,获取数据,解析数据,保存数据

1. 发送请求, 模拟浏览器对于url地址发送请求

https://movie.douban.com/subject/35267208/comments?limit=20&status=P&sort=new_score

1. 获取数据, 获取服务器返回响应数据
   开发者工具 --> response

2. 解析数据, 提取我们想要的数据内容
   评论相关数据

3. 保存数据, 把数据内容保存表格文件里面

评论数据获取

发送请求, 模拟浏览器对于url地址发送请求

返回<Response [200]>表示请求成功

解析数据

解析方法:

• 正则re --> 直接对于字符串数据进行解析

• css选择器 --> 根据标签属性提取数据

• xpath节点提取 --> 根据标签节点提取数据

把获取下来html字符串数据 <response.text>, 转成可解析对象

提取具体数据内容
.comment-info a --> 定位class类名为comment-info下面a标签
a::text --> 提取a标签里面文本
get() --> 获取第一个标签内容
attr() --> 提取属性

保存数据

data.csv --> 文件名
mode=a --> 保存方式 追加保存
encoding=‘utf-8’ --> 编码格式
newline --> 换行符
f --> 文件对象

分析评论数据

导入模块

读取数据

df = pd.read_csv('data10.csv') df.head()

推荐分布

地区分布