一、背景介绍

您好，我是 @马哥python说，一枚10年程序猿。

2023开年这段时间，《狂飙》这部热播剧引发全民追剧，不仅全员演技在线，更是符合反黑主旋律，因此创下多个收视率纪录！

基于此热门事件，我用python抓取了B站上千条评论，并进行可视化舆情分析，下面详细讲解代码。

二、爬虫代码

2.1 展示爬取结果

首先，看下部分爬取数据：

爬取字段含：视频链接、评论页码、评论作者、评论时间、IP属地、点赞数、评论内容。

2.2 爬虫代码讲解

导入需要用到的库：

定义一个请求头：

请求头中的cookie是个很关键的参数，如果不设置cookie，会导致数据残缺或无法爬取到数据。

那么cookie如何获取呢？打开开发者模式，见下图：

由于评论时间是个十位数：

所以开发一个函数用于转换时间格式：

向B站发送请求：

接收到返回数据了，怎么解析数据呢？看一下json数据结构：

0-19个评论，都存放在replies下面，replies又在data下面，所以，这样解析数据：

这样，data_list里面就是存储的每条评论数据了。

接下来吗，就是解析出每条评论里的各个字段了。

我们以评论内容这个字段为例：

其他字段同理，不再赘述。

最后，把这些列表数据保存到DataFrame里面，再to_csv保存到csv文件，持久化存储完成：

注意，加上encoding='utf_8_sig'，否则可能会产生乱码问题！

下面，是主函数循环爬取部分代码：（支持多个视频的循环爬取）

三、可视化代码

为了方便看效果，以下代码采用jupyter notebook进行演示。

3.1 读取数据

用read_csv读取刚才爬取的B站评论数据：

查看前3行及数据形状：

3.2 数据清洗

处理空值及重复值：

3.3 可视化

3.3.1 IP属地分析-柱形图

可得结论：TOP10地区中，评论里关注度最高为广东、山东、江苏等地区，其中，广东省的关注度最高。

3.3.2 评论时间分析-折线图

分析出评论时间的分布情况：

可得结论：关于"狂飙"这个话题，在抓取到的数据范围内，2月2日的评论数据量最大，网友讨论最热烈，达到了将近1200的数量峰值。

3.3.3 点赞数分布-直方图

由于点赞数大部分为0或个位数情况，个别点赞数到达成千上万，直方图展示效果不佳，因此，仅提取点赞数<30的数据绘制直方图。

可得结论：从直方图的分布来看，点赞数在0-3个的评论占据大多数，很少点赞数达到了上千上万的情况。证明网友对狂飙这部作品的态度分布比较均匀，没有出现态度非常聚集的评论内容。

3.3.4 评论内容-情感分布饼图

针对中文评论数据，采用snownlp开发情感判定函数：

情感分布饼图，如下：

可得结论：关于狂飙这部电视剧，网友的评论情感以正面居多，占据了70.43%，说明这部电视剧获得了网友们很高的评价。

3.3.5 评论内容-词云图

除了哈工大停用词之外，还新增了自定义停用词：

jieba分词之后，对分词后数据进行绘制词云图：

可得结论：在词云图中，狂飙、高启强、黄瑶、安欣、结局等词汇较大，出现频率较高，反应出众多网友对狂飙这部电视剧的剧情讨论热度很高。

附原始背景图，可对比看：（需要先人物抠图）

四、演示视频

代码演示视频：

五、获取完整源码

爱学习的小伙伴，本次分析过程的完整python源码及结果数据，我已打包好，并上传至我的微信公众号"老男孩的平凡之路"，后台回复"狂飙"即可获取。

我是@马哥python说 ，持续分享python干货！