Python爬《沉默的真相》3万+弹幕，告诉你这剧到底“香”在哪？

2020-11-02 14:05 作者:爱数据分析社区 0人读过 | 我要投稿

J哥 | 作者
菜J学Python |

本文运用文本挖掘技术，对最近热播剧《沉默的真相》3万+弹幕进行数据分析，希望对你有一定的启发。

本文数据分析思路及步骤如下图所示，阅读本文需要10min，你可添加小数获取弹幕数据进行测试。

1. 数据获取

本文仅提供核心代码：

2. 数据清洗

2.1 导入数据分析库

2.2合并弹幕数据

《沉默的真相》共12集，分集爬取，共生成12个csv格式的弹幕数据文件，保存在danmu文件夹中。通过glob方法遍历所有文件，读取数据并追加保存到danmu_all文件中。

2.3 重复值、缺失值等处理

清洗后数据如下所示：

2.4 机械压缩去重

机械压缩去重即数据句内的去重，我们发现弹幕内容存在例如"啊啊啊啊啊"这种数据，而实际做情感分析时，只需要一个“啊”即可。

应用以上函数，对弹幕内容进行句内去重:

2.5 特殊字符过滤

另外，我们还发现有些弹幕内容包含表情包、特殊符号等，这些脏数据也会对情感分析产生一定影响。

特殊字符直接通过正则表达式过滤，匹配出中文内容即可。

另外，过短的弹幕内容一般很难看出情感倾向，可以将其一并过滤。

3. 数据可视化

从可视化图表来看，网友对《沉默的真相》还是相当认可的，尤其对白宇塑造的正义形象江阳，提及频率远高于其他角色。

3.1 整体弹幕词云

3.2 主演提及

4. 文本挖掘（NLP）

4.1 情感分析

情感分析是对带有感情色彩的主观性文本进行分析、处理、归纳和推理的过程。按照处理文本的类别不同，可分为基于新闻评论的情感分析和基于产品评论的情感分析。

其中，前者多用于舆情监控和信息预测，后者可帮助用户了解某一产品在大众心目中的口碑。目前常见的情感极性分析方法主要是两种：基于情感词典的方法和基于机器学习的方法。

本文主要运用Python的第三方库SnowNLP对弹幕内容进行情感分析，使用方法很简单，计算出的情感score表示语义积极的概率，越接近0情感表现越消极，越接近1情感表现越积极。

(1)整体情感倾向

(2)观众对主演的情感倾向

mapping = {'jiangyang':'白宇|江阳', 'yanliang':'廖凡|严良', 'zhangchao':'宁理|张超','lijing':'谭卓|李静', 'wengmeixiang':'李嘉欣|翁美香'}
for key, value in mapping.items():
df[key] = df['danmu'].str.contains(value)
average_value = pd.Series({key: df.loc[df[key], 'score'].mean() for key in mapping.keys()})
print(average_value.sort_values())

由各主要角色情感得分均值可知，观众对他们都表现出积极的情感。翁美香和李静的情感得分均值相对高一些，难道是男性观众偏多？江阳的情感倾向相对较低，可能是观众对作为正义化身的他惨遭各种不公而鸣不平吧。

4.2 主题分析

这里的主题分析主要是将弹幕情感得分划分为两类，分别为积极类（得分在0.8以上）和消极类（得分在0.3以下），然后再在各类里分别细分出5个主题，有助于挖掘出观众情感产生的原因。

首先，筛选出两大类分别进行分词:

然后，分别去除停用词:

#去除停用词
stop = pd.read_csv("/菜J学Python/stop_words.txt",encoding='utf-8',header=None,sep='tipdm')
stop = [' ',''] + list(stop[0])
#print(stop)

pos = pd.DataFrame(data1)
neg = pd.DataFrame(data2)

pos["danmu_1"] = pos["danmu"].apply(lambda s:s.split(' '))
pos["danmu_pos"] = pos["danmu_1"].apply(lambda x:[i for i in x if i.encode('utf-8') not in stop])
#print(pos["danmu_pos"])

neg["danmu_1"] = neg["danmu"].apply(lambda s:s.split(' '))
neg["danmu_neg"] = neg["danmu_1"].apply(lambda x:[i for i in x if i.encode('utf-8') not in stop])

接着，对积极类弹幕进行主题分析:

结果如下：

最后，对消极类弹幕进行主题分析: