知识点介绍

• 爬虫基本思路流程

• requests模块的使用

• pandas保存表格数据

• pyecharts做词云图可视化

环境介绍

• python 3.8

• pycharm

• requests >>> pip install requests

• pyecharts >>> pip install pyecharts

网站分析

打开X讯视频的网页，点开《开端》，播放视频，弹幕随之出现再屏幕之上。

首先我们需要找到相应的弹幕出自于哪里，打开网页开发者工具，Ctrl+F输入：“那么多座位你俩非要挤一起吗”，找到弹幕所在的页面

观察发现这是一个json，其弹幕内容包含在该json中的comments之中

image

找到页面之后观察该页面的请求头，请求方式为get,target_id为该电视剧的网页ID，得到该电视剧的链接地址主要由target_id和timestamp时间戳构成，形如 http://mfm.video.qq.com/danmu?timestamp=0&target_id=xxxxx 且该json表明时间戳每30会更新一次弹幕信息，单位为秒，对网站进行分析之后，我们直接看到代码。

完整爬虫代码实现

timestamp每增加30就会更改整个弹幕页面，在循环中每次增加30，并更改target_id即电视剧的每一集来获取每一集的弹幕信息,下面便是编写的获取弹幕的函数。这里以第一集为例子。

结果展示