欢迎光临散文网 会员登陆 & 注册

【爬虫GUI】YouTube评论采集软件,突破反爬,可无限爬取!

2023-08-28 08:04 作者:马哥python说  | 我要投稿

一、背景介绍

你好,我是@马哥python说 ,一名10年程序猿。

最近我用python开发了一个GUI桌面软件,作用是爬取YouTube指定视频的评论,6个关键字段,含:评论id、评论内容、评论时间、评论作者昵称、评论作者频道、点赞数。

1.1 软件说明

几点重要说明:

  1. 运行之前,先打开魔法

  2. Windows用户可直接双击打开使用,无需Python运行环境

  3. 可爬取指定数量评论,或者全部评论(不存在反爬问题)

  4. 排序方式支持:按日期排序/按热门排序

  5. 可爬取6个字段,含:评论id、评论内容、评论时间、评论作者昵称、评论作者频道、点赞数

  6. 其中,评论时间含绝对时间(年月日时分秒的格式)

1.2 效果演示

演示视频:

运行截图1:

爬取《Faded》MV视频下的评论

运行截图2:

爬取徐云视频下的评论


二、科普知识

2.1 关于视频id

油管视频id号,比如,https://www.youtube.com/watch?v=9lc6D6nPd38,这个视频链接的视频id就是9lc6D6nPd38。YouTube的每个视频都是如此。

2.2 关于评论时间

YouTube网页上是看不到绝对时间(年月日时分秒格式)的,只能看到相对时间(几个月前、几天前之类),此软件支持爬取绝对时间。

三、爬虫代码

3.1 界面模块

软件界面采用tkinter开发。

主窗口部分:

按钮控件部分:

3.2 爬虫模块

通过请求YouTube评论的ajax接口实现,详见文末完整代码。

3.3 日志模块

好的日志功能,方便软件运行出问题后快速定位原因,修复bug。

核心代码:

日志截图:

日志文件

四、获取源码及软件

爱学习的小伙伴,本次分析过程的完整python源码及结果数据,我已打包好,并上传至我的微信公众号"老男孩的平凡之路",后台回复"爬油管评论软件"即可获取! 



推荐阅读:【GUI开发】用python爬YouTube博主信息,并开发成exe软件!

我是@马哥python说,一名10年程序猿,持续分享python干货中!

【爬虫GUI】YouTube评论采集软件,突破反爬,可无限爬取!的评论 (共 条)

分享到微博请遵守国家法律