欢迎光临散文网 会员登陆 & 注册

【Python爬虫】采集一个优秀艺术家相互交流的网站——P站(一个正经的网站)

2021-11-09 14:11 作者:松鼠爱吃饼干  | 我要投稿

前言

总所周知, p站是日本知名的虚拟社区, 聚集了众多来自日本, 中国, 韩国, 美国等国家的优秀艺术家。他们在p站上相互交流, 分享高清优秀插画, 是一个正经的网站

本次受害者

目标网站:

https://www.acg-pixiv.com/tags/459.html


环境介绍

  • python 3.8 -- anaconda 安装了一些模块 / 自动的 配置环境变量

  • pycharm 2021专业版 >>> 激活码

  • requests >>> pip install requests

  • parsel >>> pip install parsel

开始代码

首先需要导入模块


发送请求


获取数据


提取数据


详情页链接


每一个详情页的网页源代码


提取详情页中的图片链接


图片链接


替换特殊字符


保存数据


运行代码,得到数据


【Python爬虫】采集一个优秀艺术家相互交流的网站——P站(一个正经的网站)的评论 (共 条)

分享到微博请遵守国家法律