欢迎光临散文网 会员登陆 & 注册

Xpath插件路径解析正确却无法在Python爬虫中解析

2022-12-30 18:19 作者:回到唐朝当少爷  | 我要投稿

Xpath插件路径解析正确却无法在Python爬虫中解析。xpath路径定位正确但Python爬虫爬不到任何内容。

简而言之:去掉xpath路径里的tbody

使用scrapy爬虫框架爬取电影天堂时遇到的问题,在edge浏览器的xpath插件中定位正确,却无法爬取正确结果

上图是定位成功的结果

上图爬取不成功

去掉tbody

成功获取


原因分析:检查时tbody是edge等一些浏览器优化后产生的代码,并不是网页源码,因此爬虫解析不到任何内容。

Xpath插件路径解析正确却无法在Python爬虫中解析的评论 (共 条)

分享到微博请遵守国家法律