Xpath插件路径解析正确却无法在Python爬虫中解析
Xpath插件路径解析正确却无法在Python爬虫中解析。xpath路径定位正确但Python爬虫爬不到任何内容。
简而言之:去掉xpath路径里的tbody
使用scrapy爬虫框架爬取电影天堂时遇到的问题,在edge浏览器的xpath插件中定位正确,却无法爬取正确结果

上图是定位成功的结果


上图爬取不成功

去掉tbody

成功获取

原因分析:检查时tbody是edge等一些浏览器优化后产生的代码,并不是网页源码,因此爬虫解析不到任何内容。