Python爬虫之Js逆向案例(1)-京东整站商品评论数据&商品详情&商品列表数据案例

<center>声明：京东商品评论数据&商品详情获取分析仅用于研究和学习，如有侵权，可删除</center>

一次运行程序，同时获取一下内容：

1. 获取整站实时商品详情数据；

2. 获取整站实时商品评论数据；

3. 获取整站实时商品列表数据；

下面会进行以下几步进行分析（下方演示过程全部使用chrome浏览器）；

1.抓包找到对应接口

商店详情https://item-soa.jd.com/getWareBusiness?skuId=商品评价https://club.jd.com/comment/skuProductPageComments.action商品相关问题https://question.jd.com/question/getQuestionAnswerList.action问题的回答https://question.jd.com/question/getAnswerListById.action 

2.编写全局控制参数到配置文件

3.爬虫编写

3.1.公共参数： 

名称 类型 必须 描述

key String 是 调用key（必须以GET方式拼接在URL中）

secret String 是 调用密钥 （复制v:Taobaoapi2014 )

api_name String 是 API接口名称（包括在请求地址中）[item_search,item_get,item_search_shop等]

cache String 否 [yes,no]默认yes，将调用缓存的数据，速度比较快

result_type String 否 [json,jsonu,xml,serialize,var_export]返回数据格式，默认为json，jsonu输出的内容中文可以直接阅读

lang String 否 [cn,en,ru]翻译语言，默认cn简体中文

version String 否 API版本

3.2商品详情数据代码

 3.3商品评论数据代码 

3.4商品列表数据代码

总结：程序一键运行，过程中错误中断自动保存日志到log文件，方便后续分析！但是现在没有添加多线程，可以额外增加并发请求数据。