使用python抓取京东全站商品详情数据（商品详情，店铺商品，商品分类，商品评论）

本项目用来抓取京东商城的整站实时商品数据信息、评价信息和用户数据，数据库采用Mysql。

爬虫的核心模块采用WebMagic，主要实现了JDPageProcessor类，继承自PageProcessor。 采用XPath和CSS Selector两种模式抽取网页信息。如抽取商品页面用户链接信息：

String aHref = html.xpath("div[@class='item']/div[@class='user']/div[@class='u-icon']/a/@href").toString();

采用的是Xpath抽取方式，过程：提取html中class为item的div中的class为user的div中的class为u-icon中的超链接。` 封装接口代码教程如下：

1.请求方式：HTTPS  GET POST

2.请求链接（获取key和secret）：http://c0b.cc/R4rbK2

3.请求代码示例，支持高并发请求（CURL、PHP 、PHPsdk 、Java 、C# 、Python...） 

4.响应示例因文章字符限制，暂不展示。