Scrapy爬取京东，淘宝天猫，拼多多等平台整站商品详情数据，商品列表数据接口

Scrapy爬取淘宝天猫，京东，拼多多等平台整站实时商品详情数据，实时商品列表数据接口

如何运行

1.安装Python3

具体过程请参考Python官网

2..安装依赖

进入项目目录，执行：

pip install -r requirements.txt

3.配置chromeDriver

将项目目录下的geckodriver目录加入到PATH中

4.修改数据库配置 在settings.py中

# 数据库的配置，请将下面的换成你自己的数据库配置 DB_HOST = 'localhost'  # 主机名 DB_PORT = 3306  # 端口号 DB_USER = 'root'    # 用户名 DB_PASSWD = '123456'  # 密码 DB_DB = 'juhua'  # 数据库名 

5.爬取数据：

scrapy crawl jd scrapy crawl taobao scrapy crawl product_info 

6.封装接口代码请求方式：HTTPS POST GET

7.请求链接（拿到key和secret ）：https://c0b.cc/R4rbK2

8.请求代码示例，支持高并发请求（CURL、PHP 、PHPsdk 、Java 、C# 、Python...）

9.响应示例因字符限制，暂不展示。