欢迎光临散文网 会员登陆 & 注册

B站强推!2023年最新Python爬虫顶级天花板教程,血赚!学完即可上岸,拿走

2023-07-03 00:03 作者:寻梦少年0  | 我要投稿

作业-6, 抛砖引玉一下,欢迎交流:


import requests
import json

if __name__ == '__main__':
    # 指定url
    url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx'

    keyword = '北京'
    pageIndex = '1'
    pageSize = '1'

    param = {
        'op': 'keyword',
        'cname': '',
        'pid': '',
        'keyword': keyword,
        'pageIndex': pageIndex,
        'pageSize': pageSize,
    }

    # UA伪装
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
                      'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.58'
    }

    # 发起第一次请求,获取餐厅数量
    response = requests.post(url=url, data=param, headers=headers)
    str_obj = response.text
    json_obj = json.loads(str_obj)

    kfc_cnt = str(json_obj['Table'][0]['rowcount'])
    pageSize = kfc_cnt

    # 发起第二次请求,获取所有餐厅位置信息
    param['pageSize'] = pageSize
    response = requests.post(url=url, data=param, headers=headers)

    # 进行持久化存储
    str_obj = response.text
    json_obj = json.loads(str_obj)

    fp = open('./kfc.json', 'w', encoding='utf-8')
    json.dump(json_obj, fp=fp, ensure_ascii=False)

    print('完成')


B站强推!2023年最新Python爬虫顶级天花板教程,血赚!学完即可上岸,拿走的评论 (共 条)

分享到微博请遵守国家法律