欢迎光临散文网 会员登陆 & 注册

软件教程 | 用Python爬取巨潮资讯上的企业公告:程序设计思路及实际操作

2022-01-28 19:47 作者:岁月应无虞  | 我要投稿

导言

之前有朋友让我帮忙爬取巨潮资讯上大概三百多家企业近十年的公司治理报告,最近又有朋友因为类似的需求来找我帮忙,所以今天就给大家出一期详细的教程来介绍如何用Python爬取巨潮资讯上的企业公告。

Part1:网页分析

打开巨潮资讯官网:

  • 判断网页为静态结构还是动态结构

  • 如果网页为动态结构,如何设计爬取步骤

  • 通过分析不同传递参数的含义来自定义要爬取的内容

Part2:准备工作

Step1:收集待爬企业信息

  • 格式:.xls

  • 内容: 股票代码、企业名称

  • 布局: 第一列股票代码,第二列企业名称,不加表头

Step2:导入工具包

Step3:获取巨潮资讯的数据源格式信息

Step4:导出到Excel备用(可选)

Step5:生成待爬取股票清单列表

Part3:正式工作

Step1:定义爬取函数

Step2:自定义保存路径

Step3:设定参数进行遍历爬取

后台回复爬取巨潮资讯可下载本教程.pdf.ipynb文件!

软件教程 | 用Python爬取巨潮资讯上的企业公告:程序设计思路及实际操作的评论 (共 条)

分享到微博请遵守国家法律