股市遇“春绿”，气得我拿出了python一通操作

以下观点仅供交流讨论，不作为投资建议

大家好，我是小数

牛跑了熊来了，最近基金股票可谓一片绿油油，与其听取别人哪个基金更好，不如自己爬一爬数据一探究竟。整理了python爬数据的方法，希望对大家有用。

1、python字符串：分割、拼接、中文字符判断；

2、python正则表达式；

3、爬虫requests请求库、xpath获取数据、代理服务器；

4、selenium用法：无头浏览器、元素定位、显式等待、数据获取；

5、python操作mongodb

代码和数据我们到后面再贴上，先来分析下目标网站，这样有利于我们爬取过程更加清晰

目标网站：开放式基金排行 _ 天天基金网

我们爬取的就是【开放式基金】里的数据：

我们随便点开一个基金，就可以进入其详情页面，不知道你发现没有，该基金详情页面的url就是首页该基金的基金代码和 http://fund.eastmoney.com/ 的一个组合

比如：040011 --- 华安核心优选混合的url：华安核心优选混合(040011)基金净值_估值_行情走势-天天基金网

005660 --- 嘉实资源精选股票A的url：嘉实资源精选股票A(005660)基金净值_估值_行情走势-天天基金网

ok，好，我们在基金详情页面往下拉就可以找到该基金的股票持仓信息，也就是该基金买了哪些股票：

然后点击更多 进入该基金持股的详情页，往下拉就会看到，该基金三个季度的股票持仓信息：

这就是目标数据，要爬取的数据

我们先不爬取，再分析这个基金持仓的详情页，这个url也是有规律的，它是用 

http://fundf10.eastmoney.com/ccmx_ 和该基金的基金代码组合成的

比如：

005660 ，嘉实资源精选股票A 的持仓详情页面url：嘉实资源精选股票A(005660)基金持仓 _ 基金档案 _ 天天基金网

006921，南方智诚混合 的持仓详情页面url：南方智诚混合(006921)基金持仓 _ 基金档案 _ 天天基金网

因为这些数据是用js动态加载的，如果使用requests爬取的话难度很大，这种情况下一般会使用selenium模拟浏览器行为进行爬取。但是selenium爬取的效率确实比较低

其实我们依旧是可以使用requests进行爬取的，js动态加载是html页面中的js代码执行了一段操作，从服务端自动加载了数据，所以数据在一开始爬取的页面上是看不到的，除非一些特别难爬的数据才需要selenium，因为selenium号称：只要是你看得到的数据就都可以获取。毕竟selenium是模仿人操作浏览器的行为的。这里我们分析js动态加载，然后利用requests来爬取，后面进行二次爬取的时候再用selenium

在首页按F12打开开发者工具，然后再刷新一下

可以看到右边蓝色框里的数据了吧，这是js动态加载之后返回的数据，然后经过加工后呈现在页面上的，其实只要获取这些数据就可以了，不用去爬取首页了

我们再点击 Headers ，这个 Request URL 就是js请求的url了，你可以试试把这个url直接用浏览器回车下，会给你返回一堆的数据；上面分析了基金持仓股票页面url的组成，所以只要需要这些数据里的六位基金代码就可以了

本篇代码中是用python正则进行了六位数字的提取，然后组成的基金持仓股票页面的url；然后再在基金持仓股票页面对该基金持有的股票进行爬取、存储

爬取流程

1、首先从首页中请求js动态加载数据时请求的那个url，从中获取六位数字的基金代码
然后 http://fundf10.eastmoney.com/ccmx_ + 基金代码 + .html 组成的基金持仓股票的详情页url

2、针对基金持仓股票的详情页url 进行爬取，因为也是js动态加载的（加载速度较快），并且需要判断该基金是否有持仓的股票（有的基金没有买股票，也不知道他们干啥了），所以使用selenium来爬取，同时也使用了显式等待的方式来等待数据加载完成；

3、将数据整理，存储到mongodb中

这次我们将代码分段放上来，分段说明

需要的库：

准备一些常用的方法：

注意 page_url() 方法，里面的url就是上面分析js动态加载数据时请求的url，需要注意的是该url后面的参数，pi是第几页，pn是每页多少条数据

我这里pi=1，pn=10000，意思就是第一页，显示10000条数据（实际数据肯定没这么多，首页才5000+），就一次性的显示出所有的数据了；

程序开始：

好，至此，爬取数据的代码交代完毕，运行后坐等即可

该项目单进程运行，所以爬取速度略慢，同时也受网速影响，后期会继续改进成多线程。

上面已经把数据爬取并存储到数据库中，这里对数据进行处理，将其变成可用的；首先说明思路：

1、我们需要知道这些基金所有持仓的股票的综合数据，也包括基金持仓中有重复的股票

2、需要知道哪些股票重复了，有多少个重复的，重复了多少次这样，重复数最多的那只股票就肯定是最好的了，因为这证明有很多的基金都购买了这支股票

具体看代码，注释说的已经很清楚了：

这样，就将数据稍微处理了一下存入了 tb_data 的集合中

下面只披露部分处理的数据：

该数据还未做排序，排名不分先后

上面展示的数据中：中国石化 的numbers是54，说明在5000+家的基金中有54家买了中国石化的股票

招商银行的numbers为910，说明在5000+家的基金中有910家基金买了招商银行的股票，已经相当高了

数据的获取主要采用了爬虫的基本方法，使用的是 requests 库。而数据的解析和保存主要运用的是正则表达式、xpath解析库以及 pandas 数据处理库

对于一个基金的分析远远不止于这些数据（例如持仓分布，基金经理信息等），这里只是做个引子，毕竟自己用数据来选基金比听别人推荐买什么基金要好上一些，希望能给大家一个思路

更多好玩有趣的数据知识

尽在数据分析