千锋教育python数据分析教程200集，Python数据分析师入门必备视频

一.数据分析全流程

1:数据采集

python爬虫

MySQL数据库

2.数据分析

NumPy矩阵计算

Pandas数据清洗

3.数据可视化

Matplotlib可视化

PyEcharts可视化

二.爬虫是什么

概括

1.爬虫是批量化自动化获取既有数据

批量化

自动化

既有数据

2.通常来说

都是获取既有数据

3.也有特殊的

批量注册一些账号

批量的去领优惠卷

· 批量的下单买商品

三.爬虫的分类

四大类

• 聚焦爬虫
• 完成某一项特定数据的采集
• 百分之九十的爬虫
• 通用爬虫
• 什么内容都采集，都存下来
• 搜索引擎
• 百度 谷歌
• 增量爬虫
• 既可以是聚焦爬虫
• 也可以是通用爬虫
• 当内容发生变化的时候，他可以增量的获取内容
• 暗网爬虫
• 深网爬虫（很少见，本身是见不得光的事。既可以是聚焦爬虫，也可以是通用爬虫，也可以是增量爬虫）

四.爬虫安全吗

1. robots.txt协议
2. 君子协议

写爬虫的注意事项

1. 给服务器留活路
2. 脱离敏感数据
3. 不要公开收费
4. 不要爬国家的公共资源网站

五.爬虫如何搞钱

1. 入职企业
2. 抢购
3. 羊毛出在猪身上
4. 引流比价
5. 点赞 收藏 刷评论 刷粉丝

核心 （本质上是资源的整合）

六.爬虫的核心流程

1. 明确目标
2. 搜寻哪些APP或网站中有我们要的资源
3. 分析数据所在位置，加载方式
4. 数据获取
5. 数据提取
6. 数据存储
7. 提升性能

七.工具

1.Anaconda

默认一路next

2.chrome浏览器

不建议用工具修改路径

3.打开Anaconda 中Anaconda prompt

之后在终端中输入 jupyter notebook

就是C盘users/用户下的资源

这个就是爬虫最牛的工具 没有之一