历时一个月，腾讯认证python全套项目实战笔记，终于整理出来了
前言
之前拿到一份关于腾讯认证的python的全套项目实战脑图，于是历时花费一个月，终于是熬夜加点的给肝出来了，先用typora全部写出来，然后再导出成PDF文件，目前已经完全搞定。
总共划分内容为（七大模块）：
一丶python语法必修
主要有三大模块内容，分别是：python语法编程丶python并发编程丶python数据库编程
1.python语法编程篇
包含：python3基础入门，列表与元组，字符串和字典，条件丶循环和其他语句，函数，面向对象，异常与文件处理八个模块
2.python并发编程篇
包含：网络编程，多线程，多进程，协程四个方面
网络编程就有：TCP/IP简介和网络设计模块
多线程有：线程和进程，使用线程，多线程全局变量，共享全局变量，互斥锁，死锁，线程池等
多进程有：进程状态，线程的创建，进程线程对比，通信和进程池创建
协程：协程的意,asyncio事件循环，await,异步爬虫，异步操作MySQL等
3.python数据库编程
概述MySQL丶Redis丶MongoDB三种数据库
MySQL：基础丶进阶查询丶高级应用丶MySQL ORM框架-SQLAIchemy
Redis：服务端和客户端基本操作命令，数据操作，python操作Redis
MongoDB：database的基础命令，集合的基础命令，数据类型和操作，牵引，聚合操作，数据备份和回复，pymongo的操作
二丶机器学习
机器学习包含了两大模块，分别是机器学习算法和机器学习应用项目
1.机器学习算法
线性回归算法，K-Means算法，朴素贝叶斯，集成算法
2.机器学习应用项目
机器人开发环境
ROS客户端
人工智能讲解
开发跟踪机器人
机器人建图和导航
智能安保机器人开发
神经网络应用
基于ROS开发多机器人
类脑计算和深度强化学习
三丶全栈开发体系
全栈开发包含了三大模块。分别是web网页开发，后端架构开发和性能调优
1.web网页开发
web网页开发分为：
HTML
CSS
JQuery
vue
2.后端架构开发
本篇我将主要分为三个阶段来讲述后端架构开发，分别是
1.Django初级
安装Django以及创建
运行和创建Django应用程序
Django视图-模板-模型
Django管理员站点
2.Django进阶
Django视图分类
Django模板继承
Django表单
Django中间件和信号
3.Django高级
Django性能优化
Django安全性
3.性能调优
这方面内容比较多，分别从五个方向展开讲述，分别是存储层调优，celery异步任务，Django缓存机制，Nginx服务，Django对SDK开发以及Docker容器
1.存储层调优
数据库设计
数据库查询优化
缓存和数据库复制
2.celery异步任务
使用异步任务
设置任务超时时间
密集型任务的并行化
任务结果缓存
消息队列的优化
3.Django缓存机制
开启缓存
缓存键设计
使用缓存框架
缓存优化和清理机制
4.Nginx服务
合理配置
使用Nginx高级功能
监控和优化Nginx
5.Django对SDK开发
创建Django SDK项目
创建Django SDK应用程序和视图函数，路由
进行Django性能调优
6.Docker容器
Docker容器基本知识
使用docker部署全栈应用和性能调优
四丶大数据体系
大数据体系本章从：数据分析，Hadoop，spark三大模块开始讲述
1.数据分析篇
1.Numpy篇
numpy函数介绍
numpy通用函数
5W字numpy图文讲解
2.panda核心介绍
pandas展示
panda基础
series和Index
pandas数据可视化
3.Matplotlib和数据可视化
Matplotlib简介及图表窗口
图表基本元素
Matplotlib图表的样式参数
Matplotlib刻度、图表输出丶注解
2.Hadoop篇
1.对Hadoop的认识
Hadoop介绍，版本，特点，组成
HDFS，YARN，MapReduce，三者的关系
大数据处理过程
2.Hadoop之配置java与hadoop环境
打开虚拟机连接xshell
进入到我们安装软件的文件夹
配置java的JDK的环境变量
解压缩Hadoop的压缩包
配置Hadoop的环境变量
3.Hadoop之文件复制scp和同步rsync
scp介绍命令
拷贝文件
rsync介绍命令
4.Hadoop之SSH免密登录
SSH原理
配置SSH
5.Hadoop之集群配置和启动集群(完全分布式)
集群部署
配置文件
分发文件
启动集群
3.spark
spark概述
spark core
spark sql
spark内核原理
五丶爬虫工程师
本篇内容容量大，主要从5个大模块上百个小知识点开启讲述：采集功底，自动化抓包，源码框架，爬虫集群部署和JavaScript逆向
1.采集功底专题篇
1.网络请求
request源码解析，常用方法
data/json/param参数传递
隧道代理使用,证书异常处理
httpx源码解析和常用方法
httpx上下文处理和异步请求
2.数据解析
正则表达式原理
分组和通用匹配
贪婪和非贪婪模式
findall/match/search方法
xpath语法学习
xpath定位文章数据
基于bs4的环境搭建
bs4节点-属性-层级选择器
数据入库
3.数据入库
MySQL表结构设计
MySQL数据写入规范
MySQL动态传参和对接爬虫实战
MongoDB数据写入规范
MongoDB数据异常处理
爬虫对接MongoDB
JSON对象和数组以及数据编码
2.自动化抓包
自动化抓包分为：selenium采集，pyppeteer采集，Charles抓包，mitmproxy
Selenium介绍
Selenium安装
Selenium基本使用和高级用法
抓包获取数据
pyppeteer请求实战案例
Charles替换CSS和JS文件
mitmproxy脚本编写- 数据截取-代理响应
3.框架源码专题
框架源码主要从4个方向讲述：scrapy框架，feadper,Scrapy_redis,,爬虫集群部署
1.框架基本使用
安装Scrapy以及创建Scrapy项目
定义爬虫提取数据
提取数据定义数据存储
运行爬虫
scrapy功能学习
Selector数据处理
xpath选择器
CSS选择器
scrapy对接MySQL
Scrapy对接MongoDB
Scrapy文件存储
scrapy中间件
Scrapy中的中间件类型
中间件的执行顺序以及编写和配置
常见的中间件应用场景
2.feapder
feapder任务调度机制
Feapder中间件实现异常处理
框架对接selenium实现自动化
feapder分布式采集
3.爬虫集群部署
scrapyd框架
环境部署
scrapyd API处理爬虫
scrapyd多任务管理
gerapy部署爬虫
gerapy环境搭建
gerapy服务器部署
gerapy打包框架项目
feapder部署
feapder应用场景和原理
feapder镜像拉取
docker部署feapder部署环境
feapder部署scrapy项目
4.JavaScript逆向
本系列将从九个方面讲解JavaScript逆向专题1.浏览器调试
js作用域
浏览器对象属性
浏览器控制台
2.国标哈希算法
sha1算法
sha256算法
sha512算法
md5
hmac算法
python和JavaScript实现
3.国标对称加密
DES算法
AES算法
crypto-js模块使用
pycryptodome
4. 国标非对称加密
RAS算法原理
非对称特征
JavaScript算法还原
ras模块
jesencrypt
5.webpack模块打包
webpack打包原理
webpack构造形式
全局导出加密函数
6.JS混淆
JavaScript压缩 混淆原理
OB混淆特性
OB混淆JavaScript
7.cookie反爬处理
cookie加解密原理
cookie和session机制
cookie hook技巧
acw_sc_v2调试
8.AST抽象语法树
AST 技术介绍
字符串和编码还原
evaluate方法学习
JavaScript实战解混淆
9.JS安全产品攻防
瑞数
acw_sc_v2
六丶APP逆向
APP逆向专题主要讲解：java语法编程，NDK，HOOK和APP RPC
1.java语法编程
java语法搭建
java基础语法和数据类型
java控制流程
java数据类型
java数据结构，面向对象
java继承关系链
java包的概念
2.NDK开发
NDK数据类型
java反射和NDK结合
JNI调用java函数对象和访问java方法和类
3.hook专题
Frida Hook
Frida构造数组-对象
Frida与脱壳
Frida Hook壳与插件dex
Frida编译源码
Frida检测反调试
APP脱壳
smail语法
4.APP RPC
frida rpc插件编写
使用frida远程调用java代码
sekiro框架源码拆解
七丶爬虫实战
第七章主要是一些爬虫实战的视频
