2023年Linux的知识技术合集(基础入门到高级进阶)
「C++/Linux服务器开发」别名可以叫「C++后台开发」,目前BAT里面都是有大量的C++开发岗位,鹅厂在c++后台开发岗都是急需。虽然岗位对技术要求难度系数较高,但是有大厂情结的朋友们还是可以冲一冲的。 很多有c/c++语言基础的朋友,在面试后台岗的时候都会有一个疑问,面试大厂的时候,技术水平要到一个什么程度才能进? 这里就分为校招和社招。校招的话对于技术层面的要求会相对较低。 会C with STL以及常见的数据结构与算法,并且笔试能当场做出leetcode中等难度以下的人就有70分了,如果笔试的时候对STL、auto、lambda等用法都很熟练,都有加分。对于实习生来说,表现不错就可以招进来,剩下网络编程和linux进去之后会再教你。 所以校招更看重的是你的基础和学习能力。实习进去之后再观察你的技术学习进度决定是否给你发offer。当然,如果你能提前掌握Linux环境编程,网络编程等技术更会加分,毕竟不管是哪个赛道,内卷都是有的。 还不熟悉的朋友,这里可以先领取一份c/c++Linux后台开发新手学习资料包(入坑不亏)Q群1106675687:

本文介绍下Linux从入门到高级进阶的学习路线,整个学习路线,直接对标腾讯c++后台开发岗位,知识点包括C/C++,Linux,Nginx,ZeroMQ,MySQL,Redis,fastdfs,MongoDB,ZK,流媒体,CDN,P2P,K8S,Docker,TCP/IP,协程,DPDK等等 。其次你把整个内容,全部消化,是完全可以胜任任何c++开发岗位招聘,Linux服务器开发招聘。 (技术点目尾都提供免费视频,关注+私信关键字:1 。取) 什么是Linux?
Linux是一个操作系统软件。与Windows不同的是,Linux是一套开放源代码程序的、并可以自由传播的类Unix操作系统,它是一个支持多用户、多任务、多线程和多CPU的操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。 Linux继承了Unix以网络为核心的设计思想,是一个性能稳定的多用户网络操作系统。 inux零基础入门:如何快速入门,需要哪些知识点? 1:linux环境专栏 linux系统安装linux开发环境ssh与Samba配置linux开发环境Gcc配置linux的命令操作8条目录操作与5条文件操作
2:shell 脚本编程案例 3:统计文件单词数量(文本操作) 状态机实现文件单词统计
4:实现通讯录(结构体) 通讯录实现的架构设计与需求分析链表的实现与数据结构的定义架构接口层的实现业务逻辑的分析与实现通讯录人员操作代码的调试通讯录人员操作代码调试与运行通讯录删除人员操作的调试与BUG解决文件保存于加载的接口层实现文件保存业务实现通讯录调试与运行
5:并发下的技术方案(锁) 多线程并发锁的项目介绍多线程并发锁的方案一互斥锁多线程并发锁的方案一自旋锁多线程并发锁的方案一原子操作
附:

Linux入门教程资料包QQ群:1106675687领取。 Linux服务器开发
1.精进基石
①数据结构与算法 红黑树(应用场景、进程调度cfs、内存管理、左旋与右旋等)B树和B+树(定义证明、插入、删除、遍历、查找、指针等)Hash与BloomFilter,bitmap(函数实现、应用场景、布隆过滤器等)
②设计模式 创建型设计模式(单例、策略、观察者、原型等设计模式)结构型设计模式(适配器、代理、责任链、状态桥接、组合模式)
③c++新特性 stl容器,智能指针,正则表达式新特性的线程、进程、原子操作、lamda表达式
④Linux工程管理 Makefile/cmake/configure(工作ipcs原理、文件编译、cmake的写法等)分布式版本控制git(工作流程、分支管理、服务器搭建等)Linux系统运行时参数命令(ipcs、uptime、iostat、sar、mpstat等)
2.高性能网络设计
①异步网络库zvnet 网络io与io多路复用epoll,kqueue(项目)事件驱动reactor的原理与实现(项目)http服务器的实现(项目)
②网络原理 服务器百万并发实现(实操)redis,memcached,nginx网络组件(理论)posix API与网络协议栈(理论)UDP的可靠传输协议QUIC(项目)
③协程框架NtyCo的实现 协程设计原理与汇编实现(项目)协程调度器实现与性能测试(项目)
④基于dpdk的用户态协议栈的实现 用户态协议栈设计实现(项目)应用层posix api的具体实现(项目)手把手设计实现epoll(项目)
⑤高性能异步io机制 io_uring 与epoll媲美的io_uring(项目)io_uring的使用场景(理论)
3.基础组件设计
①池式组件 手写线程池与性能分析(项目)内存池的实现与场景分析(项目)MySQL连接池的实现(项目)
②高性能组件 原子操作CAS与锁实现(项目)无锁消息队列实现RingBuffer(项目)定时器方案红黑树,时间轮,最小堆(项目)手写死锁检测组件(项目)手写内存泄漏检测组件(项目)手把手实现分布式锁(项目)
③开源组件 异步日志方案log4cpp(项目)应用层协议设计ProtoBuf/Thrift(项目)
4.中间件开发
①redis redis相关命令详解及其原理redis协议与异步方式存储原理与数据模型主从同步与对象模型
②MySQL SQL语句,索引,视图,存储过程,触发器MySQL索引原理以及SQL优化MySQL事务原理分析MySQL缓存策略
③Kafka Kafka使用场景与设计原理Kafka存储机制
④微服务之间通信基石gRPC gRPC的内部组件关联基础http2的gRPC通信协议
⑤nginx nginx反向代理与系统参数配置conf原理(实操)nginx过滤器模块实现(项目)nginx handler模块实现(项目)
5.开源框架
①游戏服务器开发skynet sky net设计原理sky net网络层封装以及lua/c接口编程sky net重要组件以及手撕游戏项目
②分布式API网关 高性能web网关 OpenrestyKong动态负载均衡与服务发现
③高性能存储spdk的文件系统实现(项目) spdk的工作原理与文件系统架构分析文件系统的posix api实现文件系统的性能测试
④高性能计算CUDA gpu并行计算cuda的开发流程音视频编解码中的并行计算
⑤并行计算与异步网络引擎workflow workflow的应用场景workflow的组件实现
⑥物联网通信协议mqtt的实现框架mosquitto mqtt的高效使用场景mqtt的broker
6.云原生
①docker docker风光下的内核功能docker容器管理与镜像操作docker网络管理(项目)docker云与容器编排(项目)
②kubernetes k8s环境搭建pod与service的用法k8s集群管理(项目)k8s二次开发与k8s API(项目)
7.性能分析 ①性能与测试工具 测试框架gtest以及内存泄漏检测性能工具与性能分析火焰图的生成原理与构建方式
②观测技术bpf与ebpf 内核bpf的实现原理bpf对内核功能的观测
③内核源码机制 进程调度机制内核内存管理运行机制文件系统组件
8.分布式架构 ①分布式数据库 kv存储rocksDB的使用场景TIDB存储引擎的原理TIDB集群方案与replication原理
②分布式文件系统 内核级支持的分布式存储Ceph分布式ceph存储集群部署
③分布式协同 注册服务中心Etcd协同时间 用户态文件系统 fuse(项目)快播核心技术揭秘 P2P框架的实现
项目实战实操
1.dkvstore实现 KV存储的架构设计网络同步与事务序列化KV存储的性能测试
2.图床共享云存储 fastdfs架构分析和配置文件传输和接口设计产品上云公网发布/测试用例
3.微服务即时通讯 IM即时通讯项目框架分析和部署IM消息服务器/文件传输服务器消息服务器/路由服务器数据库代理服务器设计文件服务器和docker部署产品上云公网发布/公网测试上线
适宜的工程师人群(共分为8大群体) 1.从事业务开发多年,对底层原理理解不够深入的在职工程师
2.从事嵌入式方向开发,想转入互联网开发的在职工程师
3. 从事Qt/MFC等桌面开发的,薪资多年涨幅不大的在职工程师
4.从事非开发岗位(算法岗,运维岗,测试岗),想转后台开发岗位的在职工程师
5.工作中技术没有挑战,工作中接触不到新技术的在职工程师
6.自己研究学习速度较慢,不能系统构建知识体系的开发人员
7.了解很多技术名词,但是深入细问又不理解的工程师
8.计算机相关专业想进入大厂的在校生(本科及以上学历,有c/c++基础)
配套书籍资料 1. MySQL: 《高性能MySQL 第3版》
2. Nginx: 《深入理解Nginx: 模块开发与架构分析(第2版)》(陶辉)
3. Redis: Redis设计与实现 (黄健宏)
4. Linux内核: 《深入理解Linux内核架构》 (郭旭 译)
5. 数据结构与算法:《算法导论》(第3版)
6.性能分析:《性能之巅洞悉系统、企业与云计算》
7. MongoDB: 《MongoDB权威指南》
8. Ceph: 《Ceph分布式存储学习指南》 (Ceph中国社区)
9. Docker: 《Docker容器 与容器云(第2版)》
10. TCP/IP: 《Tcp/Ip详解卷一卷二卷三》
11. Linux系统编程: 《Unix环境高级编程》
12. 计算机: 《深入理解计算机系统》
13. DPDK: 《深入浅出DPDK》
14. k8s: 《Kubernates权威指南》 龚正等编著
15. bpf: 《BPF之巅洞悉Linux系统和应用性能》
如果是想在c/c++后台开发方向得到有效的快速提升(不是所谓的速成),这份学习体系是大家绕不过的具有参考意义的提升路线。从学习路线中可以对c/c++后台开发方向的技术栈有一个清晰的认识。 Linux内核
Linux内核主要由进程调度(SCHED),内存管理 (MM),虚拟文件 系统 (VFS),网络 接 口(NET)和进程间通信(IPC)构成。进程调度控制系统中多个进程对CPU的访问,使得多个进程在CPU中微观串行,宏观并行。内存管理主要控制多个 进程安全地共享主内存区域,当CPU提供MMU单元的时候,linux内存管理为每个进程提供虚拟内存到物理内存的转换。虚拟文件系统屏蔽底层各种硬件的 具体细节,为所有设备提供统一的接口。 还不熟悉的朋友,这里可以先领取一份Linux内核驱动开发新手学习资料包(入坑不亏)Q群865977150:

这里给大家推荐零声教育全网独家的【Linux内核源码分析与项目实战】课程体系,通过原理技术+源码分析+案例分析+项目实战,全面解析计算机底层原理,20项目案例,2W+行手写代码,全面解析6个内核底层原理开发技术:
1.进程管理专题
操作系统与汇编基础 Linux操作系统进程分析计算机基础技术进程原理Linux特性与内核版本进程特征与调度算法死锁产生必要条件进程状态及转换进程调度策略与调度依据存储器结构与分区存储管理主存储器结构及技术指标分配策略与分区回收页表与交换技术物理内存与虚拟内存段式存储管理与页式存储管理文件管理基础架构x86_ ARM处理器架构x86架构整体部件分析ARM处理器架构分析64位通用寄存器结构汇编基础与寻址方式SMP架构与NUMA架构ARM Cortex-A9处理器架构ARM常用指令系统详解EADLINESCHED_ FIFOSCHED_ RRSCHED_ NORMAL四种进程优先级调度优先级静态优先级正常优先级实时优先级五大调度类解析stop_ sched_ classidle_ shced_ classdI_ sched_ classrt_ sched_ classcfs_ sched_ class多核调度分析调度组与调度域负载计算与均衡算法SMP调度类处理器负载均衡实战操作:进程优先级与调度策略实战操作: QEMU调试L inux内核实战操作:动手编译自己Linux内核实战操作:进程间通信实现
2.内存管理专题
内存管理基础部分 虚拟地址空间布局架构内存管理架构用户虚拟地址空间布局内核地址空间布局SMP/NUMA模型组织物理内存组织结构与模型系统调用sys_ mmap/sys_ munmap物理内存组织三级结构页表/页表缓存原理处理器缓存机制及SMP缓存一致性内存分配器(bootmem/ memb lock)bootmem分配器原理memblock分配器原理及分配流程伙伴系统算法与实现伙伴系统原理机制分配页和释放页实现块分配器(SIab/S1ub/Slob)原理实现内存映射数据结构分析系统调用实现创建/删除内存映射实战操作:SIab块分配器实现实战操作:进程地址空间在内核(VMA实现)
内存管理进阶部分 brk/kmalloc/vmalloc(系统调用分析)不连续内存分配器原理页表缓存(TLB)与巨型页TLB表项格式及管理ASID原理/VMID原理处理器对巨型页的支持标准巨型页原理及查看LRU算法与反向映射缺页异常分析写时复制缺页异常do_ page_ fault函数分析文件映射缺页中断匿名页面缺页异常内存反碎片技术内存碎片整理算法虚拟可移动区域技术原理内存检测与死锁检测内核调优参数/proc/sys/kernel//proc/sys/ vm//proc/sys/fs/内存屏障与内核互斥原理编译器屏障处理器屏障ARM64处理器内存屏障分析内存与Kasan工具分析五大常见内存访问错误Kasan内核检测工具应用页回收原理机制发起页回收计算扫描页数收缩活动页链表回收不活动页页交换与回收slab缓存缓存着色内存缓存数据结构空闲对象链表及着色内核调试方法printk/oops分析实战操作:内存池原理及实现实战操作:perf性能分析工具perf原理机制与安装配置perf采集数据命令29种工具应用perf采集数据至火焰图分析
3.网络协议栈专题
网络基础架构 sk_ _buff与net_ device详解.套接字缓冲区管理数据从套接字缓冲区获取TCP首部sk_ buff及net_ device结构分析TCP/UDP/ICMP协议栈分析套接字分析发送与接收UDP数据包分析发送与接收TCP数据包分析发送/接收1CMP/IPv4/IPv6消息.传输层分析流控制传输协议(SCTP)数据报拥塞控制协议(DCCP)IPsec(互联网安全协议)IPsec基础知识XFRM框架/策略/状态传输模式/隧道模式/IPsec高可靠性IPv4策略路由选择FIB信息_缓存_下一跳生成及接收1CMPv4重定向消息无线子系统分析MAC帧结构分析扫描/身份验证/关联mac80211接收与传输实现高吞吐量(802.11n)网状网络(802.11s)IPv4重定向消息/FIB表Netfilter内核防火墙报文处理Netfilter框架简介数据包选择Iptables数据包过滤NAT(网络地址转换)连接跟踪与数据包操纵十Iptables基础/表和链及过滤规则Netfilter5种挂接点详解注册Netfi Iter钩子回调函数源码分析NAT钩子回调函数分析实战操作:内核NetI ink套接字及实战数据结构设计与API系统调用内核模块与用户应用程序设计
网络协议栈架构 Linux内核邻接子系统分析创建与释放邻居AP1接口分析.ARP协议(IPv4)发送与接收请求分析高级路由选择组播路由选择策略路由选择多路径路由选择接收/发送(IPv4和1Pv6)数据包InfiniBand栈的架构RDMA(远程直接内存访问)结构Inf iniBand组件与编址InfiniBand功能与数据包NIC数据包接收与发送分析NIC实现原理与NIC分类NIC数据包发送与接收流程分析eBPF原理与实现eBPF工作原理详解eBPF开发环境搭建eBPF如何在内核运行与交互实战操作:epoll内核原理与实现实战操作:内核防火墙iptables实现实战操作:eBPF实践分析进程跟踪内核跟踪性能优化
4.设备驱动专题
设备驱动基础架构 i/0体系结构系统总线(PC1、 ISA、SCSI、 USB等)与外设交互及控制设备访问设备详解内核块设备详解块设备1/0操作集合及源码分析通用磁盘及分区源码分析Linux设备模型深度剖析LDMLDM数据结构分析设备驱动程序原理与实现kobject结构分析kobj_ type/内核对象集合设备模型和sysfssysfs文件及属性轮询sysfs属性文件资源分配资源管理i/0内存分析i/0端口 分析字符设备操作主设备与次设备打开设备文件分配与注册字符设备写文件操作实现open/release方法read/writeiiseek/poll方法填充file_ operations结 构体实战操作:USB设备驱动实现USB体系架构设计驱动程序数据结构结构make及USB设备驱动测试实战操作:PC1设备驱动实现实战操作:TTY设备驱动实现
NIC网络接口卡 数据结构套接字缓冲区网络设备接口缓冲区管理与并发控制网络吞吐量协议性能驱动程序性能实战操作:NIC网卡驱动架构实现NIC网卡驱动的recv与sk_ buffNIC网卡open与stop的实现NIC编译与用户态协议栈
5.文件系统专题
虚拟文件系统 文件系统类型与文件模型研究磁盘文件系统(DF)网络文件系统(NF)inode链接API编程接口VFS数据结构超级块(super_ block)挂载描述符 (mount结构体)索引结点(inode结构体)目录项缓存(dentry结构体)
文件系统调用 打开/关闭文件创建/删除文件读/写文件实现文件回写技术原理/接口实现
挂载文件系统 系统调用mount处理流程绑定挂载/挂载命名空间挂载/注册rootfs文件系统无持久文件系统proc文件系统proc数据结构初始化及装载proc管理proc数据项数据读写实现系统控制机制sysfs文件系统sysfs数据结构装载文件系统文件和目录操作向sysfs添加数据内容实战操作:procfs文件系统实现实战操作: sysfs文件系统实现
磁盘文件系统 Ext2文件系统Ext2物理结构Ext2数据结构分析Ext2文件系统操作Ext4_ 日志JBD2Ext4文件系统特性Ext4文件系统数据结构Ext4_日志JBD2
数据同步 内核定时器原子操作与屏障自旋锁机制自旋锁的实现与变体spin_ lock()/raw_ spin_ lock() 函数分析互斥锁mutex数据结构分析互斥锁的快速与慢速通道乐观自旋锁等待机制mutex_ unlock() 函数分析读写锁与RCU实战操作:同步管理RCU实现
6.内核组件专题
内核活动组件 中断处理流程及IRQirq_ _desc数据结构分析开启_禁止中断软硬中断分析中断控制器及域详解tasklet_等待队列工作队列审计规则及数据结构分析
开源社区
如何参与开源社区如何提交Linux内核补丁管理员Bugzilla参数配置及如何管理用户在Gitee创建一个开源项目
要转向内核开发,嵌入式开发人员需要掌握以下知识:
1. C语言编程:C语言是内核开发的主要编程语言,需要熟练掌握其语法和编程技巧。
2. 操作系统原理:需要了解操作系统的基本原理,包括进程管理、内存管理、文件系统等。
3. Linux内核:需要深入了解Linux内核的架构、模块、驱动程序等。
4. 设备驱动开发:需要掌握设备驱动的开发流程和技术,包括字符设备、块设备、网络设备等。
5. 调试技能:需要掌握调试技能,包括使用调试工具、分析内核崩溃等。
6. 硬件知识:需要了解硬件的基本原理和操作,包括处理器、内存、外设等。
7. 开源社区:需要了解开源社区的文化和开发流程,以便更好地参与内核开发。
内核难点与学习方法:
1、知识点多,关系错综复杂。
2、每一个知识点的难度都很难。
3、代码量很大,内核有几百万行。
4、操作系统相关的知识。
5、程序结构上的很多规范要求
适合于
Linux 内核优化、内存管理 ,内核开发岗位、定制化自己OS
深入系统内核研究、网络安全逆向分析
提升自己能力,为了更好做应用层开发提供核心依据
跳槽面试大厂(腾讯、华为、中兴、中微、中芯等等)
从事业务开发多年,对底层原理理解不够深入的在职工程师
从事嵌入式方向开发,想转入内核开发的在职工程师
从事Qt/MFC等桌面开发的,薪资多年涨幅不大的在职工程师
从事非开发岗位(算法岗,运维岗,测试岗),想转内核开发岗位的在职工程师
自学的弊端
:网上资料繁杂,知识零碎,看过之后容易很快就忘掉,遇到问题只能自己钻研,有些很简单的问题不知不觉就浪费了很多时间,除非你是定力耐心毅力非常强的人,不然学习起来会没有方向感,盲目的看书枯燥乏味耗时比较长,会导致没有学习积极性失去信心与坚持下去的决心等等。总的来说自学不能说完全不行,只是适合少数人,自学的难度比报班系统学习一定是困难很多很多倍,多付出很多很多倍的。
反之报班学习的优势在于:
节约时间,知识串联:视频学习老师会提取知识点讲解出来比看书快了很多倍,并且理解起来比枯燥乏味的读书更有意思,尤其计算机相关的理论知识更是繁琐复杂交错依附,报班会让你更加系统的学习,知道前因后果来龙去脉,老师会把知识串联起来交给你,配套的资料发给你,而不是独立零散的知识点学习,对于提升来说,是高效且快速的。
老师答疑
:遇到不懂得问题,老师会在自己看到的第一时间给到解答,24小时的答疑服务,会大大节约了你的学习时间。老师在知识体系,课程内容上,简历书写,面试指导,谈薪技巧等等方面都有着丰富的经验,课程内容也是由简到难,源码分析勾画重点,不做无用功,会提供配套的学习资料,图文并茂,讲解上通俗易懂,技术慢慢深入串联,学员通过和老师的沟通交流从而轻松学习,来达到自己想要达到的目标。
时间自由学习高效
:很多在职的开发人员除了日常上班大部分时间还要加班,对于提升自己都是挤时间,没有完整的学习时间,这样其实给自学增添了很大的难度,跟着视频学习每日定好进度下班以后有固定的学习时间学习内容,或者周末抽几个小时整时间学习,有方向感且高效。
要说报班学习的弊端
,那我只能想到一个,就是会有金钱上的一个付出,但是技术学会了是会跟随你一辈子的,现在的付出可能就是以后你一个月的涨薪部分,这个账怎么算都不会亏。投资自己 是风险最低 收益最高的,在大环境中安于现状才是井底之蛙,不断学习提升自己才是程序员最需要做的,提升工作竞争力,让自己在现在的公司被需要! 现如今各行各业内卷都很严重,不要说行业不行,而是大家越来越专业,这个是行业发展的必然性,优胜劣汰适者生存,时代在改变,不提高自己的核心竞争力就要出局。
最后:
给校招的小伙伴一句话:第一份工作不亚于一次高考,珍惜校招,社招的竞争是你目前想象不到的。能去大厂觉不妥协,IT行业第一份工作背景越好,起点越高,后续发展空间越好!
给那些1-3年的安于现状的伙伴一句话:
不要抱怨市场,不要安于现状,在低端,往中端领域看,在中端往高端领域看。认知以及对自身的要求,都会有所改变。
给那些担心35岁的伙伴一句话:
决定上限的不是年纪,而是技术。最后:希望学习路线对你有所帮助,希望码农的我们越来越好!

