什么是大数据?

大数据定义:是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。
大数据特点
Volume[ˈvɑːljuːm]
(大量)PB级别Velocity[vəˈlɑːsəti]
(高速)获取数据速度和分析数据的速度Variety [vəˈraɪəti]
(多样)来源复杂Value[ˈvæljuː]
(价值)高价值

主讲老师:靳幸福
大数据能做什么?

电商行业

金融行业

教育行业

医疗行业


大数据架构师:大数据平台的架构设计、核心代码开发等任务;根据项目要求编写相关技术文档;负责大数据平台的架构评审;负责建立和维护大数据平台技术标准规范,指导开发人员编写代码。
数据仓库工程师:数据仓库的搭建、数仓的分层设计、数仓SQL分析。
大数据开发工程师:是指从事大数据采集、清洗、分析、治理、挖掘等技术研究,并对研究结果加以利用、管理、维护和服务的人员。
Hadoop开发工程师:主要对Hadoop平台的调优和二次开发,包含HBase、Hive的调优和升级。
Spark开发工程师:主要通过Spark框架完成离线和实时的大数据分析。
ETL工程师:ETL原本是作为构建数据仓库的一个环节,负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。
大数据集群运维工程师:维护大数据集群中的作业能够正常运行,收集错误或异常,并解决它们。
数据挖掘工程师:从大量数据中,通过编写模型挖掘数据的商业价值。
大数据薪资待遇怎么样?

以下待遇汇总均是全国的平均水平,如果仅统计一线城市的话,月平均工资应该会更高。
如下是招聘网站统计的大数据架构师待遇水平:

如下是招聘网站统计的Hadoop开发工程师待遇水平:

大数据开发工程师待遇水平

数仓工程师待遇水平

ETL工程师待遇水平

大数据分析工程师待遇水平

注:其中多个大数据岗位对学历要求:专科、本科、研究生
是不是感觉?秒杀、吊打各种岗位了?看看大厂的招聘,你就更有“哇塞,好刺激”的感觉。大厂待遇更恐怖,更吓人,更尿性!下面是字节跳动招聘大数据开发工程师的待遇,注意如下几个重点信息:
“抖音电商”! 进了这种部门,前途大大的有啊
待遇:45K-90K 红利期啊,55万-108万年薪,不香吗?
学历要求:本科以上 红利期啊,哪有那么多硕士博士!
工作要求:5-10年 红利期啊,5年很快就到了!

如果5-10年工作经验觉得太远,看如下3-5年经验的薪资:

什么人适合学习大数据?
适用人群:
在校大学生(专科、本科、研究生)
刚毕业学生(专科、本科、研究生)
其他行业转行人员
从事开发相关工作1-3年左右的开发人员
有一定的Java基础是最好的,可以直接学习大数据课程。
如果您是技术小白,也没有关系,我们也提供Java基础的学习,然后再学习大数据课程。




学习进度
最好按照发放的学习计划表进行,偶尔进度拉下,也可以利用周末时间进行弥补。这样你的技术才能在短期内快速提高!
不要在某些不必要技术细节上过分的钻牛角尖,比如vim相同功能的不同操作方式用熟一种方式,另外的方式了解即可。
多敲代码
纸上得来终觉浅,绝知此事要躬行!
不要以为视频看懂就万事大吉了,关键代码一定要自己敲代码!
多画图
学了一门技术后,除了前敲代码之外还有一项比较有用的学习方法就是多画图。
多画理清思路的数据流程图
多画编程的步骤图:比如完成一项需求,往往需要多个job依次执行。每个job做什么事情,每个job中的每个任务多什么事情?
多思考,归纳总结
每个案例学完之后,每段代码敲完之后,都要总结。
大数据编程比较灵活,一个需求往往有多种解决方案。
多画归纳梳理的xmind脑图进行总结,并方便于复习。
坚持写技术博客
学完一个阶段的课程,便可以写一篇或几篇技术文章,发到自己的博客(比如CSDN、知乎)上。一是总结了自己所学,也可以和同行交流,提升自己的知名度。
多看日志,学会独立解决问题
解决问题只能靠日志信息,80%的问题日志中都给出了解决问题的线索。
从日志信息中提取关键词语,通过www.cn.bing.com或www.baidu.com搜索引擎,寻找解决方案。
整理Bug文档
将遇到的Bug解决后,记录到一个文档中,下次遇到先去文档中找,文档参考格式如下:
1.异常信息
2.原因分析
3.解决方案
多交流
如果一个问题卡住你半个小时以上,通过各种方式都不能解决,及时和同组的同学交流请教,或找技术老师帮忙解决。
恒心,很强的自我约束能力
切勿三天打鱼,两天晒网,大学就是这么被浪费的。
这就是"高手"和普通程序员的最大区别
看优秀的书
《程序员的数学》,《大数据之路:阿里巴巴大数据实践》等
相信一分耕耘一分收获!
免费获取更多大数据资料 点赞+评论资料