黑马亚秒级实时计算项目进阶实战

离线计算

离线计算就是在计算开始前已知所有输入数据，输入的数据不会再发生变化，且在解决一个问候就要立即得出结果的前提下进行的计算。

离线计算框架主要有hadoop、spark、MapReduce、HDFS。其中MapReduce被各大公司作为数据处理的主要方案。

MapReduce的思想也是从早期的函数式编程语言中借鉴而来，推广到了分布式系统中。

传统的数据处理方式通常是将数据导入到专门的数据分析工具中，这样会面临两个问题：

1、如果源数据非常大时，往往数据的移动就要花费较长时间。

2、传统的数据处理工具往往是单机模型，面对海量数据时，数据处理的时间也是一个很大的问题。