1 需求分析

在互联网中，我们经常会见到城市热点图这样的报表数据，例如在百度统计中，会统计今年的热门旅游城市、热门报考学校等，会将这样的信息显示在热点图中。我们根据每个用户的IP地址，与我们的IP地址段进行比较，确认每个IP落在哪一个IP端内，获取经纬度，然后绘制热力图。

因此，我们需要通过日志信息（运行商或者网站自己生成）和城市ip段信息来判断用户的ip段，统计热点经纬度。

2 技术调研

因为我们的需求是完成一张报表信息，所以对程序的实时性没有要求，所以可以选择内存计算spark来实现上述功能。

3 数据准备

ip日志信息

城市ip段信息

4 代码开发

整体步骤：

1、加载城市ip段信息，获取ip起始数字和结束数字，经度，维度

2、加载日志数据，获取ip信息，然后转换为数字，和ip段比较

3、比较的时候采用二分法查找，找到对应的经度和维度

4、然后对经度和维度做单词计数

完整代码：

整体步骤

5 广播变量的使用

要统计Ip所对应的经纬度, 每一条数据都会去查询ip表

每一个task 都需要这一个ip表, 默认情况下, 所有task都会去复制ip表

实际上 每一个Worker上会有多个task, 数据也是只需要进行查询操作的, 所以这份数据可以共享,没必要每个task复制一份

可以通过广播变量, 通知当前worker上所有的task, 来共享这个数据,避免数据的多次复制,可以大大降低内存的开销

sparkContext.broadcast(要共享的数据)