开发技术

数据分析层

• MapReduce

• Hive

• SparkSQL

• SparkCore

• azkaban/crontab

• Hive + HBase(SQL)

• HBase + Phoenix

数据展示层

• Sqoop 导入到 MySQL 或是HBase

• 结合三大框架： Spring + Sturts2 + MyBatis ==> SSM

• Echarts工具

功能

设计并开发一个网站用户行为分析系统。主要功能包括：

1. 数据采集系统：主要负责各种用户信息数据的收集工作。

2. 原始数据存储系统：主要负责把收集出来打大量数据储存到可以做分析的系统平台上。

3. 原始数据清洗系统：主要负责原始数据的格式化清洗和查询出自己业务需要的数据格式。

4. 可用数据存储模块：主要负责把清除出来的需要用的数据放到数据仓库中使之可以用hql进行查询分析，然后得出每个业务需要的不同数据指标。

5. 数据分析展示系统：主要负责把分析出来的数据指标展示出来给人们分析这个网站的友好度，和他的完成度或者找出网站中出现了什么问题，来分析用户行为的特征做出不同的策略。

运行截图