系统搭建的目标

• 需要定义规则，提供可视化界面给业务人员动态配置，无需重启系统即使生效，减少沟通成本和避免重复开发，总之就是要更加 自动化 和 易配置

• 采集实时数据，根据实时事件做实时推送，总之就是要 实时

技术选型

数据采集、转换、存储

• 采集：状态类的数据主要放在各个业务系统的关系型数据库中，由于历史原因有postgres和mysql，需要实时采集表的数据变更，这里使用kafka connector读取mysql的binlog或postgres的xlog，另外还有标签系统计算出来的标签，在kafka中；而事件类数据主要来源于前端上报事件（有专门的服务接收再丢到kafka），关系型数据库里面也可以提取一些事件。

• 转换：采集出来的数据需要做一些格式统一等操作，用kafka connector。

• 存储：采用Elasticsearch存储用户数据，ES查询不像mysql或mongoDB用B-tree 或B+tree实现索引，而是使用bitset和skip list来处理联合索引，特别适合多字段的复杂查询条件。