多易 亿级在线实时动态规则运营系统(v1架构)
2023-02-19 15:15 作者:bili_1534047163 | 我要投稿
磁盘数量
至少3个磁盘
log_dirs=/data1,/data2,/data3
磁盘类型
SSD 是固态硬盘,比机械硬盘要快, SSD的快主要是磁盘随机读写,比较贵
kafka是顺序写,机械硬盘顺序写的性能比内存随机读写的性能要快,所以kafka集群使用机械硬盘也能满足
内存角度
kafka自身的jvm是用不了过多堆内存,kafka的零拷贝机制,kafka 的快速的主要原因是利用了内核缓冲区的OScache,这样设计是规避掉用jvm对象来保存数据,很多数据结构并不在jvm内部使用,而是在OSCache内部,所以kafka jvm配置5G 就够了