PB安全日志秒级查询 腾讯安全发布云原生安全数据湖

作者：郝俊慧 来源：IT时报

日志，系统的隐形记录者，每次开关机、每次程序执行、每次系统报错……企业服务器、云基础设施、应用程序等等的全部执行过程，都会被忠实地记录下来。

然而，这个简单的系统动作，近几年来，却随着企业规模增长、数字化程度加深和安全设备的增加，面临数量指数级上升、流量洪峰突发、检索速度延迟三大挑战，给企业安全管理带来不少烦恼。

9月20日，腾讯安全发布全新一代云原生安全数据湖，可支撑企业在PB级别数据里实现秒级查询，同时成本可控。据悉，在同等数据规模下，该产品的硬件成本仅为同类开源软件的1/10。

日志的“烦恼”

默默记录一切的安全日志，早已在不经意间成为企业数字化的“关键先生”。两年前，腾讯安全发现，客户普遍反映遇到日志存储成本攀升、查询效率低下等问题。

日志和业务强相关，业务的高低峰会直接导致日志量的高低峰，与单个业务相比，日志的流量洪峰波动状况更加频繁，也更加不可预估，可能瞬间就有几十万 QPS、GB/s 日志写入。

另一方面，随着数字化程度加深，日志量从每天几千万条增长到十万亿条级别，长此以往，企业日志存储容量指数级上升，甚至动辄PB级别，很多系统在处理上存在瓶颈。

日志数据应用场景也很敏感。很多系统安全告警、监控都直接基于日志配置，这意味着，日志从产生到可检索出来的延迟时间必须非常短，，甚至是秒级，否则日志价值将大打折扣。“网络安全是实时对抗的，任何以‘小时’为单位的数据分析产品肯定都不适用。”腾讯安全大数据实验室高级研究员杨浚宇表示。

目前，大多数企业的日志处理平台普通使用开源大数据ELK等组件快速搭建，以收集告警数据为主，分析数据不全，而且执行长周期数据查询需要分钟级甚至小时级等待，而且成本高企，硬件成本高，而同类商用软件，只能支持TB级数据处理，且授权费用高昂。

全新“云原生”方案

破解“不可能三角”，只能跳出旧有框架，构建一套全新架构，在技术上实现彻底的改造和升级。腾讯安全大数据实验室基于多年的大数据分析处理能力，花费两年时间自主研发了一款面向云原生的安全数据湖产品。

据了解，这款安全数据湖产品在日志数据无需修改、大量字段重复、有时间戳等方面做了一系列创新，比如采用MPP（大规模并发）架构、Rust语言，针对日志及安全场景进行专项优化；使用列存储实现极致压缩比，无索引架构避免索引开销；通过原子能力，实现了数据处理、查询、存储、分析一体化……

经过上述一系列创新，最终围绕云原生技术（容器、K8S、声明式 API、弹性伸缩等），腾讯云建设了全套符合现代数字化业务的发展需求架构，支撑多实例、多用户，能根据企业的实际需求实现弹性扩容，可以弹性适应PB 级突发流量。同时，实现了极致的压缩比和数据处理效率，将企业的安全运营存储成本降低90%。

此外，腾讯云原生安全数据湖具备“插件化”应用开发能力，企业用户可根据需求定制上层应用，并通过平台+APP+合作伙伴构建完整的日志应用生态体系，全面赋能各类安全场景。

目前，该数据湖已经集成在腾讯安全SOC+产品下，为企业安全运营管理提供基座。未来，腾讯安全还会对外提供独立产品，助力企业构建云原生数据湖平台。