至暗时刻

2023年3月5日20:30，SRE收到大量服务和域名的接入层不可用报警，客服侧开始收到大量用户反馈B站无法使用，同时内部同学也反馈B站无法打开，甚至APP首页也无法打开。基于报警内容，SRE第一时间怀疑机房、网络、四层LB、七层SLB等基础设施出现问题，紧急发起语音会议，拉各团队相关人员开始紧急处理（为了方便理解，下述事故处理过程做了部分简化）。

初因定位

啥都没有。

原因说明

背景

又有个【】把gcd参数传了一个0。

根因

• Lua 是动态类型语言，常用习惯里变量不需要定义类型，只需要为变量赋值即可。

• Lua在对一个数字字符串进行算术操作时，会尝试将这个数字字符串转成一个数字。

• 在 Lua 语言中，如果执行数学运算 n % 0，则结果会变为 nan（Not A Number）。

• _gcd函数对入参没有做类型校验，允许参数b传入："0"。同时因为"0" != 0，所以此函数第一次执行后返回是 _gcd("0",nan)。如果传入的是int 0，则会触发[ if b == 0 ]分支逻辑判断，不会死循环。

• _gcd("0",nan)函数再次执行时返回值是 _gcd(nan,nan)，然后Nginx worker开始陷入死循环，进程 CPU 100%。

问题分析

哈哈哈我也不知道

总结

此次事故发生时，B站挂了迅速登上全网热搜，作为技术人员，身上的压力可想而知。事故已经发生，我们能做的就是深刻反思，吸取教训，总结经验，砥砺前行。

此篇作为“三五事故”系列之第一篇，向大家简要介绍了故障产生的诱因、根因、处理过程、优化改进。后续文章会详细介绍“三五事故”后我们是如何执行优化落地的，敬请期待。

最后，想说一句：多活的高可用容灾架构确实生效了。

欢迎关注哔哩哔哩技术公众号！