腾讯云发布4月8日故障复盘：持续近87分钟，共有1957个客户报障

4月14日，腾讯云发布4月8日故障复盘及情况说明：4月8日15点23分，腾讯云团队收到告警信息，云API服务处于异常状态；随即在腾讯云工单、售后服务群以及微博等渠道开始大量出现腾讯云控制台登录不上的客户反馈。

经过故障定位发现，客户登录不上控制台正是由云API异常所导致。故障发生后，依赖云API提供产品能力的部分公有云服务，也因为云API的异常出现了无法使用的情况，比如云函数、文字识别、微服务平台、音频内容安全、验证码等。此次故障一共持续了近87分钟，期间共有1957个客户报障。

问题复盘

整个处理过程如下：

1. 15:23，监测到故障，立即执行服务的恢复，同时进行原因的排查；

2. 15:47，发现通过回滚版本没能完全恢复服务，进一步定位问题；

3. 15:57，定位出故障根因是配置数据出现错误，紧急设计数据修复方案；

4. 16:02，对全地域进行数据修复工作，API服务逐地域恢复中；

5. 16:05，观测到除上海外的地域API服务均已恢复，进一步定位上海地域的恢复问题；

6. 16:25，定位到上海的技术组件存在API循环依赖问题，决定通过流量调度至其他地域来恢复；

7. 16:45，观测到上海地域恢复了，此时API和依赖API的PaaS服务彻底恢复，但控制台流量剧增，按九倍容量进行了扩容；

8. 16:50，请求量逐渐恢复到正常水平，业务稳定运行，控制台服务全部恢复；

9. 17:45，持续观察一小时，未发现问题，按预案处理过程完毕。

故障的原因是云API服务新版本向前兼容性考虑不够和配置数据灰度机制不足的问题。

本次API升级过程中，由于新版本的接口协议发生了变化，在后台发布新版本之后对于旧版本前端传来的数据处理逻辑异常，导致生成了一条错误的配置数据，由于灰度机制不足导致异常数据快速扩散到了全网地域，造成整体API使用异常。

发生故障后，按照标准回滚方案将服务后台和配置数据同时回滚到旧版本，并重启API后台服务，但此时因为承载API服务的容器平台也依赖API服务才能提供调度能力，即发生了循环依赖，导致服务无法自动拉起。通过运维手工启动方式才使API服务重启，完成整个故障恢复。

腾讯云表示，综合盘点这次故障，最根本的原因是在版本变更过程中，没有有效执行沙箱验证和预案演练，暴露了在变更管理上的不足，接下来将快速进行改进和完善——包括提升系统韧性、强化变更管理与保护措施、增强故障响应与沟通能力，以减少故障的影响范围和影响时长。