20:12 第一次告警发出。
20:21 收到告警,启动限速策略,开启降级服务。
程序连不上redis,增加了线程?还是物联网终端实时上报数据造成程序发起大量与后端redis的连接。
2023-12-04T08:55:19.png
20:55 恢复
21:01 发现 redis tcp 连接数异常,终止服务。
2023-12-04T08:56:28.png
21:06 redis 压力恢复,开启登录降级服务。
21:08 redis tcp 连接数异常,cpu100%,终止服务。
21:10 修改降级策略,开2秒,停10秒。(貌似效果不好,用户登录不顺利)
21:15 恢复降级策略,开2秒,停2秒。
21:17 redis 7007实例cpu 100%,终止服务。100%一段时间后,会发生主从切换,基本就雪崩了。
2023-12-04T08:57:24.png
21:25 恢复。开3关10。
21:40 开2关2。 恢复至19万,redis压力正常。(建议再加一条,后端 redis 无响应,或者延迟大,直接拒绝客户,不能再增加 redis 连接数了。)
22:00 暂停服务
22:11 开启服务
22:12 暂停服务
22:13 开启服务
23:02 全面开启

最后修改:2024 年 05 月 11 日
如果觉得我的文章对你有用,请随意赞赏