Loading... 在物联网行业，终端设备需要使用平台长连接服务实现随时与手机等控制设备的实时交互，而由于异常情况造成大量下线后，会迅速做出重新登录，极易达到高并发登录鉴权服务性能瓶颈，造成雪崩效应。 11月13日，晚7:40左右，我又经历了一次前端长连接服务器因为JAVA OOM造成整个长连接服务器异常，大量物联网设备掉线，而登录鉴权服务以及背后的内存数据库无法支撑大量登录鉴权请求，形成瓶颈，大量客户端无法上线。如果此时没有人为干预，将造成下线设备争前恐后登录鉴权上线（经验值1/20待登录总数量），而实际上谁也上不不。因为后面的内存数据库redis已经达到了处理瓶颈。 下图是简略架构图。 ![2023-11-14T01:26:57.png][1] 在ULB与微服务负载均衡之间加入自建HAProxy服务，增加高并发限速设置。在使用过程中，通过ULB控制台，关闭原有两个后端，开启限流措施，点开后过30秒~60秒就关闭，让集群充分消化当前压力。物联网设备上线后基本就稳定了，就会降低登录鉴权服务的压力。 <div class="hideContent">该部分仅登录用户可见</div> 下图是6台长连接服务器承载业务量曲线，其中1台因为JAVA OOM之后，曲线产生异常抖动。 ![2023-11-14T01:30:30.png][3] 在线业务量急剧下降，从18万左右直到约10万。想想一个飞机从万米高空直落离地面几千米的地方是多危险的事情。而且对于这个服务来说，接下来还要爬高，再爬到18万。 ![2023-11-14T01:31:37.png][4] 放开1分钟，关闭3分钟。 ![2023-11-14T01:33:15.png][5] 从19:47 - 20:40 将近1小时。 ![2023-11-14T01:34:41.png][6] # 附件 ## 7号机器异常中的部分TCP状态 <div class="hideContent">该部分仅登录用户可见</div> ## redis压力 <div class="hideContent">该部分仅登录用户可见</div> ## 长连接服务器状态 <div class="hideContent">该部分仅登录用户可见</div> [1]: https://www.sddts.cn/usr/uploads/2023/11/4188879751.png [2]: https://www.sddts.cn/usr/uploads/2023/11/1784293408.png [3]: https://www.sddts.cn/usr/uploads/2023/11/2716445089.png [4]: https://www.sddts.cn/usr/uploads/2023/11/974002944.png [5]: https://www.sddts.cn/usr/uploads/2023/11/434592760.png [6]: https://www.sddts.cn/usr/uploads/2023/11/1154124552.png [7]: https://www.sddts.cn/usr/uploads/2023/11/2823640864.png [8]: https://www.sddts.cn/usr/uploads/2023/11/323982508.png [9]: https://www.sddts.cn/usr/uploads/2023/11/1279034838.png [10]: https://www.sddts.cn/usr/uploads/2023/11/4191590015.png [11]: https://www.sddts.cn/usr/uploads/2023/11/2788539233.png [12]: https://www.sddts.cn/usr/uploads/2023/11/3738207322.png [13]: https://www.sddts.cn/usr/uploads/2023/11/4043826569.png [14]: https://www.sddts.cn/usr/uploads/2023/11/3051696333.png [15]: https://www.sddts.cn/usr/uploads/2023/11/3591051787.png [16]: https://www.sddts.cn/usr/uploads/2023/11/2769688834.png [17]: https://www.sddts.cn/usr/uploads/2023/11/3192738232.png [18]: https://www.sddts.cn/usr/uploads/2023/11/937601815.png [19]: https://www.sddts.cn/usr/uploads/2023/11/1109224638.png [20]: https://www.sddts.cn/usr/uploads/2023/11/1914975500.png [21]: https://www.sddts.cn/usr/uploads/2023/11/778010539.png 最后修改：2023 年 11 月 14 日 © 允许规范转载 赞 如果觉得我的文章对你有用，请随意赞赏