周一一大早巡检,一个业务系统的日志报告了一些异常,主要是文件访问中断。
2024-04-22T03:26:18.png

查看了一下一周的类似日志数量,发现是从周日晚上19:00时左右开始的,异常日志频率大约5000pps,而日常大约只有个位数或者没有。
2024-04-22T03:26:37.png

在研发群里,跟大家说了一下。
平台的同事说可能是后端fdfs问题,安卓端同事在查调用的是什么文件。

于是,看了一下夜莺监控该云主机的监控信息。其中,网络状态与该异常日志有正相关关系。
2024-04-22T03:28:27.png

又看了一下阿里云的监控图,情况与上述图形类似。
2024-04-22T03:28:45.png

根据日志查找对应服务的log,发现了总是访问该服务的一个来源IP地址。分析日志发现,该IP持续不断地在请求一个zip文件,且下载不完的时候就中断传输。
2024-04-22T03:38:51.png

将该IP地址加入路由黑洞

ip route add blackhole x.x.x.x

几分钟后,监控图形就恢复了正常。
2024-04-22T03:30:30.png

在整个过程中,时间段从21日19:00到22日10:00,近14小时。且该app服务涉及到的公网ip地址使用的是按流量收费。按照1元/GB计算,大约消耗1MB/s*3600*14*1元/GB=50元

另外,也可以看出,虽然该公网IP地址采用按流量收费,带宽限制25Mbps,但是流量最高也就10Mbps左右,所以可以猜测该攻击源也有带宽限制。

最后修改:2024 年 05 月 11 日
如果觉得我的文章对你有用,请随意赞赏