运维123 - Kubernetes
type: channel
link: https://www.sddts.cn/index.php/category/Kubernetes/
description: Kubernetes
items: Kubernetes 节点根分区磁盘占用过高排查复盘

Kubernetes 节点根分区磁盘占用过高排查复盘
type: item
date: 2026-07-15T01:10:22+00:00
description: Kubernetes 节点根分区磁盘占用过高排查复盘一、事件概述1. 事件背景2026 年 7 月 15 日上午，监控发现 K8s 工作节点 zcyun-k8s-node5（IP：10.10.184.204）根分区使用率持续攀升至 89%，逼近告警阈值，存在磁盘写满导致节点上所有 Pod 业务中断的风险。该节点承载物联网（IoT）数据、规则引擎、设备管理等核心服务。2. 影响范围A. 影响资源节点根分区 /dev/vda1（总容量 40G，已用 34G，剩余 4.5G）B. 风险等级P2 级（尚未触发业务故障，但距离写满仅一步之遥）C. 潜在影响若根分区写满，将导致节点上 28 个容器无法写入日志与临时数据，引发服务大面积异常、数据库连接失败、Pod 被驱逐等连锁问题。3. 处理结果经排查定位并处置后，根分区使用率从 89% 下降至 23%，释放约 25G 空间，节点恢复正常水位。二、排查过程1. 排查思路磁盘使用率过高的问题，按「先排除 inode 耗尽，再定位大文件归属，最后定位到具体文件」的层级化思路推进，整体决策流程如下。graph TD A["df 显示根分区 89%"] --> B{"inode 使用率?"} B -->|"仅 5%"| C["排除碎文件问题 锁定大文件"] C --> D["du 逐层定位 /var 29G"] D --> E["/var/lib/docker 24G overlay2 可写层"] E --> F["docker system df Containers 22.6G"] F --> G["docker ps -s 定位容器"] G --> H["iot-data 11.4G iot-rule 10.9G"] H --> I["进入容器可写层 UpperDir"] I --> J["rocketmq_client.log 10 份 1.1G 归档"] J --> K["根因锁定"]2. 步骤一：确认磁盘与 inode 状态首先通过 df 命令确认磁盘整体情况，并检查 inode 使用率以排除「小文件过多导致 inode 耗尽」的可能。df -h # 根分区 40G，已用 34G，89% df -i # inode 仅使用 5%结论：inode 使用率仅 5%，排除碎文件问题，判定为「少数大文件」占用空间。3. 步骤二：逐层定位大目录使用 du 命令从根目录逐层向下统计，定位空间占用大头。du -hx --max-depth=1 / # /var 29G du -hx --max-depth=1 /var # /var/lib 24G du -hx --max-depth=1 /var/lib # /var/lib/docker 24G结论：/var/lib/docker 占用 24G，其中 overlay2 目录为最大头；镜像本身仅 2.8G，说明问题出在容器运行时数据。4. 步骤三：区分镜像与容器可写层通过 docker system df 区分镜像缓存与容器可写层占用。docker system df关键发现：Containers 项 SIZE 为 22.61GB，但 RECLAIMABLE 为 0。这意味着占用来自「容器运行时写入可写层」的数据，而非镜像缓存，因此常规的 docker prune 清理无效。5. 步骤四：定位到具体容器通过 docker ps -s 查看每个容器可写层大小，按体积排序。docker ps -s --format 'table {{.Size}}\t{{.Names}}\t{{.Image}}'定位到两个异常容器：容器可写层大小镜像xcloud-srv-iot-data11.4Gnew-iot/xcloud-srv-iot-dataxcloud-srv-iot-rule10.9Gnew-iot/xcloud-srv-iot-rule两者合计约 22G，与容器总占用 22.61G 完全吻合。6. 步骤五：进入可写层定位具体文件通过 docker inspect 获取容器可写层路径（UpperDir），直接查看其中写入的大文件。docker inspect <容器名> --format '{{.GraphDriver.Data.UpperDir}}' # /var/lib/docker/overlay2/<hash>/diff在两个容器的 /root/logs/rocketmqlogs/ 目录下，均发现大量 RocketMQ 客户端日志：文件大小rocketmq_client.log.1 ~ rocketmq_client.log.10每份 1.1Grocketmq_client.log（当前写入）191M ~ 653M7. 步骤六：分析日志内容确认根…