K8S Node異常問題排查過程
更新時間：2026年01月16日 08:57:29 作者：CN-FuWei
文章介紹了使用kubectl命令行對K8S集群中的Node異常進行初步定位的方法,包括查看NotReady發(fā)生時間、異常event、NodeConditions以及kubelet日志,文章還詳細描述了常見問題的解決方法,如Kubelet停止匯報心跳、PLEG不可用和Node被驅(qū)逐等情況
一、簡介
可使用 kubectl 命令行對 K8S Node 異常做初步定位，方法幾乎適用于所有 K8S 集群。
二、排查方法
使用 grafana kubelet 查看 NotReady 發(fā)生時間：
# kubectl get nodes NAME STATUS ROLES AGE VERSION 172.16.80.4 Ready <none> 18h v1.20.8 172.16.80.6 NotReady <none> 18h v1.20.8
kubectl describe node 172.16.80.6 查看異常 event
Conditions: Type Status LastHeartbeatTime LastTransitionTime Reason Message ---- ------ ----------------- ------------------ ------ ------- NetworkUnavailable False Mon, 13 Jun 2022 19:41:10 +0800 Mon, 13 Jun 2022 19:41:10 +0800 RouteCreated CCE RouteController created a route MemoryPressure Unknown Tue, 14 Jun 2022 14:08:00 +0800 Tue, 14 Jun 2022 14:09:36 +0800 NodeStatusUnknown Kubelet stopped posting node status. DiskPressure Unknown Tue, 14 Jun 2022 14:08:00 +0800 Tue, 14 Jun 2022 14:09:36 +0800 NodeStatusUnknown Kubelet stopped posting node status. PIDPressure Unknown Tue, 14 Jun 2022 14:08:00 +0800 Tue, 14 Jun 2022 14:09:36 +0800 NodeStatusUnknown Kubelet stopped posting node status. Ready Unknown Tue, 14 Jun 2022 14:08:00 +0800 Tue, 14 Jun 2022 14:09:36 +0800 NodeStatusUnknown Kubelet stopped posting node status.
kubectl get node 172.16.80.6 -o yaml 查看 NodeConditions:
conditions:
- lastHeartbeatTime: "2022-06-13T11:41:10Z"
lastTransitionTime: "2022-06-13T11:41:10Z"
message: CCE RouteController created a route
reason: RouteCreated
status: "False"
type: NetworkUnavailable
- lastHeartbeatTime: "2022-06-14T06:08:00Z"
lastTransitionTime: "2022-06-14T06:09:36Z"
message: Kubelet stopped posting node status.
reason: NodeStatusUnknown
status: Unknown
type: MemoryPressure
- lastHeartbeatTime: "2022-06-14T06:08:00Z"
lastTransitionTime: "2022-06-14T06:09:36Z"
message: Kubelet stopped posting node status.
reason: NodeStatusUnknown
status: Unknown
type: DiskPressure
- lastHeartbeatTime: "2022-06-14T06:08:00Z"
lastTransitionTime: "2022-06-14T06:09:36Z"
message: Kubelet stopped posting node status.
reason: NodeStatusUnknown
status: Unknown
type: PIDPressure
- lastHeartbeatTime: "2022-06-14T06:08:00Z"
lastTransitionTime: "2022-06-14T06:09:36Z"
message: Kubelet stopped posting node status.
reason: NodeStatusUnknown
status: Unknown
type: Ready登錄節(jié)點查看 kubelet 的日志：
journalctl -u kubelet --since="2022-06-14 14:00:00" | less
三、常見問題
Kubelet stopped posting node status
kubelet 停止匯報心跳，通常是 node 節(jié)點宕機，可讓用戶嘗試登錄節(jié)點，無法登錄的話，一般通過重啟恢復(fù)。原因一般和節(jié)點負載有關(guān)，可通過監(jiān)控查看節(jié)點異常前負載情況。
PLEG is not healthy
Pod Lifecycle Event Generator，kubelet 會定期同步 pod 狀態(tài)，當同步 pod 狀態(tài)超時（3分鐘），會將 node 置為 not ready 狀態(tài)。
- 通過命令定位是否有容器 inspect 卡住的情況： docker ps -a -q | xargs docker inspect
如果該命令卡住，則進一步定位是由具體的哪個容器導(dǎo)致，通過 docker inspect {CONTAINER ID} 確認。定位到具體容器后，經(jīng)客戶允許后可將該容器刪除 docker rm -f {CONTAINER ID}
Node Evicted
當節(jié)點因為資源不足（CPU、內(nèi)存、磁盤）被驅(qū)逐時，需根據(jù)不同原因處理：
- CPU，內(nèi)存資源不足：
- 虛機升配
- 合理設(shè)置資源的 resource request， 使 pod 合理調(diào)度到不同的節(jié)點上。
- 磁盤空間不足：
- 擴容容器數(shù)據(jù)目錄所在磁盤
總結(jié)
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要為大家介紹了自定義資源CRD的使用示例介紹，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-05-05
Kubernetes調(diào)度器擴展主要通過調(diào)度框架和調(diào)度器擴展器實現(xiàn),調(diào)度框架提供多種插件接口,如QueueSort、Filter、Score等,允許擴展調(diào)度邏輯,調(diào)度器擴展器通過HTTP服務(wù)擴展調(diào)度功能,支持Filter、Prioritize等擴展點2025-10-10
如何在 K8S 中使用 Values 文件定制不同環(huán)境下的應(yīng)用配置
Kubernetes是一個開源的容器編排平臺,它可以自動化容器的部署、擴展和管理,在 K8s 中,應(yīng)用程序通常以容器的形式運行,這些容器被組織在不同的資源對象中,這篇文章主要介紹了如何在 K8S 中使用 Values 文件定制不同環(huán)境下的應(yīng)用配置,需要的朋友可以參考下2025-03-03
這篇文章主要介紹了kubernetes YAML文件的使用，幫助大家更好的理解和學(xué)習(xí)使用kubernetes，感興趣的朋友可以了解下2021-04-04
Nacos-K8s項目提供了多種在Kubernetes環(huán)境中部署Nacos的方案,包括快速啟動、NFS持久化、Ceph持久化、Helm和Operator部署,每種方式都有其適用的場景和特點,如快速啟動適用于測試,NFS和Ceph持久化支持數(shù)據(jù)持久化,Helm和Operator提供更高級的運維功能2026-02-02
這篇文章主要介紹了YAML文件在Kubernetes中的使用,包括YAML文件的格式、創(chuàng)建資源對象、創(chuàng)建Service服務(wù)、查看和測試Service、解釋Kubernetes中的port概念以及如何使用`kubectl`命令生成和修改YAML模板,同時,文章也簡要介紹了如何編寫和訪問MySQL的YAML文件2025-11-11
自定義資源定義(CRD)是Kubernetes API擴展,可以定義新的對象類型,下面這篇文章主要給大家介紹了關(guān)于如何使用Kubernetes自定義資源(CRD)的相關(guān)資料,需要的朋友可以參考下2022-09-09
K8s學(xué)習(xí)之Pod的定義及詳細資源調(diào)用案例
Kubernetes將所有內(nèi)容抽象為資源,通過操作資源管理集群,核心單元是Pod,通過控制器管理Pod,資源管理分為命令式對象管理、命令式對象配置和聲明式對象配置,各有適用場景,需要的朋友可以參考下2024-09-09
這篇文章主要給大家介紹了關(guān)于K8S高級特性的相關(guān)資料,文中通過時實例代碼以及圖文介紹的非常詳細,對大家學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2021-11-11
Dashboard 支持 Kubeconfig 和 Token 兩種認證方式,這里測試 Token 認證方式登錄,本文介紹K8S的dashboard如何使用token登錄,感興趣的朋友跟隨小編一起看看吧2024-06-06