引言
隨著雲原生技術的快速發展，Kubernetes已成為現代應用部署的核心架構。然而，超級計算（HPC）領域仍依賴傳統排程系統如Slurm，導致資源利用率與靈活性受限。Virtual Kubelets作為Kubernetes的擴展技術，透過虛擬化節點抽象化，為整合HPC資源提供了新可能。本文探討其技術架構、整合挑戰與未來方向，協助讀者理解如何實現雲原生與超級計算的深度整合。
主要內容
技術定義與核心概念
Virtual Kubelets透過模擬Kubernetes節點，使HPC系統能作為Kubernetes集群的節點參與資源調度。其核心組成包括：
- 控制器（Controller）：以Pod形式運行於Kubernetes集群，負責與HPC系統通訊
- 代理（Agent）：在HPC登入節點啟動，建立MTLS加密gRPC反向隧道
- Slurm整合：透過Flux CD等工具同步Pod狀態與元數據
關鍵特性與功能
- 資源抽象化：將HPC硬體資源抽象為Kubernetes節點，支援雲原生排程器
- 雙向同步：Superetes等方案實現HPC→Kubernetes與Kubernetes→HPC的狀態同步
- 高可用性：透過Kubernetes管理硬體資源，降低HPC系統直接操作風險
- 多租戶隔離：利用Kubernetes網路策略與容器隔離機制，確保不同租戶資源獨立
實際應用與整合步驟
- 架構部署：
- 在HPC登入節點啟動Agent，建立加密gRPC隧道
- 控制器於Kubernetes集群中發現HPC節點
- 部署虛擬Kubelet後，Kubernetes將Pod任務轉發至Slurm排程
- 狀態同步：
- Slurm執行任務後，產生「影子Pod」並透過Flux CD同步狀態
- Kubernetes根據同步資訊更新Pod狀態與日誌
優勢與挑戰
優勢：
- 提升HPC硬體利用率與資源彈性
- 降低系統停機成本（如Lumi超級電腦單日停機損失€82K）
- 支援混合工作負載（AI訓練與傳統HPC任務）
挑戰：
- 網路隔離問題：需建立獨立網路命名空間與代理層
- 資源控制精細度：需透過DRA（Dynamic Resource Allocation）實現硬體映射
- 核心系統依賴：現有方案仍需保留Slurm核心功能
未來整合方向
- 階段性目標：
- 現狀：HPC系統直接供應租戶
- 中間階段：Kubernetes隔離Slurm集群並暴露硬體資源
- 最終目標：完全移除Slurm，由Kubernetes直接控制硬體
- 生態系整合：
- 支援雲原生批次生態系（如Flux Framework）
- 建立多集群整合技術，實現跨雲端與HPC系統協同
總結
Virtual Kubelets透過抽象化HPC資源，為雲原生與超級計算整合提供了可行方案。其核心技術包括MTLS加密通訊、狀態同步機制與資源隔離策略。未來需持續優化網路隔離與資源控制精細度，逐步實現完全雲原生化。企業可根據需求選擇Superetes等方案，或透過多集群整合技術建立統一平臺，以提升HPC資源利用率與系統穩定性。