在人工智慧快速發展的背景下，計算資源的高效利用成為企業與研究機構的核心挑戰。Kubernetes作為雲原生計算的基石，其資源管理能力直接影響AI模型訓練與推理的效能。然而，傳統Kubernetes在GPU共享、異質晶片管理與資源排程方面存在顯著限制，導致計算資源利用率低下。本文探討如何透過Hami架構，結合Kubernetes與CNCF生態，實現對七種AI晶片的靈活管理與高效排程，並分析其技術特性與應用價值。
Kubernetes 是一個開源的容器編排系統，用於自動化部署、擴展和管理容器化應用。在AI計算場景中，Kubernetes需支援GPU等專用晶片的資源管理，以提升計算效能與資源利用率。
AI晶片 包括Nvidia GPU、華為昇騰等，其計算能力遠超傳統CPU，但資源管理複雜度高。GPU利用率 的提升直接影響AI模型訓練效率，而計算資源的靈活性 則關乎多種晶片的統一管理。
CNCF（Cloud Native Computing Foundation） 提供了Kubernetes等開源技術的標準化與生態整合，Hami作為CNCF沙箱專案，專注於解決異質晶片資源管理的痛點。
Hami透過設備共享（Device Sharing） 技術，實現GPU/晶片資源的動態分配。例如，兩個任務各需2G GPU記憶體時，Hami可共享2G資源，剩餘22G供其他任務使用，使利用率接近100%。此功能無需修改任務容器，僅需指定所需資源與記憶體限制。
資源控制機制透過CUDA版本（>10.2）與Nvidia驅動版本（>440）確保兼容性，並支援設備類型指定與黑白名單管理，確保資源分配符合業務需求。
Hami支援透過環境變數設定任務優先級（0=高、1=低），高優先級任務執行時，低優先級任務暫停，待高優先級任務結束後恢復，確保關鍵任務的執行順序。
動態MIG（Multi-Instance GPU） 自動搜尋最適合的MIG配置（如1G/10B），無需手動指定實例名稱，提升資源利用效率。
拓撲感知排程（Topology Awareness） 最小化多GPU間通訊成本，支援跨節點AI訓練任務。結合網路拓撲資訊，Hami可分配最近端GPU，降低資料傳輸延遲。
排程策略包括Beam Pack（優先分配已有任務的GPU，減少碎片化）與Spread（分散至無任務的GPU，最大化性能），根據不同場景選擇合適策略。
Hami透過DCGM導出器 監控GPU記憶體分配、剩餘資源與工作負載，並整合Volcano VGPO與協調器（coordinator），實現GPU共享機制。透過Grafana 整合DCGM數據，提供視覺化監控視圖，幫助管理員即時掌握資源狀態。
在應用場景中，中國雲服務商（如UCloud）與企業（如PN安全、銀行）已成功應用Hami，提升GPU利用率並實現異質晶片的統一管理。Hami支援Nvidia、華為昇騰等多種晶片，降低多廠商設備管理的複雜度。
Hami的優勢在於其非侵入式設計，無需修改任務容器即可實現資源共享，並支援多廠商晶片的統一管理。其輕量中間件架構 降低系統負擔，提升靈活性與擴展性。
然而，Hami目前仍處於發展階段，需進一步驗證其在更大規模集群中的穩定性。此外，與DIA（Dynamic Resource Allocation）的整合仍在探索中，需更多生態合作與技術優化。
Hami架構透過Kubernetes與CNCF生態，解決了GPU共享、異質晶片管理與資源排程的關鍵挑戰，提升計算資源利用率與靈活性。其設備共享、動態MIG、拓撲感知排程等特性，為AI計算提供了高效且可擴展的解決方案。未來，Hami將擴展支援更多晶片類型，並與DR整合，進一步推動雲原生AI的發展。