引言
在雲原生架構中，Kubernetes 作為容器編排平臺，其核心價值在於支援彈性擴展與高可用性。然而，當應用依賴狀態連接（Stateful Connections）時，例如基於 WebSockets 的實時通訊服務，傳統的無狀態設計與 Kubernetes 的自動化管理之間會產生衝突。本文探討 Kubernetes 中狀態連接的挑戰與解決方案，聚焦於 WebSocket 協議特性、Linux 系統限制、負載平衡策略優化，以及資源擴展策略，並結合實測案例說明如何在 Cloud Native 環境中實現穩定且高效的狀態連接管理。
主要內容
技術定義與核心特性
狀態連接（Stateful Connections） 是指應用與服務端之間需要維持持續狀態的連線，例如 WebSocket、gRPC 或 TCP 長連接。與無狀態連接不同，狀態連接要求後端服務能追蹤連線狀態，並在 Pod 重啟或重新排程時保持連線不中斷。
在 Kubernetes 中，狀態連接的管理面臨多重挑戰：
- WebSocket 協議特性：需經歷 TLS 握手與 HTTP 升級兩階段，導致新連線建立成本高，且需維持雙向通訊，增加資源消耗與尾部延遲。
- Linux 系統限制：臨時端口（ephemeral ports）與連線追蹤表（connection tracking）的容量限制，可能導致端口耗盡或連線被靜默拒絕。
- 服務發現與路由：傳統 EC2 狀態服務依賴 URL 路徑映射 EC2 實例，而 Kubernetes 的服務發現機制需與負載平衡器協調，避免分裂腦問題。
實際應用與解決方案
負載平衡策略優化
負載均衡算法選擇：
- 輪詢（Round Robin）：會導致舊 Pod 被過度負載，新 Pod 冷啟動時承受高 CPU 負荷與延遲。
- 最少活躍連線（Least Active Connections）：初期因冷啟動問題導致新 Pod 被大量連線佔據，需調整冷啟動速率與預熱策略。
解決方案：
- 建立專用目標組端點，區分新連線與現有連線的處理邏輯。
- 當 Pod 連線數超過閾值（如 10,000）時，標記為非就緒，避免新連線分配，同時保持現有連線。
自動擴展與資源管理
Kubernetes HPA 調整：
- 使用 Kada 操作符根據實際連線數量動態調整 Pod 數量，而非傳統資源使用率。
- 配置策略：
- 快速擴展（無上限）與緩慢縮放（每 5 分鐘最多刪除 1 個 Pod）。
- 滾動窗口採樣與 5 分鐘冷卻期，避免因指標波動導致頻繁擴縮。
性能優化：
- 每個 Pod 能處理約 8,000 個連線，峰值可達更高而不影響效能。
- 透過性能測試確定 CPU 與記憶體資源需求，優化 Pod 大小。
連線管理與優雅關閉
優雅關閉流程：
- 調整 AWS ALB 的註銷延遲（registration delay）至 2 分鐘，確保 RTC Gateway 有足夠時間處理現有連線。
- 使用預終止 Hook，確保 Pod 從負載平衡池移除後才開始關閉連線，避免新連線分配。
連線穩定性：
- 透過自定義控制器自動管理憑證，確保 Pod 啟動時持有有效憑證，避免因憑證過期導致連線中斷。
實測成效與優勢
效能提升：
- 降低運營成本，提升擴展靈活性，支援更多並行連線。
- 通過橫向擴展與資源優化，避免縱向擴展的硬體限制。
穩定性改善：
- 有效處理臨時端口耗盡與連線追蹤表滿的問題，減少用戶體驗中斷。
- 通過負載均衡策略調整，平衡 Pod 負載，避免單點過載。
擴展策略與負載平衡實踐
擴展策略：
- 使用 Kubernetes HPA 依據活動連接數進行自動擴縮。
- 自定義指標監控（如 active connections）避免過載。
- 配置平滑縮放策略以控制每分鐘 Pod 創建數量。
負載平衡算法：
- 初期選用 least active connections 算法，避免舊 Pod 被過度負載，但導致新 Pod 冷啟動問題。
- 後續改用 round robin 算法，結合專用讀就緒端點區分新舊連接，設定目標組閾值（10,000 連接時標記為 Not Ready），保持現有連接穩定性。
HPA 調整：
- 設定容忍度（default 10%）影響擴縮閾值計算。
- 修正監控系統誤報數據問題。
- 增加縮放策略限制每分鐘 Pod 創建上限，避免因指標波動導致的過度擴縮。
實測成效：
- 連接處理效率提升 10 倍，延遲降低至實時水平。
- 從 EC2 狀態化架構遷移至 EKS 狀態無關架構，年度成本節省約 40,000 美元。
- 連接分佈穩定，新 Pod 逐步接管流量。
總結
在 Kubernetes 中管理狀態連接的關鍵在於平衡負載均衡策略、資源擴展機制與系統限制。透過優化 WebSocket 協議處理、調整 Linux 系統參數、設計專用目標組端點，以及結合 HPA 自動擴縮，可有效提升狀態連接的穩定性與效能。實踐中需根據應用場景調整冷啟動策略與連線閾值，並透過性能測試驗證資源配置，以實現雲原生環境下的高可用與可擴展性。