引言
隨著大型語言模型（LLM）在各領域的應用深化，其推理流量的處理需求正持續增長。傳統的雲原生網關架構在面對LLM特有的高資料量、長處理時間與動態模型路由等特性時，顯現出明顯的限制。為此，基於CNCF倡導的NextG Ingress API所延伸的Gateway API，結合LLM推理流量的特殊需求，提出了「LLM實例網關」（Instance Inference Gateway）概念，旨在提供更靈活、可擴展的推理流量管理方案。本文將深入解析其技術架構與應用價值。
技術定義與核心概念
Gateway API 是 CNCF 推動的 NextG Ingress API 延伸專案，於2019年作為雲原生生態系統的獨立專案推出，專為解決傳統 Ingress API 在路由靈活性與資源管理上的限制。其核心特性包括：
- 支援多種路由類型（HTTP/TCPTCP/UDP）
- 分離負載平衡器（Gateway）與路由規則（HTTP Routes）
- 引入權限模型與跨命名空間資源管理
- 提供更靈活的資源定義與管理方式
LLM實例網關 基於Gateway API，進一步針對LLM推理流量的特殊性進行優化，透過「Inference Pool」與「Inference Model」的抽象層，實現模型伺服器集群的動態資源分配與智能路由。
關鍵特性與應用場景
1. 推理流量的特殊需求
LLM推理流量與傳統Web流量存在顯著差異：
- 資料規模：請求可能包含大規模資料（如多媒體內容）
- 處理時間：需支援流式處理與長時間計算
- 緩存機制：需針對重複請求進行高效緩存
- 模型依賴：請求體中包含模型名稱，需動態路由
2. 推理擴展（Inference Extension）
為應對上述需求，LLM實例網關引入專屬的路由與管理機制：
- 模型感知路由：根據請求體中的模型名稱進行動態路由
- 服務優先級管理：支援不同模型的資源分配與優先級設定
- 模型滾動更新：實現模型版本的平滑過渡（Canary Rollout）
- 端點選擇擴展（Endpoint Picker）：基於實時指標（如KV Cache使用率）進行智能路由
3. 核心資源架構
- Inference Pool（由平臺管理員管理）：
- 抽象層：封裝GPU資源與模型伺服器集群
- 特性：
- 使用標籤選擇機制組合模型伺服器Pod
- 定義目標端口與擴展參考（Endpoint Picker 服務）
- Inference Model（由工作負載擁有者管理）：
- 負責模型名稱映射與流量轉發
- 支援流量分割與權重控制
4. 端點選擇擴展（Endpoint Picker）機制
- 運作流程：
- 用戶請求到達Gateway，識別為推理流量
- Gateway 轉發至 Endpoint Picker 進行路由決策
- Endpoint Picker 收集模型伺服器實時指標（如KV Cache利用率、模型適配器狀態）
- 根據指標選擇最佳端點並回傳給Gateway
- 可擴展性設計：
- 支援插件化（Pluggable）的端點選擇邏輯
- 統一指標標準（適用於Triton、VLM等框架）
技術優勢與挑戰
優勢
- 靈活性：透過Gateway API的資源抽象，實現跨命名空間的模型伺服器管理
- 可擴展性：端點選擇機制支援插件化，適應不同框架與指標標準
- 高效路由：結合KV Cache使用率等實時指標，優化模型伺服器負載
- 平滑更新：支援模型版本滾動更新，降低服務中斷風險
挑戰
- KV Cache局部性優化：現有Endpoint Picker僅能讀取模型名稱，無法解析請求內容，需整合KV Cache感知系統
- 指標收集與處理：目前從Pod直接獲取指標，未來可整合外部系統，並支援更細粒度的請求內容分析（如提示語上下文）
總結
LLM實例網關透過Gateway API的基礎架構，結合Inference Pool與Endpoint Picker的創新設計，為雲原生生態系統中的LLM推理流量提供了高效、靈活的管理方案。其核心價值在於解決傳統網關在動態路由與資源分配上的不足，並透過可擴展的端點選擇機制，提升模型伺服器的利用率與服務品質。對於開發者與系統管理員而言，參與專案的基準測試與功能需求提報，將有助於進一步優化此技術在實際場景中的應用。