引言
隨著生成式 AI 模型的規模化應用，資料預處理成為模型訓練與推理的關鍵環節。本文聚焦於如何在 Kubernetes 環境中整合 CubeRay、Cubeflow 等工具，建立高效能的資料處理流程，並探討其在 Foundation Model 開發中的應用與挑戰。
主要內容
技術或工具的定義與基本概念
Kubernetes 作為雲端原生計算平臺，提供容器化應用的自動化部署與管理能力，成為資料處理工作負載的基礎架構。CubeRay 是基於 Ray 框架的 Kubernetes 集群管理工具，透過 API 伺服器簡化 YAML 配置，實現 Ray 集群的快速啟動與資源分配。Cubeflow 則是整合 Kubeflow Pipelines（KFP）與 Ray 的工作流編排系統，支援 Python 裝飾器元件、自定義容器化元件與拖放介面（Elra）建立複雜的 DAG（有向無環圖）。
重要的特性或功能
- 並行處理與擴展性：
- 資料預處理流程（如去重、語言分離）可並行執行，並透過語言分離實現各語言獨立處理，提升處理效率。
- CubeRay 支援動態分配檔案與驅動器-worker 模式，避免分區限制，適應 PB 級資料規模。
- Cubeflow Pipelines 的 KFP v2 支援嵌套 Pipeline，單次執行包含所有步驟，降低執行成本。
- 統一框架與工具整合：
- Data Preparation Kit（DPK）提供 S3 存取、元數據生成與參數共享功能，簡化模型開發者對 Ray/Spark 的知識需求。
- CubeRay 與 KFP 的整合實現執行權限管理，支援任務提交與叢集銷毀的 Exit Handler 機制。
- 雲端規模化與資源優化：
- 處理 85 億筆文檔案例中，透過 CubeRay 管理 7500 CPU 核心與 56TB RAM 集群，壓縮儲存 23TB 資料，減少 33-40% 資料量，執行時間為 40 小時。
- 支援 Python、Spark 或 Array 單步執行，並透過 Jupyter Notebook 結合流程步驟，降低部署複雜度。
實際的應用案例或實作步驟
- IBM Granite LLM 開發：
- 使用 DPK 統一框架處理 S3 存取與元數據生成，結合 KFP 自動化流程進行資料準備與模型微調。
- 透過 CubeRay 管理 Ray 集群，實現 API 伺服器轉換 YAML 配置，簡化 Kubernetes 集群部署。
- 工作流編排實作：
- 使用 Cubeflow Pipelines 的 Python 裝飾器元件快速開發預處理步驟，並透過拖放介面建立複雜 DAG。
- 並行處理時需配置 Exit Handler 進行集群部署與銷毀，確保資源利用率與執行效率。
該技術的優勢與挑戰
優勢：
- CubeRay 簡化 Kubernetes 集群管理，降低 YAML 配置複雜度。
- Cubeflow Pipelines 的 KFP v2 提升執行效率，支援嵌套 Pipeline 與單次執行。
- DPK 提供多執行環境支援，減少對特定框架的依賴。
挑戰：
- 雲端開發與本地測試整合需透過 CubeRay 實現，增加部署成本。
- Spark Operator 集成仍在討論階段，目前僅使用 Ray，限制部分場景的靈活性。
- 輕量化部署方案（如 Jupyter Notebook）尚在評估中，需平衡功能與資源消耗。
總結
本文探討了 Kubernetes 環境下生成式 AI 資料預處理的架構與實踐，強調 CubeRay、Cubeflow 與 DPK 的整合應用。透過並行處理、工作流編排與資源優化，可有效提升資料處理效能與可擴展性。未來需持續探索輕量級部署方案與工具整合，以適應不同規模的應用場景。