在現代資料驅動的企業環境中，資料管道的可擴展性與穩定性成為關鍵挑戰。Apache Toree、YuniKorn、Spark 與 Airflow 等開源技術，透過協同整合，提供了一套完整的解決方案，從互動式開發到資源調度，再到工作流編排，實現端到端的資料處理架構。本文將深入解析這些技術的核心特性與整合方式，並探討其在實際應用中的價值。
Jupyter Notebook 提供互動式 UI，整合程式碼、文件與執行結果，支援 Python、Scala、R 等語言，成為資料科學家與工程師的開發工具。為支援多用戶環境，Jupyter Hub 提供多租戶工作空間，讓 Spark 集群資源得以共享。而 Jupyter Gateway 則透過遠端執行 Kernel，解決資源限制問題，實現彈性擴展。Apache Toree 作為 Scala 內核，整合 Spark API，使開發者能直接在 Notebook 中進行即時分析與資料處理，提升開發效率。
Spark 在雲原生環境中透過 Kubernetes 原生部署，支援兩種模式：Spark on Kubernetes 與 Kubernetes Operator。後者透過 CRD（Custom Resource Definition）自訂環境，自動生成 Spark UI 連結與 Ingress 配置，簡化部署流程。為實現多租戶資源隔離，需結合 YuniKorn 進行資源調度，確保不同用戶的計算需求能被優先級隊列與動態資源分配有效管理。此外，互動式工作負載透過分離隊列與 Fair Scheduler，提升多用戶並行執行效率。
YuniKorn 是 Apache Foundation 認證的資源調度器，專為多租戶環境設計。其核心特性包括資源隔離、優先級隊列與動態資源分配，解決 Noisy Neighbor 問題，實現並行啟動與資源共享。透過 Kubernetes Scheduler，YuniKorn 能與 Spark 整合，提供精準的資源配額管理與計算環境隔離，確保高負載下仍能維持穩定執行。
Apache Airflow 提供程式化工作流排程與監控，支援 DAG（Directed Acyclic Graph）建構，讓開發者能靈活設計資料處理流程。Alyra 工具 則提供視覺化編輯器，支援拖放式 Notebook 與腳本組合，自動生成 DAG 並整合 Python/Scala 腳本。透過自訂 Operator，Airflow 可執行特定任務，並支援定期排程（小時/日）與即時觸發，簡化工作流管理。
資料存儲方面，整合 Iceberg（結構化資料）與 S3（儲存）進行資料管理，確保資料一致性與可追蹤性。計算引擎支援 Spark、Ray、Flink 等多種框架，其中 Spark 結合 Apache Toree 支援 Scala 開發，Ray/Flink 則支援 Python 腳本執行。資源管理透過 YuniKorn 實現多租戶資源調度，互動式環境以 Jupyter Notebook 為開發與測試工具，而 Airflow 則作為核心 orchestrator，管理端到端資料管道排程。
Apache Toree、YuniKorn、Spark 與 Airflow 的整合，為企業提供了從互動式開發到資源調度、工作流編排的完整解決方案。透過 Jupyter Notebook 的開發環境、YuniKorn 的資源管理、Airflow 的工作流編排，以及 Spark 的計算引擎，企業可建立可擴展且穩定的資料管道。建議在實際部署時，先從小規模環境驗證架構，逐步擴展至生產環境，並持續監控資源使用情況，以優化整體效能。