引言
Apache Airflow 作為一個用於任務編排的開源工具，其核心價值在於透過協調其他工具與服務的執行時機與流程，實現複雜工作流的自動化管理。隨著 Airflow 的持續發展，其生態系統已包含 90 個 providers 與 790 個依賴項目，並支援容器鏡像、Helm 圖表、Python 客戶端等多種工具整合。本文探討 Airflow 在 CI/CD 與開發工具整合上的實踐，強調如何透過系統化流程與工具鏈確保開發、測試與釋出的穩定性與可重複性。
技術定義與核心概念
Apache Airflow 是一個以 DAG（Directed Acyclic Graph）為核心的任務編排系統，透過定義任務之間的依賴關係，實現對外部工具（如 SQL、Python、Hadoop 等）的執行時機與流程控制。其架構設計強調模組化與可擴展性，支援多種開發與部署方式，包括容器化、虛擬環境與 Helm 圖表。CI/CD（持續整合與持續交付）則是軟體開發中確保代碼品質與快速迭代的關鍵流程，透過自動化測試、依賴管理與版本控制，提升開發效率與系統穩定性。
CI/CD 架構與實踐
持續整合與測試流程
- 靜態檢查：整合 Promit 工具進行 Python 語法檢查、YAML 格式驗證與授權文件生成，確保代碼符合標準。
- 建構與測試：包含單元測試、整合測試與依賴版本驗證，確保新功能與依賴更新後的兼容性。自動化檢查最低依賴版本，並透過未來兼容性測試提前發現依賴衝突。
- 可重複安裝：CI 每次執行均驗證安裝流程，確保 PR 通過後可穩定部署。
CI/CD 流程優化
- 使用 GitHub Actions 作為 CI 平臺，測試流程總耗時約 1 小時 8 分鐘，透過選擇性檢查（Selective Checks）縮短常見 PR 的執行時間至 5 分鐘內。
- 測試圖形（DAG）視覺化：CI 任務以 DAG 形式展示，並與 Airflow 的 DAG 模型一致，方便追蹤執行狀態。
開發工具（Dev Tools）整合
pre-commit 腳本
- 自動化碼規範檢查：包含 132 種檢查類型，如語法檢查、授權文件生成、版本更新腳本等，避免「Works for Me」問題。
- 自動化修正：如格式化錯誤、版本更新等，透過腳本自動修正，減少人工幹預。
開發環境設定
- 本地虛擬環境（Virtual Environment）：使用 Python 標準工具（如 Poetry）管理依賴，支援 PEP-621 格式。依賴安裝時間因工具而異（UV 約 4 分鐘，Pip 約 25 分鐘）。
- 系統級依賴管理：處理如 MySQL 客戶端等系統級依賴，避免環境不一致導致的測試失敗。
Bree 工具開發
- 自動化依賴管理：透過 Docker Compose 管理容器化開發環境，自動偵測過時依賴並建議重建環境，利用快取優化執行時間（約 20 秒）。
- 集成功能：包含釋出管理（包裝、簽章、SBOM 生成）、靜態檢查、文件建構與安全性驗證（如 SBOM 產生）。
- 與 CI 同步：Bree 的執行流程與 CI 完全一致，確保開發與測試環境一致性。
安全性與未來方向
- SBOM 生成與安全性檢查：透過 Bree 工具整合 SBOM 產生，支援依賴分析與安全性驗證。未來計畫擴展更多安全檢查功能，提升 Airflow 的安全性。
- 持續優化：透過 CI/CD 與 Dev Tools 的深度整合，確保依賴版本更新時自動驗證，避免環境不一致導致的問題。
總結
Apache Airflow 的成功依賴於 CI/CD 與開發工具的緊密整合，確保開發、測試、釋出流程的穩定與可重複性。透過 pre-commit、Bree 等工具，解決「Works for Me」問題，並提升開發效率與安全性。未來持續優化 CI/CD 流程與工具鏈整合，將進一步強化 Airflow 的生態系統與開發體驗。