引言
Cassandra 作為一種高可用性、水平擴展的 NoSQL 數據庫，廣泛應用於需要處理大量數據且要求低延遲的場景。然而，面對人為錯誤、數據腐敗或基礎設施故障等風險，備份與恢復機製成為確保數據可靠性的關鍵。本文探討 Bloomberg 如何透過 Medusa 工具解決 Cassandra 集群的備份與恢復挑戰，並分析其技術細節與實踐價值。
技術與實踐
Cassandra 備份需求與現有方案
Bloomberg 作為金融數據服務商，依賴 Cassandra 支援高可用性與擴展性需求。然而，原有備份方案存在以下問題：
- 手動流程：需依賴自建工具處理恢復，缺乏自動化與可觀察性。
- 存儲成本高：無法利用 Cassandra 群集拓撲優化數據複製，導致空間浪費。
- 恢復限制：無法適應動態集群架構，且需在原機器執行，限制靈活性。
Cassandra 內建備份工具（如 nodetool snapshot）雖能實現 SSTable 硬鏈結備份，但對於大型集群與複雜恢復需求，仍顯不足。
Medusa 的解決方案
Medusa 是 Spotify 開發的 Cassandra 專用備份工具，具備以下核心特性：
- 全量與差分備份：支援根據時間或備份數量自動生成差分備份，減少存儲空間。
- 遠端存儲整合：支持 S3 兼容存儲，降低本地存儲壓力。
- 靈活恢復：可恢復至相同或不同拓撲的集群，符合動態架構需求。
- 自動清理：透過 Purge 功能根據保留策略刪除過期備份，避免數據冗餘。
實施細節與流程
容器化部署：
- Cassandra 以容器運行，搭配 Container Agent 管理。
- Medusa CLI 作為 Sidecar 容器，與 Cassandra 協同工作。
- 元數據服務（Metadata Service）提供集群配置與存儲資訊。
備份流程：
- Orchestrator 發起備份請求，獲取集群節點資訊。
- Container Agent 啟動 Medusa 容器，讀取配置與環境變數。
- Medusa 執行
nodetool snapshot，生成 SSTable 文件並上傳至遠端存儲。
- 生成 Manifest 文件，記錄備份元數據。
差分備份優化：
- 每個備份包含獨立 Manifest，僅上傳新增 SSTable 文件。
- 重複文件僅保留一次，節省存儲與傳輸成本。
恢復流程：
- Orchestrator 設定集群節點與備份 ID。
- Container Agent 啟動 Cassandra 容器，執行初始化配置。
- 使用 Medusa 下載備份數據，配置 Token 與數據目錄。
- 透過 Python 腳本計算節點拓撲，完成數據導入。
備份策略與成本管理
- 保留策略：
- Medusa Purge 支援根據備份數量或時間間隔自動清理數據。
- 避免差分備份中 SSTable 被多個備份引用導致數據不完整。
- 存儲成本優化：
- 差分備份減少重複數據，降低存儲與網路流量。
- 利用遠端低成本存儲（如 S3）替代本地高成本存儲。
優勢與挑戰
優勢：
- 自動化與可觀察性：Medusa 提供完整的備份與恢復流程，減少人工幹預。
- 靈活性：支援容器化部署與不同拓撲恢復，適應動態集群需求。
- 成本控制：透過差分備份與 Purge 功能優化存儲空間與網路資源。
挑戰：
- 恢復限制：目前僅支援恢復至與原集群相同配置的新集群，遵循不可變架構。
- 性能優化：需進一步提升 MD5 數據校驗速度，並修復現有 Bug。
總結
Medusa 作為 Cassandra 的備份工具，有效解決了原有方案的自動化、可觀察性與成本問題。其差分備份與 Purge 功能，不僅提升備份效率，也降低存儲與運維成本。對於需要處理大量數據且要求高可靠性的企業，Medusa 提供了一套完整的備份與恢復解決方案。未來，隨著 PITR（點時間恢復）與存儲效率的持續優化，Medusa 將進一步強化其在 Cassandra 生態中的價值。