引言
Solr作為Apache Foundation旗下的開源搜尋平臺，憑藉其強大的全文檢索能力與靈活的資料管理機制，廣泛應用於需要處理海量資料與高併發請求的場景。在本實踐案例中，我們探討Solr如何透過性能工程與可擴展性設計，支撐一個包含50萬家餐廳、5萬品牌與4萬道菜的高流量搜尋系統，並針對其在極端分類（extreme classification）與資料規模擴展（SC scalability）上的挑戰提出解決方案。
技術定義與核心特性
Solr是一套基於Lucene的開源搜尋伺服器，提供全文檢索、資料索引、資料儲存與即時查詢等功能。其核心特性包括：
- 分佈式架構：透過Solr Cloud實現資料分片與節點擴展。
- 動態欄位管理：支援靈活的資料模型，適應多語言（13種語言）與多變業務需求。
- 高可用性設計：結合複製（replication）與容錯機制，確保服務連續性。
- 性能調優工具：透過JVM參數調整、連接池優化與索引策略配置，提升系統效能。
實際應用案例與實作步驟
集群規模與架構設計
- 資料規模：系統需處理50萬家餐廳、5萬品牌、4萬道菜與2萬特殊流程，每日高峰流量達3,000 RPS。
- 初始架構：採用標準Solr主從架構，主節點處理更新，從節點處理讀取，並透過2小時輪詢週期同步資料。
- 成本優化：使用AWS Spot實例降低80% EC2成本，但需解決實例回收導致的網路負載問題。
- 備份策略：每日3次增量備份存儲於Elastic File Storage（EFS），新從節點啟動時先下載備份再同步增量資料，減少主節點負載。
性能調優與優化措施
- 讀寫分離：主節點專注更新，從節點處理讀取，避免資料緩衝衝突。調整Solr緩衝區策略，採用每2小時複製策略平衡延遲與SLA。
- JVM參數調優：測試Graal VM以平衡啟動時間與成本效率，最終選用其作為執行環境。
- HTTP連接池優化：針對高流量場景調整連接池配置，提升請求處理效率。
- 動態欄位索引：為動態欄位添加dock值建立反向索引，提升facet查詢效能。
可擴展性挑戰與解決方案
- 啟動時間問題：原始索引規模50GB，新節點啟動需15分鐘，影響高峰流量處理。解決方案為按語言拆分集群，將英語流量（85%）與多語言查詢分離，索引規模縮減至原1/3。
- 主節點故障風險：原主節點為On-Demand實例，維護時因未預見導致讀取-only模式，造成服務中斷。解決方案為啟用預排程AMI快照並引入Solr Cloud架構，提升容錯能力。
Solr Cloud實現與分片管理
- 分片策略：將印度分為四個區域，根據餐廳密度調整分片大小，確保索引規模均勻。採用NRT（Near Real-Time）複製與TLog（Transaction Log）複製結合。
- 故障案例：NRT複製導致領導者選舉失敗，新領導者因索引版本不一致進入恢復模式，造成1小時全系統中斷。解決方案為採用TLog複製與Pull複製混合架構，TLog儲存交易日誌，Pull複製不參與領導者選舉，並以33% On-Demand + 67% Spot實例組建集群，確保領導者故障時快速切換。
技術優勢與挑戰
優勢
- 靈活的分片與複製策略：支援根據業務需求調整分片大小與複製類型，提升系統可擴展性。
- 混合複製機制：結合TLog與Pull複製，實現資料一致性與讀取服務不中斷。
- 成本效益：透過Spot實例與備份策略優化，降低運營成本。
挑戰
- Spot實例不穩定性：需設計容錯機制應對實例回收導致的網路負載波動。
- 複雜配置管理：需平衡分片策略、複製類型與資源分配，避免系統過載。
總結
本實踐案例展現Solr在處理極端分類與高流量搜尋場景中的應用價值。透過性能工程與可擴展性設計，系統成功支撐每日3,000 RPS的高峰流量，並透過混合複製策略與分片管理實現高可用性。建議根據業務需求靈活配置複製類型與資源分配，並持續監控系統效能以優化成本與穩定性。