從 HAR 轉 OpenTelemetry Trace：重新定義觀測架構

引言

在現代軟體系統中，觀測（Observability）已成為確保系統穩定性與可維護性的核心技術。OpenTelemetry 作為 Cloud Native Computing Foundation（CNCF）旗下的開放源碼專案，提供標準化的 Trace、Metrics 與 Logs 收集能力，協助開發者深入理解系統行為。本文探討如何將傳統的 HAR（HTTP Archive）資料轉換為 OpenTelemetry Trace，並透過流處理架構實現高效觀測，為網路監控與效能分析提供新視野。

技術定義與核心概念

HAR 與 OpenTelemetry 的角色

HAR（HTTP Archive） 是一種用於儲存網頁互動資料的格式，包含 HTTP 請求/響應、資源下載等詳細資訊，常見於瀏覽器調試工具中。然而，其資料結構缺乏標準化，難以直接整合至現代觀測系統。

OpenTelemetry 則提供語義約定（Semantic Conventions）與 SDK，支援跨平臺的 Trace、Metrics 與 Logs 收集。透過標準化資料格式，OpenTelemetry 能夠實現跨服務、跨語言的追蹤與分析，成為雲原生環境下的核心工具。

Thousand Eyes 的整合價值

Thousand Eyes 是一款用於網路監控的工具，提供頁面加載測試功能，其生成的 HAR 資料可作為轉換至 OpenTelemetry Trace 的起點。透過整合 Thousand Eyes 與 OpenTelemetry，企業可將傳統監控資料轉化為結構化、可視化的觀測資料，提升問題診斷效率。

轉換流程與架構設計

HAR 資料解析與 Span 建構

HAR 資料中的每個 HTTP 請求會被轉換為 OpenTelemetry 的 Span，其屬性包含：

• 名稱：HTTP 方法（如 GET）與目標 URI 的組合
• 類型：標記為 Client 以區分服務端與客戶端
• 時間戳：記錄開始與結束時間，用於計算耗時
• 狀態碼：錯誤狀態（如 4xx、5xx）標記為 error
• Trace ID / Span ID：自動生成唯一識別碼
• 語義約定屬性：包含 HTTP 方法、服務地址、狀態碼等標準化欄位

安全考量：轉換過程中會移除 Headers 中的敏感資訊（如 Cookie、Authorization），避免資料外洩風險。

資源屬性（Resource Attributes）

為追蹤資料來源，會記錄以下資訊：

• Thousand Eyes 帳號與測試配置（名稱、類型、ID）
• Agent 識別資訊（ID、名稱、分配）
• 永久連結至 Thousand Eyes 的具體問題視圖

流處理架構設計

資料流採用 Kafka 作為訊息隊列，接收來自 Agent 的 Telemetry 資料。後續處理分為兩階段：

1. Collector（第一階段）：
   • 過濾器：僅處理需傳送至觀測後端的測試資料
   • 處理器：豐富資料（如 Agent 位置、測試名稱）
   • 導出至 Integrations Collector
2. Integrations Collector：
   • 處理器：複製 Trace 並添加集成 ID 屬性
   • 路由（OTel Routing）：根據集成 ID 將資料導向指定後端（如 Jaeger、Grafana）

雙 Collector 設計：

• Trace Collector：專門處理大量 Trace 資料，根據 Kafka 資料量進行擴展
• Integrations Collector：根據集成數量擴展，實現資料冗餘與多後端支援

實作案例與關鍵觀察

測試案例：頁面加載監控

建立 Thousand Eyes 頁面加載測試（目標為 cisco.com），其 HAR 資料經 OpenTelemetry 集成轉換後，透過 Kafka 送至 Collector。最終在 Jaeger 中可視化 Trace，每個 HTTP 請求對應一個 Span，並可分析：

• 網頁加載問題（如特定資源載入失敗）
• 不同 Trace 的耗時差異（如 7 秒 vs 5 秒）
• 請求數量與時間分佈，識別效能瓶頸

技術優勢與挑戰

優勢：

• 標準化：語義約定確保資料一致性，提升分析效率
• 可擴展性：分離 Collector 設計支持不同規模的資料流量
• 多後端支援：靈活導向 Jaeger、Grafana 等觀測後端

挑戰：

• 資料轉換複雜度：需處理 HAR 資料結構與 OpenTelemetry 的語義對應
• 性能優化：並行處理與路由策略需根據後端特性調整
• 安全性：確保敏感資訊在轉換過程中不被洩漏

總結

透過將 HAR 資料轉換為 OpenTelemetry Trace，企業可將傳統網路監控資料轉化為結構化、可視化的觀測資料，提升問題診斷與效能分析能力。此架構結合 Kafka 的流處理、Collector 的資料轉換與路由，以及 OpenTelemetry 的語義約定，實現高效、可擴展的觀測系統。未來可進一步整合至微服務追蹤、CI/CD 自動化觀測等場景，深化雲原生環境下的監控能力。