引言
在當前的數據工程領域，「The free lunch is over」這句話揭示了我們必須面對非結構化資料處理的現實。隨著大型語言模型（LLM）的快速發展，數據工程師的任務已從傳統的結構化資料處理，轉向整合非結構化資料與機器學習技術的複雜挑戰。本文探討LLM對數據工程的影響，分析非結構化資料的處理方法，並探討未來數據工程的發展方向。
LLM的現狀與影響
LLM的快速發展
自2023年起，LLM的進步極速改變了數據工程的生態。例如，OpenAI在2023年9月發布GPT-2，11月發布GPT-3.5，這些模型不僅能處理自然語言查詢，還能生成SQL查詢、解析CSV資料，甚至自動推導資料結構。然而，LLM的「幻覺問題」（hallucination）仍是一大挑戰，其生成的結果可能不準確，需結合外部資料驗證。
用戶需求變化
用戶現在期望將LLM整合至內部系統，如開發個人助理或數據處理工具。企業需重新思考如何將非結構化資料（如文本、圖像）與LLM結合，以提升數據處理的效率與準確性。
數據工程的挑戰與轉變
結構化與非結構化資料的區別
傳統數據工程以結構化資料為主，資料需明確定義schema，工具如Elasticsearch、Solr用於日誌搜尋與索引。然而，現代非結構化資料形式多樣（文本、圖像、音訊），需透過機器學習提取特徵。例如，從圖像中提取地理資訊，或透過NLP識別關鍵字。
LLM對數據工程的影響
工具進化
自然語言成為「新程式語言」，SQL等傳統查詢語言逐漸被取代。工具如GitHub Copilot協助程式開發，LLM可生成SQL查詢或Spark代碼。
數據處理流程變革
需將非結構化資料轉換為向量（embeddings），以便LLM處理。例如，使用機器學習模型將文本映射至潛在空間（latent space），生成浮點數向量。
關鍵技術概念
嵌入（Embeddings）
將文本、圖像等資料轉換為向量，用於語義搜尋與相似度計算。例如，Microsoft Cognitive Search使用向量索引進行語義搜尋。
檢索增強生成（RAG）
結合LLM知識與外部資料庫，提升生成結果的準確性。流程包括：用戶提出問題 → 搜索資料庫（如Elasticsearch）獲取相關文檔 → 將文檔內容整合至提示（prompt）中 → 透過LLM生成最終答案。
數據工程的未來方向
工具與流程優化
開源社區（如Apache Foundation）需制定LLM工具的使用指南，確保版權與倫理合規。例如，ASF已發布關於生成工具的指導文件。
數據結構的重新定義
承認所有資料具有隱含結構（如圖像的地理資訊、文件的關鍵字）。透過自動解析（如NLP）或人工標註（如圖像分類）提取結構。
整合LLM至數據系統
需設計新架構，使非結構化資料能與LLM模型協同工作。例如，將資料庫與向量索引結合，實現語義搜尋與自動生成。
嵌入空間與語義搜尋
嵌入概念
將文本、圖片、音訊等非結構化資料轉換為向量（floats陣列），以在特定語義空間中進行相似度計算。
語義搜尋流程
- 使用機器學習模型（如LLM）將資料轉換為向量。
- 建立向量資料庫（如Azure Cognitive Search）以儲存並建立索引。
- 透過餘弦相似度（cosine similarity）計算查詢與向量的距離，實現語義匹配。
檢索增強生成（RAG）
核心機制
- 提問時結合預先儲存的資料（如文檔、知識庫）。
- 背景流程：查詢語義索引 → 將結果加入提示（prompt） → 調用語言模型生成答案。
應用案例
- 範例：查詢「某事件結果」時，若未加入歷史資料，可能產生錯誤答案；加入資料後可正確回應。
- Microsoft工具鏈：整合Azure Cognitive Search與LLM，實現語義搜尋與生成。
模型微調與任務定製
微調方法
- 提供示例（如sarcastic回應）調整模型行為。
- 將資料結構（如SQL Schema）、自然語言問題與對應查詢結合，訓練模型轉換自然語言至目標系統（如SQL、JSON）。
應用場景
- 生成SQL查詢、Power BI報表等。
- 使用Apache Tika提取PDF/文檔內容，結合Synaps ML處理非結構化資料。
非結構化資料處理架構
資料處理流程
- 存儲於數據湖（Data Lake）或物件儲存（如Azure Blob）。
- 使用大規模資料引擎（如Spark）進行轉換。
- 透過Synaps ML整合LLM API，批量處理請求並避開速率限制。
工具與技術
- Synaps ML：支援異步請求、批次處理、API速率控制。
- Apache Tika：提取文檔內容（文字、元數據），提供REST介面。
非結構化資料的挑戰與解決方案
主要問題
- 幻覺（Hallucination）：模型生成不準確資訊，需結合資料驗證（如SQL Checker、Open Interpreter）。
- 偏見放大：訓練資料偏差可能影響結果，需監控與調整。
- 非確定性：相同輸入可能產生不同結果，需引入驗證機制。
安全性考量
- 系統提示（System Prompt）限制行為（如禁止生成有害內容）。
- 避免「越獄」（Jailbreak）攻擊，如透過提示詞繞過安全限制。
開放源碼與可存取性
開放源碼AI
- 當前爭議：部分模型（如Lama、Whisper）聲稱開放源碼，但實際開放程度存疑。
- OASIS組織正在制定開放源碼AI的明確定義。
可存取性
- 為視障人士生成語音書（如Project Gutenberg合成語音）。
- 關注全球30億人口的數位落差，特別是文盲（8億人）與視障者（3億人）。
技術整合與未來方向
工具整合
- Microsoft生態系：Azure Cognitive Search + Synaps ML + Apache Tika。
- 其他平臺：Google、AWS的類似服務。
開放源碼需求
- 需更多開放源碼工具支援資料工程與模型微調。
- 強化可存取性，促進非結構化資料的廣泛應用。
結語
LLM的出現改變數據工程的範疇，需重新思考資料處理流程與工具選用。非結構化資料的處理需結合機器學習與自然語言技術，並建立新的數據結構與索引方法。數據工程師需掌握嵌入、RAG等技術，以應對LLM時代的挑戰。