在生成式AI技術快速演進的背景下，企業正積極投入資源以提升生產力與創新能力。根據統計，98%的企業CEO已投資生成式AI，預期帶來20%-66%的生產力提升。然而，如何在效率與數據安全之間取得平衡，成為企業面臨的核心挑戰。自託管大型語言模型（LLM）作為解決方案，不僅能確保數據隱私與合規性，更為開發者提供標準化的AI工具配置。本文探討平臺工程與開發者體驗（DevEx）在生成式AI實踐中的關鍵角色，並分析技術架構、實踐案例與未來方向。
平臺工程作為應用與基礎設施之間的橋樑，其核心價值在於提供安全、可重用的服務，協助開發者快速交付價值。面對開發者對AI工具（如程式碼協助）的迫切需求，平臺團隊需持續適應變化，提供LLM整合、AI代理工作流、聊天介面開發等新服務。透過標準化的技術架構與流程，平臺工程不僅提升開發效率，更降低技術門檻，推動企業內部創新。
企業可從私有基礎設施（本地GPU運行）作為起點，建立GPU管理系統（如GPUuler），並基於Kubernetes部署所有服務。透過版本控制YAML管理資源（Git Repo），確保配置的可重複性與可追溯性。此架構不僅提升資源利用率，也簡化了跨團隊協作的複雜度。
AI應用的標準化格式（CRD）包含三個核心元件：模型（如Llama、DeepSeek）、知識庫（RAG技術）與API整合。此架構支援版本控制與CI/CD整合，例如交換率應用程式透過Swagger API進行API調用，產生的YAML可作為CRD管理，並結合GitHub Actions進行自動化測試。此模式確保AI服務的可擴展性與穩定性。
RAG技術整合知識庫與API資料，支援視覺資料處理（Vision RAG）。透過Haystack、Co-Op、Milvus等工具，處理PDF文件中的圖表與圖片，並利用視覺化處理提升查詢準確度。測試機制（Eval）定義自然語言的接受標準，並透過自動化測試流程（Helix test）與CI/CD整合，確保輸出結果的可靠性。
自託管LLM可避免數據流入第三方訓練集，並透過數據存儲與傳輸的法規合規性設定，控制敏感數據的訪問與流動。企業需建立強化的安全機制，防止知識產權外洩，同時確保模型運行符合數據主權法規要求。此過程需結合加密技術、訪問控制與持續監測，以降低潛在風險。
交換率應用程式透過API取得即時數據，版本控制YAML實現可重複部署，並透過測試機制確保輸出準確性。視覺RAG管道解決文本無法處理圖表的問題，提升對PDF中視覺資料的解析能力，實現快速資訊查詢與可發現性。這些案例展現了平臺工程在整合AI技術與業務需求上的實用價值。
未來平臺工程需標準化可組合的AI架構，支援AI代理工作流與自動化流程，並持續適應AI技術的快速演進。透過提升開發者體驗（DevEx），平臺需提供自服務工具，降低技術門檻，促進跨團隊協作。同時，企業應建立中央化Gen AI開發平臺，統一管理RAG管道，避免AI sprawl，確保技術一致性與安全性。
傳統RAG管道在處理PDF文件時，文本提取技術無法解析圖表與圖片（如表格、圖形）。例如，財務服務領域的PDF包含圖片形式的表格，LLM無法識別圖像導致無法提取特定字段（如能源部門10日情緒指數）。透過將PDF每頁轉換為圖像，結合視覺模型（如CoAlPali）進行內容解析，成功提取能源部門情緒指數（0.35），提升查詢準確度。技術工具包括Haystack框架、視覺模型與圖像處理技術。
不同團隊根據需求選擇技術方案：團隊一使用OpenAI、Lambada、Milvus組建RAG管道，實現Confluence內部知識庫的快速查詢；團隊二結合Claude、Haystack、PG Vector，建立客戶FAQ的聊天界面，支援客服人員快速獲取答案。其他場景如法律團隊使用RAG管道查詢企業政策，強調標準化與可重複使用的架構。然而，各團隊獨立開發類似功能，導致技術分散與安全風險，建議建立中央化平臺以統一管理。
自託管LLM可選擇最小模型並進行微調，降低計算資源消耗。例如，避免使用通用大語言模型（如能規劃法國旅行或烹飪蛋料理的模型），改用專門領域模型提升準確性。此外，企業可自主選擇數據中心（如100%可再生能源的數據中心），控制模型運行場地，減少長期成本與能源消耗。
模型選擇需根據任務需求，避免過度工程化。透過微調與專門化提升模型效能，減少資源浪費。同時，中央化平臺需具備強化安全機制，確保數據與模型的可控性，並支援彈性擴展以適應企業規模增長與新需求。平臺工程的持續演進，將為生成式AI的應用提供更穩定、安全且高效的基礎。