統一平台,實現協作式 AI
Red Hat AI 3 提供統一彈性體驗,專為生產環境中生成式 AI 解決方案的協作需求打造。其設計旨在透過促進團隊協作與統一工作流程,並為企業創造實質價值。平台工程師和 AI 工程師可藉由 Red Hat AI 3 這個單一平台執行 AI 策略。新功能著重於提升從概念驗證擴展至生產環境所需的生產力與效率。
- 模型即服務(Model as a Service,MaaS)功能奠基於分散式推論之上,IT 團隊能作為企業自己的 MaaS 供應商,集中管理常用模型並為 AI 開發者與 AI 應用程式提供依據需求(on-demand)存取服務。上述功能不僅有助於成本控管,亦能應對因隱私權或資料安全顧慮而無法在公有 AI 服務上執行的應用情境。
- 平台工程師可透過 AI 中心(AI Hub)探索、部署與管理基礎 AI 資產,其提供內含模型精選目錄(curated catalog)的集中式管理中心,涵蓋經驗證與最佳化的生成式 AI 模型、模型生命週期管理登錄檔,以及可配置與監控運行於 OpenShift AI 上所有 AI 資產的部署環境。
- 生成式 AI 工作室(gen AI Studio)為 AI 工程師打造動手實作的環境,在此能與模型互動並加速生成式 AI 應用程式的原型開發。透過 AI assets endpoint 功能,工程師能輕鬆探索與使用可用的模型與 MCP 伺服器(用以簡化模型與外部工具的整合流程)。內建的 playground 則提供互動式且無狀態(stateless)的環境,可用於模型實驗、提示詞(prompts)測試與參數微調,支援如對話(chat)與檢索增強生成(RAG)等應用場景。
- Red Hat AI 3 亦同步整合全新且經 Red Hat 驗證與最佳化的模型以簡化開發流程。精選內容包括如 OpenAI 的 gpt-oss、DeepSeek-R1 等受歡迎的開源模型,以及 Whisper(語音轉文字)和 Voxtral Mini(用於語音代理)等專業模型。
為新一代 AI 代理(AI agents)奠定基石
AI 代理即將顛覆應用程式的建構方式,其複雜的自動化工作流程將對推論能力帶來嚴苛的要求。Red Hat OpenShift AI 3.0 版本不僅強化推論能力,更帶來專注於代理管理的新版或強化功能,持續為可擴展的代理式 AI 系統奠定穩固基礎。
為加速代理的建立與部署,Red Hat 推出基於 Llama Stack 的統一應用程式介面層,助力讓開發流程與 OpenAI 等業界標準保持一致。此外,為提倡更開放、更具互通性的生態系,Red Hat 已率先採用模型上下文協定(Model Context Protocol,MCP),此強大的新興標準能簡化 AI 模型與外部工具的互動方式,是現代 AI 代理不可或缺的基礎功能。
Red Hat AI 3 引入以既有的 InstructLab 功能所打造、模組化且可擴充的全新模型客製化工具組。開發者可藉由專用的 Python 函式庫獲得更大的靈活性及掌控度。此工具組是由多項開源專案驅動,其中包括用於資料處理的 Docling,可將非結構化文件轉換為 AI 模型可讀取的格式,大幅簡化資料匯入流程。此外,該工具組亦支援用於合成資料生成的彈性框架,以及用於 LLM 微調的訓練中心。AI 工程師可透過整合的評估中心(evaluation hub)監測並驗證訓練成果,協助企業有自信地運用專有資料,以獲得更準確且更具相關性的 AI 成果。
相關文章
Red Hat 推出 llm-d 社群專案,加速推進大規模分散式的生成式 AI 推論