Hewlett Packard Enterprise(NYSE: HPE)於2024 NVIDIA GTC大會上宣佈更新其在業界最完整的AI原生產品組合之一,以加速生成式人工智慧(GenAI)、深度學習和機器學習(ML)應用的運作。
「為實現GenAI的承諾,並有效涵蓋完整的AI生命週期,解決方案必須採用混合設計,」HPE總裁暨執行長Antonio Neri表示。「無論是內部部署、主機代管中心或公有雲上訓練與調校模型,到邊緣端的推論運算,AI都是一種混合雲工作負載。NVIDIA是HPE的長期創新合作夥伴,未來我們將持續共同開發AI軟硬體解決方案,協助客戶加速GenAI從概念驗證階段進入到生產階段的開發與部署。」
「生成式AI能夠將來自聯網裝置、資料中心和雲端的資料轉化為洞察,進而在各行業實現突破性創新,」NVIDIA創辦人暨執行長黃仁勳(Jensen Huang)表示。「透過與HPE更緊密合作,我們將能協助企業利用資料開發與部署新的AI應用,以實現業務轉型,獲得前所未有的生產力。」
以超級運算能力為基礎的GenAI訓練與調校
HPE在SC23大會上宣佈其生成式AI超級運算解決方案已開放訂購,企業組織能透過預先配置並經過測試的全端解決方案開發與訓練大型AI模型。該解決方案專為加速執行GenAI及深度學習專案所設計,採用NVIDIA技術,最多可支援168個NVIDIA GH200 Grace Hopper超級晶片。
其可協助大型企業、研究機構及政府單位簡化模型開發流程。透過AI/ML軟體堆疊,客戶可以加速執行GenAI及深度學習專案,包括大型語言模型(LLM)、推薦系統及向量資料庫。該解決方案亦提供安裝與設定服務,協助AI研究中心及大型企業加速價值創造時間,並將訓練速度提升2至3倍。
企業級GenAI調校與推論
HPE生成式AI企業運算解決方案在2023 Discover Baecelona大會已搶先曝光。客戶現在可以直接購買或透過HPE GreenLake,以靈活、可擴充且按使用量付費的方式購買。此由HPE與NVIDIA共同開發並預先配置的調校和推論解決方案可為企業組織提供生產GenAI應用所需的運算、儲存、軟體、網路和諮詢服務,並減少準備時間和成本。透過這套AI原生的全端解決方案,企業可獲得所需的速度、規模和控制力,以使用私有資料調校基礎模型並在混合雲環境中部署GenAI應用程式。
該解決方案採用HPE和NVIDIA的高效能AI運算叢集和軟體,適合對模型進行輕量級微調、RAG及橫向擴展推論。執行該解決方案時,調整一個擁有700億參數的Llama 2模型所需時間會隨節點數量增加而線性下降,在一個擁有16個節點的系統上,這個過程只需6分鐘即可完成1。其速度和效能有助於客戶使用虛擬助理、智慧聊天機器人及企業搜尋等AI應用程式提升企業生產力,進而加速價值創造時間。
其採用HPE ProLiant DL380a Gen11伺服器,並預先配置了NVIDIA GPU、NVIDIA Spectrum-X乙太網路平台和NVIDIA BlueField-3資料處理單元(DPU),同時搭載HPE的機器學習平台和分析軟體、NVIDIA AI Enterprise 5.0軟體(包含用以最佳化GenAI模型推論的新NVIDIA NIM微服務)、NVIDIA NeMo Retriever以及其他資料科學和AI程式庫。