無論是導入一個最初就以數兆級詞元(token)資料集進行完整訓練的大型基礎模型,或開發一個雲端級LLM推論基礎架構,具有無阻式400Gb/s網路結構的主幹枝葉式架構(Spine and Leaf Network Topology)都能從32個運算節點順暢地擴展至數千個節點。針對完全整合的液冷系統,Supermicro在產品出廠前會藉由經認證的測試流程徹底驗證與確保系統運行成效與效率。
採用了NVIDIA GH200 Grace Hopper Superchip的Supermicro NVIDIA MGX™系統設計將能打造出未來AI運算叢集的架構樣式以解決生成式AI的關鍵瓶頸:運行高推論批次大小的LLM所需的GPU記憶體頻寬及容量,進而降低營運成本。具256節點的運算叢集能實現雲端級大量推論算力引擎,並易於部署與擴充。
透過GPU間可實現的頂級互連效能,Supermicro的SuperCluster解決方案針對LLM訓練、深度學習,以及大量且高批次推論進行了最佳化。Supermicro的L11和L12驗證測試結合了現場部署服務,可為客戶提供更順暢體驗。客戶收到隨插即用的可擴充單元後能實現資料中心內的輕鬆部署,並可更快獲取成果。
如需Supermicro AI SuperCluster的詳細資訊,請造訪:www.supermicro.com/ai-supercluster
深入了解Supermicro液冷技術:https://www.supermicro.com/zh-tw/solutions/liquid-cooling