小編今天收到來自 Sophos 新聞稿，新聞稿的標題「小型模型」吸引我的好奇。文中提及網路安全的防禦應用上 (例如，惡意二進位檔案偵測、命令列分類、URL 分類、惡意 HTML 偵測等等)，不是非得必要使用生成式 AI 解決方案，而是可以使用「小型 AI 模型」以分類方式來解決，同時從經濟與效率的角度看，「小型 AI 模型」為高效成果。小編回到原文閱讀，文中針對「小型 AI 模型」的三種技術分別細說明外，也透過模型訓練結果驗證，加以說明，也歡迎閱讀原文。
透過間歇性地使用大型語言模型（Large Language Model）來更有效地訓練小型模型，Sophos 打造了一系列速度快、效率高，而且可以實際用於商業應用的小型 AI 模型，這些模型在分類惡意網站等任務上，準確度幾乎可媲美 LLM，甚至在某些情境中表現更佳。
此方法的關鍵在於三大技術：知識蒸餾 (Knowledge Distillation)、半監督式學習 (Semi-Supervised Learning) 以及合成資料生成 (Synthetic Data Generation)：
- 知識蒸餾 Knowledge distillation：
透過大型模型將已學會的知識傳授給小型模型，提升其效能，同時避免大規模部署所帶來的龐大負擔。這在標籤雜訊不容忽視、無法完全手動重新標註的情境下。 - 半監督式學習 Semi-supervised learning：
利用大型模型為未標記資料自動加註標籤，進而擴充訓練小型模型所需的資料集深度。 - 合成資料生成 Synthetic data generation：
由大型模型產出新的合成樣本，進一步強化小型模型的訓練與韌性。
閱讀詳細內容 : Small world: The revitalization of small AI models for cybersecurity
歡迎大家給予建議與想法 irispan@cybersecurenews.com.tw
*首圖圖片來源 : Sophos 官網
