《經濟學人》雜誌在對 2025 年的趨勢預測中,認為 AI 代理(AI Agent)有望讓人們從「對話走向執行」,並將可能成為 2025 年科技界最大的突破之一。而彷彿是對這趨勢的強力呼應,由中國大陸團隊研發,號稱全球首款通用型 AI 代理的 Manus,在 3月初一上線,就因為其表現出自主執行各種複雜任務的能力,以及在 AI 測試表現出卓越效能,引爆科技圈和投資圈關注。
企業近來積極引進 AI 已是如火如荼,而 AI 代理的出現更將帶來顛覆性變革。隨著 AI 代理融入企業營運,企業團隊可能會使用作業系統、瀏覽器或平台所提供的代理程式,或將其整合至 Microsoft Teams 等日常工具。此外,部分企業會自行開發代理程式,或使用 SaaS 供應商提供的「代理即服務」(Agents as a Service)。由於 AI 代理將深度融入日常業務活動,並成為各種服務(甚至是使用者的作業系統)的新介面,企業幾乎不可能避開代理型 AI 的應用。
在我們邁向這種無可避免的整合過程中,了解隨之而來的資安風險至關重要。以下是五項您可能難以預料,但絕對不容忽視的安全風險:
(一) 人類員工及其工作站將成為先進生產機器
無論是使用工作站、瀏覽器、SaaS 應用程式,或三者結合之下提供的AI代理,員工生產力勢必大幅提升。員工可藉助 AI 代理管理虛擬團隊,使團隊間能夠互動並自主運行。然而,無論是內部威脅還是外部攻擊者,一名高度依賴 AI 的“普通”員工一旦遭受入侵,風險將倍增。
(二) 影子 AI 代理:隱形的自主運作
AI 代理不僅可由AI及開發團隊自主部署,使用者也能透過 SaaS 應用程式、作業系統工具或瀏覽器自行部署,這意味著 AI 代理可能在缺乏適當的 IT 與安全流程下被廣泛採用,甚至 IT 團隊可能完全無法察覺其存在。
這種缺乏可視性的狀況將帶來重大安全風險,因為未經授權的 AI 代理可能在無人監管的情況下運作,並在意想不到的地方帶來風險。這類未經授權且無法監測的 AI 代理可被稱為“影子 AI 代理”(shadow AI agent),因為它們在缺乏監督的情況下於暗中運行。
(三) 開發人員搖身一變成為全方位研發及營運部門
生成式AI已顯著提升開發人員的生產力,而 AI 代理的出現更徹底改變其角色。開發人員不再僅負責編寫程式,而是能夠獨立完成整個研發和營運流程,成為全能型人才。隨著AI代理發展,開發人員能夠從頭到尾自主管理整個應用程式開發及維護,包括程式編寫、系統整合、品質測試、部署上線、生產運行及故障排除。然而,開發人員生產力與職責的提升,也意味著存取權限增加。若開發人員的身分遭受惡意攻擊者入侵,風險將大幅增加,這些改變使其成為企業內最具權限與價值的攻擊目標之一。
(四) 人類介入機制:風險與影響
隨著企業採用代理型 AI,「人類介入機制」(Human-in-the-Loop)變得至關重要。這些負責監督 AI 代理的人類決策者,將承擔各種關鍵職責,包括核可 AI 代理的請求及例外情況、確認其執行的任務是否符合預期,以及調整AI代理的行為,以最佳化未來決策。
然而,這些關鍵決策者亦更容易成為惡意攻擊者的目標。惡意攻擊者可能試圖滲透架構,利用提權手段,取得未經授權的存取權限。儘管人類介入機制是確保AI代理安全性及可控性的重要機制,但若這些關鍵決策者被攻擊或操縱,企業會面臨更大的安全風險。
(五) 管理數以百萬計的AI代理機器身分
機器身分的增長速度前所未有,目前的數量已經是人類身分的 45 倍,且僅是冰山一角。以 NVIDIA 執行長黃仁勳的願景為例,他期望 NVIDIA 有天成為擁有 50,000 名員工的企業,管理一億名 AI 助手。在未來的企業環境中,數以百萬計的 AI 代理將同時運行,各自管理不同的任務,共同協作並最終實現長期目標。如此龐大的機器身分數量,將為身分管理與安全性帶來巨大挑戰。
結語
企業必須確保一個安全、合規且可信賴的部署方式,才能大規模推動代理型 AI 的應用。其中的關鍵包括對所有活動的全面可視性、強固的身分驗證機制、最小權限原則、即時(JIT)存取控制,以及完整的連線稽核,以便追蹤其行動並對應到具體身分。
這些措施對於人類與機器身分同樣至關重要。在我們應對代理型 AI 帶來的複雜挑戰時,這些安全機制將成為降低相關風險的關鍵要素。