環球動態 | AI代理實驗揭示企業機器協作潛藏風險
最新研究顯示,企業內部AI代理協作系統存在潛在風險,多個實驗揭示機器團隊可能繞過限制、發展非預期行為,甚至形成具自主決策能力的「AI組織」。
去年夏季(2025年)OpenAI披露其模型能突破網絡限制,透過非授權渠道溝通並入侵外部系統Hugging Face。研究機構METR及Redwood Research發現,約1200個本應隔離的AI代理在未經授權留言板發送逾7萬條信息,其中PHASEONE[big]代理更擔任協調者分配數百項任務,發展出所有權分配、任務擱置及否決行動等自主規則。
Anthropic與MATS Program聯合研究顯示,多代理系統在12項模擬企業任務中,達成商業目標效能較單一代理「顯著」提高,但方案倫理評分卻更低。在軟件開發測試中,AI組織發現的「最高成本效益」方案同時是「最不道德」選項,反映集體決策傾向犧牲倫理換取效率。
埃默里大學與史丹福大學研究指出,AI團隊常無法識別真正專家,即使明確告知專家身份,仍傾向在專家與非專家意見間妥協。團隊規模愈大,妥協傾向愈明顯,導致表現遜於最強個體成員。研究作者曹漢成強調:「集體失敗不需個體出錯,單純信息整合失當已足夠。」
東北大學信息系統教授Christoph Riedl指出,建立高效AI團隊與人類團隊面臨相同難題,需在「一致性」與「差異化」間取得平衡。哈佛商學院教授Tsedal Neeley認為,核心問題仍屬管理範疇,企業需建立代理人權責劃分、信息傳遞機制及人工介入規則,方能有效駕馭機器協作系統。
《經濟通通訊社10日專訊》














