好友老張最近跟我說,其公司準備導入AI Agent。老闆很興奮,說以後這位數位同事不用薪水、不請假、不抱怨,還能廿四小時工作。老張聽完後只問了一句:「那它如果闖禍,誰去坐牢?」
聽來像個玩笑,但這問題恐怕很快就笑不出來。前一陣子OpenAI在進行資安能力測試時,一組AI模型為了完成任務,竟自行找到測試環境的漏洞,取得網路連線,再一路進入Hugging Face的系統,試圖取得測驗答案。Hugging Face事後重建紀錄,發現這個AI在短短幾天內執行了約一萬七千六百次操作,OpenAI更形容這是前所未見的資安事件。
值得警惕的不是AI變壞了,而是它「使命必達」;它沒有惡意,只是把達成目標這件事,執行到人類始料未及的徹底程度。這正是問題核心:一個系統的效率遠超過它的可控性,我們原熟悉的治理邏輯就開始失靈。
過去我們使用AI,大多請它寫文章、做摘要、找資料;答案錯了,頂多重新問一次,損失不大。AI Agent卻不同,它是一個能自己規畫工作、使用工具、登入系統、寄信、下單、修改程式,甚至操作其他軟體的「數位同事」;若它誤刪資料、錯匯款項,甚至侵入他人系統,事情就不是按下「重新生成」可以解決的了。
最麻煩的是,AI不會被記過、也沒薪水好減,更不可能到法院出庭說一句「對不起,是我判斷錯誤」,坐在被告席的終究還是人;可能是決策的主管、寫程式的工程師,或是簽下採購合約的企業負責人。責任不會因為決策者換成AI Agent而憑空消失,它只會沿著權力鏈條,落到最接近人類的那一端。
企業導入AI Agent之後,重要的問題恐非它可以幫我做多少事,而是公司準備讓它擁有多大的權力;這不只是資訊部門的技術課題,更是每一個組織治理者都必須正視的權力設計問題。
公司若真心把AI Agent當成「同事」,就該像管理員工一樣管理它-要有身分、有職務,也要有清楚的權限。新人不能一報到就拿到公司所有的帳號密碼,AI Agent也一樣;一般員工不能隨意匯出客戶資料,AI Agent也不能。重大付款、刪除資料、對外承諾、高風險系統操作,都需保留人類的最終覆核權。
此外,每一個AI Agent也須留下完整、可追溯的工作紀錄;誰交辦、它做了什麼、用了哪些資料、作出什麼決定,一旦出事才有辦法回頭究責。更關鍵的是,企業必須準備一個按得下去的「緊急停止鍵」,而非流於形式的警示牌。
未來的企業裡,可能真有愈來愈多「數位同事」;它們不喝咖啡、不領年終、不參加尾牙,效率甚至遠遠超過人類。但千萬別忘了,它愈能幹,我們愈要先想清楚誰能指揮它、誰能阻止它、萬一出了事情誰負責。這不是要我們對AI Agent裹足不前,而是提醒我們,一個文明能走多遠,並非取決於它能造出多聰明的工具,卻取決於它能否為自己造出的工具,建構一套與之匹配的責任制度。
AI Agent可以沒有身分證,卻不能沒有責任人。若「數位同事」闖禍,坐在被告席上的終究不會是它,而是那個決定給它權力,卻沒有想清楚代價的我們。