從風險到責任：Ahmad Shadid 談建立安全的 AI 輔助開發工作流程

簡要內容

“Vibe 編碼” 正在普及，但專家警告傳統工具對企業代碼構成安全與保密風險，凸顯需要加密的硬體支援“機密 AI” 解決方案。

近幾個月來，“vibe 編碼”——一種以 AI 為先的工作流程，開發者利用大型語言模型 (LLMs) 和代理工具來生成與優化軟體——逐漸受到關注。同時，多份產業報告指出，雖然 AI 生成的代碼提供速度與便利，但也常帶來嚴重的安全與供應鏈風險。

Veracode 的研究發現，近一半由 LLMs 產生的代碼含有關鍵漏洞，AI 模型經常產出不安全的實作，且除非明確提示，否則會忽略注入漏洞或弱驗證等問題。近期一項學術研究也指出，基於代理系統的模組化 AI “技能” 可能攜帶漏洞，進而導致權限提升或暴露軟體供應鏈。

除了不安全的輸出外，系統性保密風險也常被忽視。目前的 AI 編碼助手在共享雲端環境中處理敏感內部代碼與智慧財產，供應商或運營者在推理過程中可能存取資料。這引發了在大規模曝光專有生產代碼的擔憂，對個人開發者與大型企業而言都是一個重大問題。

AI 編碼助手中的敏感企業代碼會發生什麼事，為何具有風險？

大多數現行的編碼工具只能在一定程度上保護資料。企業代碼在傳送到供應商伺服器時通常會加密，通常透過 TLS。但一旦代碼抵達伺服器，就會在記憶體中解密，以便模型讀取與處理。此時，像是專有邏輯、內部 API 和安全細節等敏感資訊會以明文呈現於系統中。這正是風險所在。

這些代碼可能會經過內部日誌、暫存記憶體或除錯系統，這些都難以讓客戶看到或審核。即使供應商保證不會儲存資料，資料在處理過程中仍有暴露的可能，而這短暫的時間足以形成盲點。對企業而言，這可能導致敏感代碼被濫用，且缺乏專有控制。

為何你認為主流 AI 編碼工具對企業開發來說根本不安全？

大多數流行的 AI 編碼工具並非為企業風險模型設計；它們只追求速度與便利，因為它們多在公開資源上訓練，這些資源包含已知漏洞、過時的模式與不安全的預設值。因此，除非經過徹底檢查與修正，否則它們產出的代碼通常存在漏洞。

更重要的是，這些工具沒有正式的治理架構，無法在早期階段強制執行內部安全標準，導致軟體的開發與後續審核或保護之間產生脫節。這最終使團隊習慣於使用他們幾乎不理解的輸出，安全性卻在暗中逐步降低。缺乏透明度與技術層面的限制，使得在安全優先領域運作的組織幾乎無法提供標準支援。

如果供應商不存儲或訓練客戶代碼，為何這還不夠？需要什麼技術保證？

保證政策與技術保證截然不同。用戶資料在計算過程中仍會被解密與處理，即使供應商保證不會留存資料。除錯過程中的暫存日誌仍可能造成資料外洩，政策無法完全預防或證明安全性。從風險角度來看，沒有驗證的信任是不足夠的。

企業應該專注於能在基礎設施層面建立的承諾，包括機密計算環境，讓代碼在傳輸與使用時都受到加密保護。一個很好的例子是硬體支援的可信執行環境（TEE），它創建一個加密環境，即使是基礎設施運營者也無法存取敏感代碼。模型在此安全環境中處理資料，遠端驗證（remote attestation）則允許企業以加密方式驗證這些安全措施已啟用。

這些機制應成為基本要求，因為它們將隱私轉化為可衡量的屬性，而不僅僅是承諾。

在本地或私有雲中運行 AI 是否能完全解決保密風險？

在私有雲中運行 AI 有助於降低部分風險，但並不能徹底解決問題。除非採取額外保護措施，資料在處理時仍非常容易被看到與受到威脅。因此，內部存取權限、設定不當以及在網路內的資料流動仍可能導致資料外洩。

模型行為也是一個擔憂點。雖然私有系統會記錄輸入或存儲測試資料，但若缺乏強隔離措施，這些風險仍然存在。企業仍需進行加密處理，並建立硬體存取控制與明確的資料使用限制，以安全保護資料。否則，只是避免風險，並未真正解決問題。

“機密 AI” 對編碼工具來說到底代表什麼？

機密 AI 指的是在計算過程中管理資料安全的系統。它允許資料在隔離的環境中處理，例如硬體支援的可信執行環境（TEE），但資料仍以明文形式供模型運作。硬體隔離的強制執行確保平台運營者、主機作業系統或任何外部方都無法存取敏感資料，同時提供加密驗證的隱私保障，且不影響 AI 的功能。

這徹底改變了編碼平台的信任模型，讓開發者可以在不將專有邏輯傳送到共享或公開系統的情況下使用 AI。此過程也增強了明確的責任追蹤，因為存取邊界由硬體建立，而非政策。一些技術甚至結合加密計算與歷史追蹤，讓輸出可以在不揭露輸入的情況下進行驗證。

雖然這個術語聽起來抽象，但其含義很簡單：AI 輔助不再需要企業犧牲保密性來追求效率。

目前使用機密 AI 的權衡或限制有哪些？

最大限制是速度。隔離在可信執行環境中的 AI 系統可能會比未受保護的架構有些延遲，這主要由硬體層的記憶體加密與驗證所造成。好消息是，較新的硬體正逐步縮小這個差距。

此外，設置與規劃工作也更為繁瑣，因為系統必須在更嚴格的環境中運作。成本也是一個考量點。機密 AI 通常需要特殊硬體，例如 NVIDIA H100 和 H200 等專用晶片，以及相關工具，這會推高初期投入。但這些成本與資料外洩或不符規範可能造成的損失相比，仍值得考慮。

機密 AI 目前尚非普遍系統需求，團隊應在隱私與責任最重要的情況下採用。許多限制未來都會被克服。

你預計監管機構或標準很快會要求 AI 工具在處理期間將所有資料加密嗎？

像是歐盟 AI 法案（EU AI Act）與美國 NIST AI 風險管理框架（NIST AI Risk Management Framework）已經強調風險管理、資料保護與高影響力 AI 系統的責任。隨著這些框架的發展，設計上暴露敏感資料的系統越來越難在既定治理預期下合理化。

標準組織也在建立基礎，制定更明確的規則，規範 AI 在使用期間如何處理資料。這些規則在不同地區可能會有不同的推行速度，但企業應預期對於以明文處理資料的系統會有更大壓力。這樣一來，機密 AI 不再只是預測未來，而是與現有規範的趨勢相符。

“負責任的 vibe 編碼” 現在對開發者與 IT 領導者來說是什麼樣的？

負責任的 vibe 編碼就是對每一行代碼負責，從審查 AI 建議到驗證安全影響，再到考慮每個邊緣案例。對組織而言，這需要明確制定特定工具的批准政策與敏感代碼的安全路徑，同時確保團隊了解 AI 輔助的優點與限制。

對監管者與產業領袖來說，這意味著設計明確規則，讓團隊能輕鬆辨識哪些工具是允許的、在哪些情境下可以使用。敏感資料應僅進入符合隱私與合規要求的系統，同時訓練操作人員與用戶理解 AI 的能力與限制。善用 AI 可以節省努力與時間，但若使用不當，也會帶來昂貴的風險。

展望未來，你如何看待 AI 編碼助手在安全方面的演變？

AI 編碼工具將從僅提供建議，逐步演變為在撰寫代碼時即時驗證，並遵守規則、授權庫與安全限制。

安全性也將更深層融入這些工具的運作，設計加密執行與明確的決策記錄作為常規功能。隨著時間推移，AI 助手將從風險轉變為安全開發的支援工具。最優秀的系統將結合速度與控制，信任則取決於工具的運作方式，而非開發者的承諾。