Claude Code 新功能:AI 直接操控你的 Mac 螢幕,從終端機寫程式到點擊測試一條龍

鏈新聞abmedia

Anthropic 為旗下 AI 程式碼代理工具 Claude Code 推出全新的「Computer Use」(電腦操控)功能,以研究預覽(Research Preview)形式向 macOS 用戶開放。這項功能讓 Claude 能直接控制使用者的電腦螢幕——開啟應用程式、點擊按鈕、輸入文字、截圖,並在同一個對話中串聯完成從寫程式到 UI 測試的完整工作流程,無需離開終端機。

Claude 能直接幫你「點」什麼?

根據官方技術文件,Computer Use 主要針對需要圖形介面(GUI)才能完成的任務,也就是那些「你平常得放下終端機、自己動手做」的事:

建置並驗證原生應用程式:叫 Claude 寫一個 macOS 選單列 App,它會自己編譯、啟動、逐一點擊所有控制項確認功能正常,你甚至還沒打開過這個 App。

端對端 UI 測試:指著一個本地 Electron 應用說「測試新手引導流程」,Claude 會開啟 App、點擊註冊步驟、對每個畫面截圖。不需要 Playwright 設定,不需要測試框架。

偵錯視覺與版面問題:告訴 Claude「這個 Modal 在小視窗上被截到了」,它會縮小視窗重現 bug、截圖、修改 CSS、再次確認修復結果——它看得到你看到的畫面。

操作只有 GUI 的工具:設計工具、硬體控制面板、iOS Simulator、或任何沒有 CLI 或 API 的專有軟體。

Claude 的工具選用優先順序

Computer Use 是「最廣泛也最慢」的工具,Claude 會依優先順序選用最精準的方式:

有對應的 MCP Server → 用 MCP

是 Shell 指令 → 用 Bash

是瀏覽器操作且有設定 Claude in Chrome → 用 Chrome 擴充套件

以上都不適用 → 才啟用 Computer Use

也就是說,螢幕控制是留給「其他方式都搆不到」的場景:原生應用程式、模擬器、沒有 API 的工具。

如何開啟 Computer Use

Computer Use 以內建 MCP Server(名稱:

computer-use

)的形式提供,預設關閉,需手動啟用:

在互動式 Claude Code 工作階段中執行 /mcp,從清單中找到 computer-use(顯示為已停用)

選取後點選 Enable,設定會依專案持久保存,每個專案只需設定一次

第一次讓 Claude 操控電腦時,macOS 會要求授予兩項權限:輔助使用(Accessibility) 和 螢幕錄製(Screen Recording)。授權後選「再試一次」,部分情況下需重新啟動 Claude Code

每次工作階段需逐一授權 App

啟用

computer-use

並不代表 Claude 可以控制你電腦上的所有 App。每次工作階段中,Claude 第一次需要操控某個 App 時,終端機會出現提示,顯示:

Claude 想控制哪些 App

是否有額外的權限請求(如剪貼簿存取)

工作期間有多少其他 App 會被隱藏

選擇「本次工作階段允許」或「拒絕」,授權僅在當前工作階段有效。對於具有廣泛系統存取權的 App,系統還會額外顯示警告:

Claude 如何在你的螢幕上工作

全機獨占鎖定:Computer Use 啟動後會取得機器層級的排他鎖,若另一個 Claude Code 工作階段已在使用電腦,新的請求會失敗並提示先結束另一個工作階段。

其他 App 暫時隱藏:Claude 開始操控螢幕時,未授權的可見 App 會被隱藏,確保 Claude 只與授權的 App 互動。你的終端機視窗維持可見且不會被截圖,你可以即時監看,Claude 也看不到自己的輸出。Claude 完成後,隱藏的 App 會自動還原。

隨時可中斷:Claude 取得鎖定後,macOS 會顯示通知「Claude is using your computer · press Esc to stop」。隨時按

Esc

或在終端機按 Ctrl+C 即可立即中斷,Claude 會釋放鎖定、還原所有 App,並歸還控制權。

安全機制與信任邊界

官方文件特別強調,Computer Use 與沙箱化的 Bash 工具不同,它直接在你的桌面環境上執行,信任邊界不同。內建的安全護欄包括:

逐 App 授權:Claude 只能控制你在當前工作階段明確授權的 App

哨兵警告:授予 Shell、檔案系統或系統設定存取權的 App,在授權前會特別標記

自動提示注入偵測:Claude 會檢查螢幕上的內容,並標記潛在的提示注入攻擊

使用條件與限制

需訂閱 Pro 或 Max 方案(Team、Enterprise 方案不適用)

需 Claude Code v2.1.85 以上版本

目前僅支援 macOS(研究預覽階段)

需在互動式工作階段中使用,不支援非互動模式( -p 旗標)

瀏覽器和交易平台等 App 僅限「檢視模式」;終端機和 IDE 為「點擊模式」;其他 App 為完整控制

MacRumors 指出,相比競爭對手,Claude 的 Computer Use 採取更嚴格的權限優先設計,且目前僅限 Mac,而其他方案已支援 macOS、Windows 和 Linux。

對開發者而言,這項功能最大的價值在於縮短「寫程式→測試→修 bug」的迴圈——Claude 不只寫 code,還能親自看著你的畫面驗證結果。

風險提示 加密貨幣投資具有高度風險,其價格可能波動劇烈,您可能損失全部本金。請謹慎評估風險。

這篇文章 Claude Code 新功能:AI 直接操控你的 Mac 螢幕,從終端機寫程式到點擊測試一條龍 最早出現於 鏈新聞 ABMedia。

免責聲明:本頁面資訊可能來自第三方,不代表 Gate 的觀點或意見。頁面顯示的內容僅供參考,不構成任何財務、投資或法律建議。Gate 對資訊的準確性、完整性不作保證,對因使用本資訊而產生的任何損失不承擔責任。虛擬資產投資屬高風險行為,價格波動劇烈,您可能損失全部投資本金。請充分了解相關風險,並根據自身財務狀況和風險承受能力謹慎決策。具體內容詳見聲明
留言
0/400
暫無留言