Claude Desktop 的 Developer mode 可以串第 3 方 LLM provider(例如 LM Studio + qwen3.5-9b ),可以提供沒訂閱任何 Claude 方案一個免費使用 Cowork 的管道。
可以讓 Gemin 協助設定,使用以下提示詞
*******************************************************************************************
參考以下網址,如何進行 Claude Cowork + 地端 LLM
https://claude.com/docs/cowork/3p/configuration
*******************************************************************************************
產出以下使用步驟 :
根據您提供的官方技術文件,若要讓 Claude Cowork 連接您自己的「地端 LLM(本地語言模型)」,您必須透過其支援的「第三方平台與網關(Third-party platforms & Gateway)」功能來進行配置。
由於 Claude Cowork 的底層運作依賴 Anthropic 的 API 格式,您的地端 LLM 需要具備一個能暴露 /v1/messages 接口的 API Gateway(例如搭配 LiteLLM 這類中繼代理伺服器,將 Anthropic 格式轉換為本地端如 Ollama 或 vLLM 的格式,目前選用 LM Studio)。
以下是完整的設定步驟指南:
一、 系統與環境準備
作業系統要求:macOS 13.0 (Ventura) 以上,或 Windows 10 / 11(Windows 需確保已啟用「虛擬機器平台 / Virtual Machine Platform」功能)。
下載主程式:請至官網( https://claude.com/download?open_in_browser=1 )下載標準版的 Claude Desktop 桌面應用程式(Cowork 與一般版共用同一個安裝檔,功能是透過修改底層設定檔來解鎖)。
準備地端 LLM 服務:確保您的本地模型伺服器已啟動,並準備好其 Base URL 與 API Key(若有設定)。
二、 進入開發者設定介面
開啟安裝好的 Claude Desktop 應用程式(此時不需要進行登入)。
在頂部選單列中,依序點選 Help → Troubleshooting → 勾選 Enable Developer mode。
接著,選單列會多出一個選項,點選 Developer → Configure third-party inference,這時會開啟第三方推論的設定介面。
三、 填寫地端 LLM (Gateway) 參數
在設定介面中(可參考下圖),請針對您的地端環境填寫以下關鍵的 Configuration Key:
inferenceProvider:填寫或選擇 gateway。
inferenceGatewayBaseUrl:填寫您地端 API 網關的網址(例如:http://localhost:8060 或您內網的 IP。基於安全性考量,Claude Desktop 的第三方推論連線(3P Inference)強制要求必須是 HTTPS 加密連線。唯一的例外是當你明確指向「本機端(Localhost / 127.0.0.1)」時,才允許使用未加密的 HTTP。)
inferenceGatewayApiKey:填寫您的地端 API Key。如果您的本地模型沒有設密碼,可以隨意填寫佔位符,但此欄位為必填。
inferenceGatewayAuthScheme:選擇授權發送的方式(可選 auto、x-api-key 或 bearer)。
inferenceModels:使用 JSON 陣列格式填寫您地端支援的模型名稱,例如 ["llama-3-70b", "qwen-2.5"]。請注意,必須是字串陣列格式,第一個輸入的會成為系統預設模型。但根據官方文件說明:「gateways auto-discover available models」。這表示當您設定好 Gateway 後,Claude Desktop 會嘗試自動向您的 Gateway 網址(例如,就是去請求 http://127.0.0.1:8060/v1/models)來自動探索並獲取可用的模型清單,因此在圖形介面(GUI)中預設隱藏了這個手動輸入的欄位。如果您的地端 API Gateway (例如 LM Studio 等)沒有正確回傳 /v1/models 的格式讓它自動抓取,或者您想要強制指定特定模型名稱,可以透過註冊表檔案來手動加入(下一個步驟會有範例)。
四、 匯出並套用設定 (MDM Policy)
Claude Cowork 的第三方連線是透過作業系統層級的統一端點管理 (MDM) 機制來強制生效的:
在設定介面中點擊 Export。
針對 macOS 系統:
系統會下載一份 .mobileconfig 描述檔。
您需要透過本機安裝該描述檔,或利用 Jamf、Kandji 等 MDM 工具派送。其對應的 Domain 為 com.anthropic.claudefordesktop。
針對 Windows 系統:
系統會下載一份 .reg 註冊表檔案。
點擊執行該檔案,將設定寫入 Windows 登錄檔(路徑通常為 HKCU\SOFTWARE\Policies\Claude)。
範例如下:
Windows Registry Editor Version 5.00
[HKEY_CURRENT_USER\SOFTWARE\Policies\Claude]
"inferenceProvider"="gateway"
"inferenceGatewayBaseUrl"="http://127.0.0.1:8060"
"inferenceGatewayApiKey"="123"
"inferenceModels"="[\"您的模型名稱\"]"
要在 Windows 登錄檔(.reg)中增加模型,您需要加入 "inferenceModels" 這個機碼。如同 "inferenceModels"="[\"google/gemma-4-e4b\", \"qwen/qwen3.5-9b\"]"
但請特別注意:根據官方文件,這個欄位必須是 「JSON 陣列格式的字串」。因為登錄檔本身是用雙引號 " 來包裝字串值,所以 JSON 內部的雙引號必須加上反斜線 \ 進行跳脫(Escape)。
參考下圖可找到在 LM Studio 的模型名稱。另外,選擇合適的模型體積:以 RTX 5060 Ti 的 16G VRAM 環境來配置,如果跑太大的模型(例如 32B 以上)再加上 256K 的 Context,極高機率會把 16G VRAM 直接塞爆導致 Out of Memory (OOM) 崩潰。建議先從 8B 或 14B 的量化版本(如 Q4_K_M 或 Q5_K_M) 開始測試。目前使用 qwen3.5-9b 是可行的。
五、 重啟與驗證
徹底關閉並重新啟動 Claude Desktop。
成功判定標準:
重新開啟後,左側的導覽列不應該出現一般的「Chat」分頁。
介面上只會顯示「Cowork」和「Code」標籤,如下圖。
登入畫面會變成讓您透過「Gateway(您的地端伺服器)」進行連線。
若啟動時發生錯誤,請檢查 inferenceGatewayBaseUrl 是否可以正常連線,以及填寫的 JSON 陣列格式是否正確。
透過這種方式配置後,Claude Cowork 自動化處理檔案與規劃任務時所發出的每一道 Prompt,都會在完全不經過 Anthropic 雲端的情況下,直接送到您的地端 LLM 進行推論,確保企業內部資料最高層級的隱私與安全。
沒有留言:
張貼留言