實戰教學：Gemini CLI v0.40.0 以上的本地 Gemma 系統初步部署與踩坑紀錄

前言

隨著 Gemini 3 的發佈，Gemini CLI 的「Auto」模式已成為開發者的最愛，它能自動在 Pro 與 Flash 模型間切換。但最前衛的玩法是：讓本地的 Gemma 模型來決定路由。

為什麼要這麼做？

• 極低延遲：本地 1B 模型判斷任務複雜度僅需不到 100ms。
• 隱私保護：任務分類的決策過程完全在本地完成。
• 節省資源：透過精準的分類，確保只有真正困難的任務才會呼叫昂貴的 Pro 模型。

在 Gemini CLI v0.40.0 的更新中，官方導入了分層記憶體（Tiered Memory）與本地模型路由功能，讓我們用短短幾行指令，就能將雲端的請求切換到本機的 Gemma 模型來處理。

以下是本次初步部署的實戰紀錄，包含完整的啟動步驟，以及在 Windows 環境下可能會遇到的通訊埠（Port）衝突與解決方案。

一、 快速啟動與部署

Gemini CLI 將複雜的環境設定大幅簡化。確保您已經安裝好最新版（v0.40.0 以上）的 Gemini CLI 後，開啟終端機（如 PowerShell 或命令提示字元），依序輸入以下指令：

1. 下載並設定本地 Gemma 模型路由環境

   gemini gemma setup

2. 啟動背景的 LiteRT-LM 伺服器

   gemini gemma start

如果一切順利，終端機會顯示伺服器已在背景運行（通常監聽在 port 9379）。但現實往往沒那麼美好，接下來分享最常見的啟動報錯。

二、 常見錯誤與排除（Windows 踩坑紀錄）狀況 1：Port 9379 存取被拒 (Forbidden)

Error:

listen tcp :9379: bind: An attempt was made to access a socket in a way forbidden 
by its access permissions.

原因：
這通常發生在裝有 Docker 或 Hyper-V 的 Windows 系統中。Windows 的 NAT 服務（winnat）會隨機保留某些通訊埠區段供系統使用。如果 9379 剛好被劃入保留區，就會直接被拒絕存取。

解法：重啟 winnat 服務讓系統重新分配通訊埠

1. 以系統管理員身分開啟終端機 (cmd / PowerShell)。
2. 輸入以下指令停止服務：

   net stop winnat

3. 輸入以下指令重新啟動服務：

   net start winnat

4. 再次執行 gemini gemma start 即可順利綁定通訊埠。

三、 驗證測試：模型真的在我的本機跑起來了嗎？

以系統管理員身分開啟終端機（如 PowerShell 或命令提示字元），輸入以下指令：

gemini gemma status

看到以下資訊就是成功了

Gemma Local Model Routing Status
────────────────────────────────────────
  Binary:    ✓ Installed (C:\Users\user\.gemini\bin\litert\lit.windows_x86_64.exe)
  Model:     ✓ gemma3-1b-gpu-custom downloaded
  Server:    ✓ Running on port 9379
  Settings:  ✓ Enabled in settings.json
  Routing is active — no action needed.
  Simple requests → Flash (fast) | Complex requests → Pro (powerful)
  This happens automatically on every request.

這就證明了——您的本地 Gemma 系統已經完美接管任務，正使用您的本機算力為您服務！運作機制為：

• SIMPLE 任務：如「解釋這行代碼」，本地 Gemma 判斷後直接導向 Flash。
• COMPLEX 任務：如「重構此模組」，本地 Gemma 判斷後導向 Pro。

-----附錄、 gemini gemma 相關指令：

以系統管理員身分開啟終端機（如 PowerShell 或命令提示字元），輸入以下指令：

gemini gemma -h

可以看到以下 gemini gemma 相關資訊：

----------------------------------------------------------------------------------
gemini gemma

Manage local Gemma model routing

Commands:

  gemini gemma setup   Download and configure Gemma local model routing
  gemini gemma start   Start the LiteRT-LM server
  gemini gemma stop    Stop the LiteRT-LM server
  gemini gemma status  Check Gemma local model routing status
  gemini gemma logs    View LiteRT-LM server logs

Options:

  -d, --debug  Run in debug mode (open debug console with F12)
  -h, --help   Show help

---------------------------------------------------------------------------------

📌 參考資料與資訊來源

本文的技術探討源自於 Jack Wotherspoon 於 X (Twitter) 發布的 Gemini CLI v0.40.0 重大更新消息。官方在此版本中正式推出了「本地 Gemma 系統的首波部署（Local Gemma for Model Routing）」。

原始來源網址：Jack Wotherspoon X Post