你在自己的聊天模型裡打了個問題,按下 enter,幾秒後答案就出來了——私密、免費、沒有 token 計費表在跳。你往椅背一靠,覺得自己挺聰明:以前是租 AI,現在這台是你自己的了。
然後電費單來了,漲幅遠超過「一天就那幾秒鐘」能解釋的程度。轉折在這裡:你那幾下打字幾乎不花什麼錢,真正燒錢的,是你連碰都沒碰鍵盤的那些時段。
這篇就帶你看清電到底躲在哪——那些「保溫待命、以防萬一」的閒置時數、一個能砍掉功耗又不拖慢你拿到答案的 GPU 技巧,還有怎麼不再「讓電腦睡」和「看著整晚的任務跑掉」二選一。
電到底耗在哪
一台本地 AI 機有三種狀態,而最花錢的不是你直覺想的那個:
- 推理中。高階卡在原廠設定下生成時輕鬆拉到 300–450 瓦。聽起來很兇——但每個請求只跑幾秒鐘。
- 模型載著、GPU 閒置。請求之間,模型可能常駐在 VRAM 裡——幾分鐘或永久,看你的 keep-alive 設定。GPU 的待機功耗明顯比空桌面高——多螢幕加高刷新率還會把這個地板再墊高。
- 24 小時待命。如果這台機器在為你的手機、編輯器外掛或 Home Assistant 提供 API,它就永遠不能睡——於是整台機器(CPU、風扇、主機板、硬碟)全天候空轉。
不舒服的比例來了:除非你整天都在批次生成,你的「AI 伺服器」90% 以上的時間都活在第二、三種狀態——耗著電什麼都不做。你真正要的推理,跟你沒想過的閒置時數比起來只是零頭。
功耗上限技巧(速度掉得比你想的少)
r/LocalLLaMA 早就知道這招:LLM 推理主要吃的是記憶體頻寬,不是運算力。把 GPU 功耗上限壓下來,時脈會降,但 tokens/sec 幾乎不動。社群在 3090、4090 這類卡上的實測一再得到同樣結論:功耗上限砍 25–35%,推理速度只掉個位數百分比——同時熱量和風扇噪音跟著瓦數一起降。
手動版作法(系統管理員視窗):
nvidia-smi -pl 300——把卡限制在 300 瓦(你的卡的合法範圍用nvidia-smi -q -d POWER查)。- 自己跑一次前後對比——用你常用的模型測五分鐘,就知道真實代價。生圖比 LLM 更吃運算力,掉速會比較明顯,上限設保守一點。
- 注意:這個限制重開機就重置,要靠開機任務才留得住。
睡眠兩難(問題的另一半)
功耗上限管住瓦數,但本地 AI 在「睡眠」這邊才是真的跟你作對:
- 長任務會死。Finetune、大批次生成、跑整晚的 embedding——Windows 的睡眠計時器只認鍵盤滑鼠,不認 CUDA。30 分鐘沒輸入 → 判定「閒置」→ 睡眠 → 幾小時的 GPU 工作直接蒸發。
- 服務也會死。機器一睡,你的 Ollama endpoint 就斷線,所有 client 全掛。
於是大家都用同一個解法:把睡眠整個關掉。一個為了隱私做的決定,就這樣靜悄悄變成一台永遠全功率空轉的機器。每一步都很合理,加起來是兩頭皆輸。
靜態設定跑步機,AI 版
這些你都可以手動接起來——開機任務跑 nvidia-smi、睡眠關掉、也許再加個排程腳本晚上壓低功耗、白天放寬。它能動,跟 homelab 那篇的 DIY 一樣能動:直到某天晚上 8 點你想打遊戲,GPU 還卡在為深夜服務設的上限;或者某次 Windows 更新悄悄重置了設定,你一個月後才從電費單上發現。
把它自動化
這正是 PowerDoze 為之存在的問題形狀。對應到本地 AI,每一塊是:
- 保持清醒白名單——把
ollama.exe、koboldcpp.exe或你訓練腳本的程序加進去。它們在跑,電腦就不會睡;其他 20 個小時,正常睡眠可以開回來。長任務活下來,閒置的夜晚不再燒電。 - 內建 NVIDIA 功耗上限的電源模式——把 GPU 瓦數、CPU 上限、散熱策略打包成模式,再排程切換:白天全速、深夜切「服務模式」限速待命。GPU 上限每次重開機自動重新套用。
- 分析儀表板(Pro 功能)——長期追蹤估算瓦數、度數、電費,「壓 GPU 到底有沒有差」從感覺變成數字。
誠實邊界:PowerDoze 不會幫你排程 AI 工作、不碰 VRAM 和模型載入、也不會讓推理變快。它管的是 AI 周圍的那一圈——睡眠、功耗上限、排程、量測——而浪費剛好全都住在那一圈裡。
排程、電源模式、白名單、監控全部免費、不用註冊帳號。一切都在本機執行——如果你跑本地 AI 是為了隱私,這一點你應該會在意。
誰不需要這篇
模型跑在雲端的人,電費是別人的問題。在筆電上推理的人,電池已經自動幫你管住浪費。如果你的 AI 機是一台專用的無頭 Linux 伺服器,PowerDoze 幫不上忙——它只支援 Windows;nvidia-smi 加 systemd timer 是你的朋友。這篇寫給最常見的那種配置:既是你的日常主力機、又是你的 AI 機的那台 Windows 桌機——下午 2 點需要全速、凌晨 2 點幾乎什麼都不用,而現在它兩個時間都在全速。