本地模型
💡TL;DR
本地 provider 可讓裝置上執行的模型伺服器處理任務。先安裝或載入模型,再匹配協定。本地 LLM 不會使網路研究、遠端端點、依賴安裝或雲端路由任務離線。
設定
Ollama 需安裝伺服器並拉取模型;LM Studio 需載入模型並啟動 API 伺服器;OVMS 先配置部署。
選對應預設,填服務暴露的精確名稱,測試連線並處理可捨棄筆記。Notemd 不安裝模型或啟動這些服務。
端點與認證
| 預設 | 基礎 URL | 模型佔位值 | 協定/認證 |
|---|---|---|---|
| Ollama | http://localhost:11434/api | llama3 | 原生 Ollama;不需 API key |
| LMStudio | http://localhost:1234/v1 | local-model | OpenAI-compatible;金鑰可選,預設 EMPTY |
| OVMS | http://localhost:8000/v3 | openvino-model | OpenAI-compatible;按部署配置模型與存取要求 |
localhost 是執行 Obsidian 的裝置,手機不能透過自身回環地址存取電腦模型。區網端點是網路服務,需正確地址與認證,勿向不可信網路開放未認證服務。
模型探索
Ollama 經 /api/tags 列出已拉取標籤,LM Studio 可提供 /v1/models,OVMS 有部署感知規則。列出模型不保證記憶體足夠或特定結構化任務可用,請測實際請求。
疑難排解
- 拒絕連線:檢查服務、監聽地址與連接埠。
- 模型不可用:下載/載入模型,核對名稱或別名。
- 認證拒絕:填伺服器要求的 token,不假定接受
EMPTY。 - 慢或不完整:檢查記憶體、上下文與輸出限制,先單請求。
- 格式錯誤:更動批次前檢查協定、提示詞與模型能力。
適用情境
在隱私邊界、可用性和實測結果符合需求時使用。斷網前準備模型和匯出依賴,檢查各任務 provider 與檢索設定;本地片段會傳給所選 LLM,可能仍是雲端。
Tavily/DuckDuckGo 研究仍需網路,原生匯出可能需另裝工具。本地 provider 只是離線流程的一部分,不是全部功能保證。
延伸閱讀
- Provider 概覽:路由與預設。
- 設定:任務和語言。
- 疑難排解:區分伺服器與任務問題。