跳到主要內容

本地模型

💡TL;DR

本地 provider 可讓裝置上執行的模型伺服器處理任務。先安裝或載入模型,再匹配協定。本地 LLM 不會使網路研究、遠端端點、依賴安裝或雲端路由任務離線。

設定​

Ollama 需安裝伺服器並拉取模型;LM Studio 需載入模型並啟動 API 伺服器;OVMS 先配置部署。

選對應預設,填服務暴露的精確名稱,測試連線並處理可捨棄筆記。Notemd 不安裝模型或啟動這些服務。

端點與認證​

預設基礎 URL模型佔位值協定/認證
Ollamahttp://localhost:11434/apillama3原生 Ollama;不需 API key
LMStudiohttp://localhost:1234/v1local-modelOpenAI-compatible;金鑰可選,預設 EMPTY
OVMShttp://localhost:8000/v3openvino-modelOpenAI-compatible;按部署配置模型與存取要求

localhost 是執行 Obsidian 的裝置,手機不能透過自身回環地址存取電腦模型。區網端點是網路服務,需正確地址與認證,勿向不可信網路開放未認證服務。

模型探索​

Ollama 經 /api/tags 列出已拉取標籤,LM Studio 可提供 /v1/models,OVMS 有部署感知規則。列出模型不保證記憶體足夠或特定結構化任務可用,請測實際請求。

疑難排解​

  • 拒絕連線:檢查服務、監聽地址與連接埠。
  • 模型不可用:下載/載入模型,核對名稱或別名。
  • 認證拒絕:填伺服器要求的 token,不假定接受 EMPTY。
  • 慢或不完整:檢查記憶體、上下文與輸出限制,先單請求。
  • 格式錯誤:更動批次前檢查協定、提示詞與模型能力。

適用情境​

在隱私邊界、可用性和實測結果符合需求時使用。斷網前準備模型和匯出依賴,檢查各任務 provider 與檢索設定;本地片段會傳給所選 LLM,可能仍是雲端。

Tavily/DuckDuckGo 研究仍需網路,原生匯出可能需另裝工具。本地 provider 只是離線流程的一部分,不是全部功能保證。

延伸閱讀​