本地模型
💡TL;DR
本地供應商會將內容儲存在非託管於 API 的位置。 目前的本地路徑會使用原生的 ollama 傳輸方式來處理 Ollama,並透過與 OpenAI 相容的傳輸方式來處理 LMStudio。無論哪種路徑都不需要 API 金鑰,但本地伺服器與模型必須已經在運作中。
這是Obsidian AI知識管理指南的一部分。
安裝
對於 Ollama,請安裝 Ollama,下載您想要的模型,啟動伺服器,並在 Notemd 中新增一個 Ollama 提供者設定檔。對於 LMStudio,則需在 LM Studio 的本機伺服器中載入模型,並新增一個 LMStudio 提供者設定檔。
本地模型是運作上的依賴項,而非僅僅是設定。Notemd 只能呼叫本地處理程式所公開的功能,因此在除錯外掛程式之前,請先在 Obsidian 外部驗證本地模型。
端點與認證
| 供應商 | 基底 URL | 預設模型 | API 金鑰 | 備註 |
|---|---|---|---|---|
| Ollama | localhost:11434/api | llama3 | 不需要 | NDJSON 流式處理;透過 /api/tags 進行模型探索 |
| LMStudio | localhost:1234/v1 | local-model | 不需要 | 以承載令牌的方式傳送 "EMPTY";相容於 OpenAI |
Ollama 會在其 Base URL 下方使用本地的 /chat 路徑。LMStudio 則遵循與 OpenAI 相容的 chat/completions 路由,並期望使用在本地伺服器上載入的模型。
模型探索
Ollama 使用 ollama-tags 的探索模式,並列出本地取得的標籤。當其伺服器提供 /v1/models 時,LMStudio 會使用與 OpenAI 相容的模型探索功能。
如果探索功能沒有返回任何結果,那通常是本地伺服器狀態的問題:模型未被下載、未載入,或是伺服器的連接主機/端口與設定檔中的不同。
故障排除
- 連線被拒:請啟動 Ollama 或 LM Studio,並確認所設定的連接埠。
- 未找到模型:請在測試前拉取 Ollama 標籤或載入 LM Studio 模型。
- 輸出速度慢:降低上下文大小、使用較小的本地模型,或將繁重的任務交給託管服務供應商處理。
- 空值或格式錯誤的回應:請確認所選的供應商設定檔符合本機伺服器協定;Ollama 與 LMStudio 無法互相替換。
何時使用
對於私人金庫、離線工作或廉價的重複性任務,可使用本地供應商。請勿認為本地方式在研究綜合或長時間推理方面就一定更優;模型品質與硬體限制才是需要權衡的因素。