Skip to main content

本地模型

💡TL;DR

本地供應商會將內容儲存在非託管於 API 的位置。 目前的本地路徑會使用原生的 ollama 傳輸方式來處理 Ollama,並透過與 OpenAI 相容的傳輸方式來處理 LMStudio。無論哪種路徑都不需要 API 金鑰,但本地伺服器與模型必須已經在運作中。

這是Obsidian AI知識管理指南的一部分。

安裝

對於 Ollama,請安裝 Ollama,下載您想要的模型,啟動伺服器,並在 Notemd 中新增一個 Ollama 提供者設定檔。對於 LMStudio,則要在 LM Studio 的本機伺服器中載入模型,並新增一個 LMStudio 提供者設定檔。

本地模型是運作上的依賴項目,而非僅僅是設定。Notemd 只能呼叫本地程序所公開的功能,因此在除錯外掛程式之前,請先在 Obsidian 外部驗證本地模型。

端點與認證

供應商基底 URL預設模型API 金鑰備註
Ollamalocalhost:11434/apillama3不需要NDJSON串流;透過/api/tags進行模型探索
LMStudiolocalhost:1234/v1local-model不需要傳送 "EMPTY" 作為承載令牌;相容於 OpenAI

Ollama 會在其 Base URL 下方使用本地的 /chat 路徑。LMStudio 則遵循與 OpenAI 相容的 chat/completions 路由,並期望使用在本地伺服器上載入的模型。

模型探索

Ollama 使用 ollama-tags 的探索模式,並列出本機取得的標籤。當其伺服器提供 /v1/models 時,LMStudio 會使用與 OpenAI 相容的模型探索功能。

如果探索功能沒有返回任何結果,那通常是本地伺服器狀態的問題:模型未被下載、未載入,或是伺服器的連接主機/端口與設定檔中的不同。

故障排除

  • 連線被拒:請啟動 Ollama 或 LM Studio,並確認所設定的連接埠。
  • 未找到模型:請在測試前拉取 Ollama 標籤或載入 LM Studio 模型。
  • 輸出速度慢:請降低上下文大小、使用較小的本地模型,或將繁重的任務交給託管服務供應商處理。
  • 空值或格式錯誤的回應:請確認所選的供應商設定檔符合本機伺服器協定;Ollama 與 LMStudio 無法互相替換。

何時使用

對於私人金庫、離線工作或廉價的重複性任務,可使用本地供應商。請勿認為本地方案在研究綜合或長時間推理方面就一定更優;模型品質與硬體限制才是需要權衡的因素。


接下來的步驟

  • LLM 提供商 -- 完整的設定與每個任務的模型配置
  • 故障排除 -- 解決當本機伺服器未運作時出現的 connection-refused 錯誤