跳到主要内容

本地模型

💡TL;DR

本地 provider 可让设备上已运行的模型服务处理任务。先安装或加载模型,再配置匹配协议。本地 LLM 不会让网络搜索、远端端点、依赖安装或路由到云端的任务变成离线。

设置​

Ollama 需安装服务并拉取模型;LM Studio 需加载模型并启动 API 服务;OVMS 需先配置模型服务部署。

选择对应预设,填写服务暴露的准确模型名,测试连接并处理可丢弃笔记。Notemd 不会替你安装模型或启动这些服务。

端点与认证​

预设默认基础 URL模型占位符协议/认证
Ollamahttp://localhost:11434/apillama3原生 Ollama;无需 API key
LMStudiohttp://localhost:1234/v1local-modelOpenAI-compatible;可选密钥,预设 EMPTY
OVMShttp://localhost:8000/v3openvino-modelOpenAI-compatible;按部署配置模型与访问要求

localhost 指运行 Obsidian 的设备。手机自身回环地址无法访问电脑模型。局域网端点属于网络服务,应使用实际地址与适当认证,不要向不可信网络开放未认证服务。

模型发现​

Ollama 经 /api/tags 列出已拉取标签,LM Studio 可提供 /v1/models,OVMS 使用部署感知发现规则。列出模型不保证内存足够或结构化任务可用,应验证实际请求。

故障排查​

  • 拒绝连接:检查服务状态、监听地址和端口。
  • 模型不可用:拉取/加载模型,使用端点实际名称或别名。
  • 认证拒绝:填写服务要求的 token,不要假定接受 EMPTY。
  • 缓慢或不完整:检查内存、上下文和输出限制,先使用单请求。
  • 格式错误:改变批量设置前核对协议、提示词和模型能力。

适用场景​

隐私边界、可用性和实测输出符合要求时采用本地推理。断网前准备模型及可选导出依赖。检查所有任务专用 provider 与本地检索设置:本地片段会发送给所选 LLM,该 LLM 仍可能在云端。

Tavily、DuckDuckGo 研究仍需联网,原生导出器可能需要单独安装工具。本地 provider 只是离线工作流的一部分,不保证所有功能离线。

后续阅读​