本地模型
💡TL;DR
本地 provider 可让设备上已运行的模型服务处理任务。先安装或加载模型,再配置匹配协议。本地 LLM 不会让网络搜索、远端端点、依赖安装或路由到云端的任务变成离线。
设置
Ollama 需安装服务并拉取模型;LM Studio 需加载模型并启动 API 服务;OVMS 需先配置模型服务部署。
选择对应预设,填写服务暴露的准确模型名,测试连接并处理可丢弃笔记。Notemd 不会替你安装模型或启动这些服务。
端点与认证
| 预设 | 默认基础 URL | 模型占位符 | 协议/认证 |
|---|---|---|---|
| Ollama | http://localhost:11434/api | llama3 | 原生 Ollama;无需 API key |
| LMStudio | http://localhost:1234/v1 | local-model | OpenAI-compatible;可选密钥,预设 EMPTY |
| OVMS | http://localhost:8000/v3 | openvino-model | OpenAI-compatible;按部署配置模型与访问要求 |
localhost 指运行 Obsidian 的设备。手机自身回环地址无法访问电脑模型。局域网端点属于网络服务,应使用实际地址与适当认证,不要向不可信网络开放未认证服务。
模型发现
Ollama 经 /api/tags 列出已拉取标签,LM Studio 可提供 /v1/models,OVMS 使用部署感知发现规则。列出模型不保证内存足够或结构化任务可用,应验证实际请求。
故障排查
- 拒绝连接:检查服务状态、监听地址和端口。
- 模型不可用:拉取/加载模型,使用端点实际名称或别名。
- 认证拒绝:填写服务要求的 token,不要假定接受
EMPTY。 - 缓慢或不完整:检查内存、上下文和输出限制,先使用单请求。
- 格式错误:改变批量设置前核对协议、提示词和模型能力。
适用场景
隐私边界、可用性和实测输出符合要求时采用本地推理。断网前准备模型及可选导出依赖。检查所有任务专用 provider 与本地检索设置:本地片段会发送给所选 LLM,该 LLM 仍可能在云端。
Tavily、DuckDuckGo 研究仍需联网,原生导出器可能需要单独安装工具。本地 provider 只是离线工作流的一部分,不保证所有功能离线。
后续阅读
- Provider 概览:任务路由与所有预设。
- 配置:任务 provider 与语言。
- 故障排查:服务与任务问题。