本地模型
💡TL;DR
本地提供程序会将笔记内容保存在非托管的 API 上。 当前的本地路径通过原生 ollama 传输方式处理 Ollama,而通过兼容 OpenAI 的传输方式处理 LMStudio。这两种路径均无需 API 密钥,但本地服务器和模型必须已处于运行状态。
这是Obsidian AI知识管理指南的一部分。
设置
对于 Ollama,需要安装 Ollama,拉取所需的模型,启动服务器,然后在 Notemd 中添加 Ollama 提供商配置文件。对于 LMStudio,则需要在 LM Studio 的本地服务器中加载模型,并添加 LMStudio 提供商配置文件。
本地模型属于运行时依赖项,而不仅仅是配置项。Notemd 只能调用本地进程所暴露的功能,因此在调试插件之前,请先在 Obsidian 外部验证本地模型的功能。
端点与身份验证
| 服务提供商 | 基础 URL | 默认模型 | API 密钥 | 备注 |
|---|---|---|---|---|
| Ollama | localhost:11434/api | llama3 | 无需。 | NDJSON 流式处理;通过 /api/tags 进行模型发现 |
| LMStudio | localhost:1234/v1 | local-model | 无需。 | 将 "EMPTY" 作为承载令牌发送;兼容 OpenAI |
Ollama 在其 Base URL 下方使用本地的 /chat 路径。LMStudio 采用与 OpenAI 兼容的 chat/completions 路由方式,并期望使用在本地服务器中加载的模型。
模型发现
Ollama 使用 ollama-tags 发现模式,并列出本地获取的标签。当服务器提供 /v1/models 时,LMStudio 会使用与 OpenAI 兼容的模型发现功能。
如果发现过程没有返回任何结果,那通常是本地服务器状态的问题:模型未被拉取或加载,或者服务器绑定的主机/端口与配置文件中的不一致。
故障排除
- 连接被拒绝:请启动 Ollama 或 LM Studio,并确认所配置的端口。
- 未找到模型:请在测试前拉取 Ollama 标签或加载 LM Studio 模型。
- 输出速度慢:可降低上下文大小,使用更小的本地模型,或将繁重任务交由托管服务处理。
- 响应为空或格式错误:请确认所选的提供商配置文件与本地服务器协议匹配;Ollama 和 LMStudio 不能互换使用。
何时使用
对于私有保险库、离线工作或低成本的重复性任务,可使用本地提供商。切勿认为本地方案在研究综合或复杂推理方面就一定更优;模型质量与硬件限制才是需要权衡的因素。