Перейти к основному содержимому

Локальные модели

💡TL;DR
Работающий сервер может выполнять вывод на устройстве. Сначала подготовьте модель и протокол. Веб-поиск, удалённые адреса, установка зависимостей и отдельные облачные задачи не становятся автономными.

Подготовка​

В Ollama установите сервер и получите модель; в LM Studio загрузите модель и запустите API. OVMS требует готового deployment. Notemd не устанавливает модели и не запускает эти серверы. Проверьте точное имя, соединение и задачу.

Адрес и авторизация​

ПрофильНачальный URLПример моделиПротокол / доступ
Ollamahttp://localhost:11434/apillama3Нативный Ollama; обязательного ключа нет
LMStudiohttp://localhost:1234/v1local-modelOpenAI-compatible; ключ необязателен, начальный EMPTY
OVMShttp://localhost:8000/v3openvino-modelOpenAI-compatible; модель и доступ настраиваются в deployment

localhost — устройство с Obsidian, а не компьютер с моделью на другом конце сети. Для LAN задайте действительный адрес и защиту. Не публикуйте открытый сервер в недоверенную сеть.

Модели​

Ollama перечисляет полученные теги через /api/tags, LM Studio может предоставлять /v1/models, OVMS следует deployment. Список не доказывает достаточную память или корректный структурированный ответ. Выполните реальную задачу.

Ошибки​

  • Соединение отклонено: сервер, интерфейс и порт.
  • Нет модели: загрузка и точный alias.
  • Авторизация: реальный token, если требуется; не предполагайте EMPTY.
  • Медленно/неполно: память, контекст и вывод, сначала один запрос.
  • Неверный формат: протокол, prompt и модель до настройки пакета.

Когда выбирать​

Когда подходят границы данных, доступность и измеренное качество. Подготовьте модели/зависимости до отключения сети. Проверьте все маршруты: локальные выдержки могут уйти в облачную LLM. Tavily/DuckDuckGo остаются сетевыми, нативным экспортёрам могут требоваться отдельные инструменты.

Далее​