Локальні моделі
Локальні постачальники не зберігають вміст записів на хостованих APIs. Текущий локальний шлях охоплює Ollama за допомогою нативного транспорту ollama та LMStudio через транспорт, сумісний з OpenAI. Для жодного з цих шляхів не потрібен ключ API, але локальний сервер та модель мають вже працювати.
Це частина Obsidian Посібника з управління знаннями в ШІ.
Налаштування
Для Ollama встановіть Ollama, завантажте бажану модель, запустіть сервер та додайте профіль постачальника Ollama у Notemd. Для LMStudio завантажте модель у локальному сервері LM Studio та додайте профіль постачальника LMStudio.
Локальні моделі є операційними залежностями, а не просто налаштуваннями. Notemd може викликати лише те, що відкриває локальний процес, тому перевірте локальну модель поза Obsidian перед налагодженням плагіну.
Кінцевий пункт та автентифікація
| Постачальник | Base URL | Стандартна модель | Ключ API | Примітки |
|---|---|---|---|---|
| Ollama | localhost:11434/api | llama3 | Не обов’язково | Стрімінг NDJSON; виявлення моделей через /api/tags |
| LMStudio | localhost:1234/v1 | local-model | Не обов’язково | Надсилає "EMPTY" як токен носія; сумісне з OpenAI |
Ollama використовує нативний шлях /chat під своїм базовим URL. LMStudio слідує маршруту chat/completions, сумісного з OpenAI, та очікує модель, завантажену у локальному сервері.
Відкриття моделей
Ollama використовує режим виявлення ollama-tags та відображає теги, завантажені локально. LMStudio використовує виявлення моделей, сумісне з OpenAI, коли його сервер відкриває /v1/models.
Якщо виявлення нічого не повертає, це зазвичай проблема стану локального сервера: модель не була завантажена чи не навантажена, або сервер підключений до іншого хоста/порту, ніж у профілі.
Усунення несправностей
- Відмова у з’єднанні: запустіть Ollama або LM Studio та переконайтеся, що налаштований порт правильний.
- Модель не знайдена: завантажте тег Ollama або навантажте модель LM Studio перед тестуванням.
- Повільний вивід: зменшіть розмір контексту, використовуйте меншу локальну модель або направляйте важкі завдання до хостованого постачальника.
- Порожні або некоректні відповіді: переконайтеся, що обраний профіль постачальника відповідає протоколу локального сервера; Ollama та LMStudio не є взаємозамінними.
Коли використовувати
Використовуйте локальних постачальників для приватних сховищ, роботи офлайн або дешевих повторюваних завдань. Не варто припускати, що локальний варіант автоматично кращий для синтезу даних у межах досліджень чи тривалих міркувань; якість моделей та обмеження апаратного забезпечення є факторами, які потрібно враховувати.
Наступні кроки
- LLM Постачальники -- Повна конфігурація та налаштування моделей для кожного завдання
- Усунення проблем -- Виправлення помилок connection-refused, коли локальний сервер не працює