Skip to main content

Lokale modeller

💡TL;DR

Lokale leverandører holder indholdet bort fra hostede APIs. Den aktuelle lokale path dekker Ollama med den nativte ollama-transporten og LMStudio gennem den OpenAI-kompatible transporten. Ingen API-klæde er nødvendig for hvilken path som helst, men den lokale server og modellen må allerede være i gang.

Dette er en del af Obsidian AI Knowledge Management Guide.

Indstilling​

For Ollama: Installer Ollama, hente den modell du ønsker, starte serveren og tilføj en Ollama-leverandørprofil i Notemd. For LMStudio: Læd en modell i LM Studios lokale server og tilføj en LMStudio-leverandørprofil.

Lokale modeller er operationelle afhængigheder, ikke bare indstillinger. Notemd kan kun kalle det, som den lokale proces exponerer, så overvåg den lokale modellen udenfor Obsidian før du felsøger pluginen.

Endpoint og autentisering​

LeverandørBase URLStandardmodellAPI-KlædeOpmerkninger
Ollamalocalhost:11434/apillama3Ikke nødvendigtNDJSON-strømning; modelludvikling gennem /api/tags
LMStudiolocalhost:1234/v1local-modelIkke nødvendigtSendes "EMPTY" som bearer-token; OpenAI-kompatibelt

Ollama bruger den nativte /chat-path under sin Base URL. LMStudio følger den OpenAI-kompatible chat/completions-rute og forventer en modell, der er læst i den lokale server.

Modelludvikling​

Ollama bruger ollama-tags-udviklingsmodusen og listar lokalt hentede tags. LMStudio bruger OpenAI-kompatibel modelludvikling, når dens server exponerer /v1/models.

Hvis udviklingen returnerer ingenting, er det ofte en problem med tilstanden på den lokale server: modellen er ikke hentet, ikke læst, eller serveren er bundet til en anden host/port end profilen.

Felsøgning​

  • Kontakt afvist: Start Ollama eller LM Studio og confirmer den konfigurerede port.
  • Modell ikke fundet: Hent Ollama-taggen eller læd den LM Studio-model før du prøver.
  • Langsommelig udgang: Redukér kontekststørrelsen, brug en mindre lokal modell, eller diriger tunge opgaver til en hostet leverandør.
  • Tomme eller fejlformede svar: Confirrer, at den valgte leverandørprofil overensstemmer med den lokale servers protokol; Ollama og LMStudio er ikke udskiftelige.

Når man skal bruge det​

Brug lokale leverandører for private skatterommer, offline-arbejde eller billige, repetitive opgaver. Antag ikke automatisk, at lokal løsninger er bedre for forskningssynthese eller langvarigt resonemang; modellkvalitet og hardwarebegrænsninger er kompromissen.

Næste trin​