Skip to main content

Lokala modeller

💡TL;DR

Lokala leverantörer håller innehållet bort från hostade APIs. Den aktuella lokala vägen täcker Ollama med den inhemska ollama-transporten och LMStudio via den OpenAI-kompatibla transporten. Ingen API-nyckel krävs för någon av vägarna, men den lokala servren och modellen måste redan vara igång.

Detta ingår i Obsidian AI Knowledge Management Guide.

Inställning​

För Ollama installera Ollama, hämta den modell du vill ha, starta servren och lägg till en Ollama-leverantörsprofil i Notemd. För LMStudio ladda en modell i LM Studios lokala server och lägg till en LMStudio-leverantörsprofil.

Lokala modeller är operativa beroenden, inte bara inställningar. Notemd kan endast anropa det som den lokala processen exponerar, så kontrollera den lokala modellen utanför Obsidian innan du felsöker pluginet.

Endpoint och autentisering​

LeverantörBase URLStandardmodellAPI-nyckelNoter
Ollamalocalhost:11434/apillama3Inte nödvändigtNDJSON strömning; modellupptäckt via /api/tags
LMStudiolocalhost:1234/v1local-modelInte nödvändigtSänder "EMPTY" som bearer-token; OpenAI-kompatibelt

Ollama använder den inhemska /chat-vägen under sin Base URL. LMStudio följer den OpenAI-kompatibla chat/completions-rutan och förväntar sig en modell som är laddad i den lokala servern.

Modellupptäckt​

Ollama använder ollama-tags-upptäcktsläget och listar lokalt hämtade taggar. LMStudio använder OpenAI-kompatibel modellupptäckt när dess server exponerar /v1/models.

Om upptäckten returnerar ingenting är det vanligtvis en problem med den lokala servrens tillstånd: modellen har inte hämtats, inte laddats, eller servren är binderad till en annan värde/port än profilen.

Felaktighetsfelsökning​

  • Anslutning nekterades: starta Ollama eller LM Studio och kontrollera den konfigurerade porten.
  • Modell hittades inte: hämta Ollama-taggen eller ladda den LM Studio-modellen innan du testar.
  • Långsamt utdata: sänk kontextstorleken, använd en mindre lokal modell eller dirigera tunga uppgifter till en hostad leverantör.
  • Tomma eller felformaterade svar: se till att den valda leverantörsprofilen stämmer överens med den lokala serverns protokoll; Ollama och LMStudio är inte utbytbara.

När att använda​

Använd lokala leverantörer för privata skåp, offline-arbete eller billiga, upprepadar uppgifter. Anta inte automatiskt att det lokala är bättre för forskningssynthes eller långvarigt resonemang; modellkvalitet och hårdvarugränser är utbytet.

Nästa steg​