Lokale modeller
Forberedelse
Installer server/model til Ollama, eller indlæs model og start API i LM Studio. Forbered OVMS-deployment separat. Notemd installerer ikke modeller og starter ikke serverne. Vælg præcist navn/profil; test forbindelse og opgave.
Endpoint og autentifikation
| Profil | Basis-URL | Eksempelmodel | Protokol / adgang |
|---|---|---|---|
| Ollama | http://localhost:11434/api | llama3 | Native Ollama; ingen påkrævet nøgle |
| LMStudio | http://localhost:1234/v1 | local-model | OpenAI-kompatibel; valgfri nøgle, startværdi EMPTY |
| OVMS | http://localhost:8000/v3 | openvino-model | OpenAI-kompatibel; model og adgang fra deployment |
localhost er Obsidian-enheden. Telefonen når ikke computeren via den adresse. Et LAN-endpoint kræver faktisk adresse og passende beskyttelse. Udstil ikke ubeskyttede servere mod utroværdige netværk.
Modeller
Ollama viser tags via /api/tags; LM Studio kan tilbyde /v1/models; OVMS følger deployment. En liste beviser ikke tilstrækkelig hukommelse eller korrekt outputformat. Test en rigtig anmodning.
Problemer
- Forbindelse afvist: server, lytteadresse og port.
- Model mangler: hent/indlæs og kontrollér alias.
- Adgang: rigtig token, hvor den kræves, ikke automatisk
EMPTY. - Langsomt/ufuldstændigt: hukommelse, kontekst og budget; start med én anmodning.
- Forkert format: kontrollér protokol, prompt og model før batchjustering.
Hvornår bruges profilen?
Når datagrænser, adgang og målte resultater passer. Forbered afhængigheder før frakobling. Kontrollér hver opgaverute; lokale uddrag kan sendes til cloud-LLM. Tavily/DuckDuckGo forbliver online, og native eksport kan kræve særskilte værktøjer.