Lokale Modelle
Ein laufender lokaler Modellserver verarbeitet Aufgaben auf deinem Gerät. Modell zuerst vorbereiten und Protokoll passend wählen. Das macht Websuche, entfernte Endpunkte, Abhängigkeitsinstallation oder Cloud-Aufgaben nicht offline.
Einrichtung
Für Ollama Server installieren und Modell herunterladen. Für LM Studio Modell laden und API-Server starten. OVMS-Deployment vor dem Profil vorbereiten.
Wähle das Profil und den exakt bereitgestellten Modellnamen, teste Verbindung und eine Notiz. Notemd installiert die Modelle nicht und startet keine Server.
Adresse und Authentifizierung
| Profil | Standardadresse | Modellbeispiel | Protokoll / Zugang |
|---|---|---|---|
| Ollama | http://localhost:11434/api | llama3 | Natives Ollama; kein API-Schlüssel erforderlich |
| LMStudio | http://localhost:1234/v1 | local-model | OpenAI-kompatibel; optionaler Schlüssel, Standard EMPTY |
| OVMS | http://localhost:8000/v3 | openvino-model | OpenAI-kompatibel; Modell und Zugangsregeln des Deployments setzen |
localhost ist das Gerät mit Obsidian. Die Loopback-Adresse des Telefons erreicht nicht den Modellserver auf deinem PC. LAN-Endpunkte sind Netzwerkdienste: richtige Adresse und Authentifizierung verwenden, keine offenen Server in nicht vertrauenswürdigen Netzen.
Modelle finden
Ollama listet heruntergeladene Tags über /api/tags, LM Studio kann /v1/models anbieten. OVMS berücksichtigt das Deployment. Ein Eintrag garantiert weder ausreichenden RAM noch strukturierte Ausgabe; echte Anfrage testen.
Fehlerbehebung
- Verbindung verweigert: Serverstatus, Bind-Adresse, Port.
- Modell fehlt: herunterladen/laden und genauen Namen/Alias verwenden.
- Zugang verweigert: echten Token statt angenommenem
EMPTYsetzen. - Langsam/unvollständig: RAM, Kontext und Ausgabelimit prüfen; zunächst einzeln.
- Ungültiges Format: Protokoll, Prompt und Modell vor Stapeloptionen prüfen.
Geeigneter Einsatz
Lokal nutzen, wenn Datenschutzgrenze, Verfügbarkeit und gemessene Qualität passen. Modelle und Exportabhängigkeiten vor Netztrennung installieren. Jede Aufgabenroute prüfen: lokale Auszüge können an ein Cloud-LLM gehen.
Tavily und DuckDuckGo bleiben online. Native Exporte können separate Werkzeuge benötigen. Ein lokales Profil ist keine pauschale Offline-Garantie.