Lokální modely
Příprava
Nainstalujte server/model pro Ollama nebo načtěte model a zapněte API v LM Studio. Nasazení OVMS připravte zvlášť. Notemd modely neinstaluje ani tyto servery nespouští. Zvolte přesný název/profil a otestujte spojení i úlohu.
Endpoint a autentizace
| Profil | Základní URL | Příklad modelu | Protokol / přístup |
|---|---|---|---|
| Ollama | http://localhost:11434/api | llama3 | Nativní Ollama; klíč není vyžadován |
| LMStudio | http://localhost:1234/v1 | local-model | OpenAI-compatible; volitelný klíč, výchozí EMPTY |
| OVMS | http://localhost:8000/v3 | openvino-model | OpenAI-compatible; model a přístup určuje nasazení |
localhost je zařízení s Obsidianem. Telefon tím neosloví server na počítači. LAN endpoint vyžaduje skutečnou adresu a odpovídající ochranu. Nezveřejňujte nechráněný server do nedůvěryhodné sítě.
Modely
Ollama vypisuje tagy přes /api/tags, LM Studio může poskytovat /v1/models, OVMS se řídí nasazením. Seznam nedokládá dostatek paměti ani správný výstupní formát. Vyzkoušejte skutečný požadavek.
Potíže
- Odmítnuté spojení: server, naslouchací adresa a port.
- Chybějící model: stažení/načtení a přesný alias.
- Autentizace: skutečný token tam, kde je vyžadován, nikoli slepě
EMPTY. - Pomalá či neúplná odpověď: paměť, kontext a rozpočet; začněte jedním požadavkem.
- Chybný formát: před laděním dávky ověřte protokol, prompt a model.
Vhodné použití
Pokud odpovídají datové hranice, přístup a naměřené výsledky. Před odpojením připravte závislosti. Zkontrolujte všechna směrování; místní úryvky mohou odejít cloudovému LLM. Tavily/DuckDuckGo zůstávají síťové a export může potřebovat další nástroje.