Paikalliset mallit
Valmistelu
Asenna Ollaman palvelin/malli tai lataa malli ja käynnistä API LM Studiossa. Valmistele OVMS-käyttöönotto erikseen. Notemd ei asenna malleja eikä käynnistä palvelimia. Valitse tarkka nimi/profiili ja testaa yhteys sekä tehtävä.
Osoite ja tunnistautuminen
| Profiili | Perusosoite | Esimerkkimalli | Protokolla / pääsy |
|---|---|---|---|
| Ollama | http://localhost:11434/api | llama3 | Natiivi Ollama; ei pakollista avainta |
| LMStudio | http://localhost:1234/v1 | local-model | OpenAI-yhteensopiva; valinnainen avain, alkuarvo EMPTY |
| OVMS | http://localhost:8000/v3 | openvino-model | OpenAI-yhteensopiva; malli ja oikeudet käyttöönoton mukaan |
localhost viittaa Obsidian-laitteeseen. Puhelin ei tavoita sillä tietokonetta. Lähiverkkopalvelin tarvitsee oikean osoitteen ja asianmukaisen suojauksen. Älä avaa suojaamatonta palvelinta epäluotettaviin verkkoihin.
Mallit
Ollama näyttää tagit /api/tags-reitillä, LM Studio voi tarjota /v1/models; OVMS seuraa käyttöönottoa. Lista ei todista muistin riittävyyttä tai sopivaa vastausmuotoa. Testaa oikea pyyntö.
Ongelmat
- Yhteys torjutaan: palvelin, kuunteluosoite ja portti.
- Malli puuttuu: nouda/lataa ja tarkista alias.
- Tunnistautuminen: oikea token vaadittaessa, ei sokkona
EMPTY. - Hidas/vajaa: muisti, konteksti ja budjetti; aloita yhdestä pyynnöstä.
- Väärä muoto: tarkista protokolla, kehote ja malli ennen eräsäätöjä.
Milloin käyttää
Kun tietoraja, saatavuus ja mitattu tulos sopivat. Valmistele riippuvuudet ennen verkon irrottamista. Tarkista kaikki tehtäväreitit: paikalliset katkelmat voidaan lähettää pilvi-LLM:lle. Tavily/DuckDuckGo tarvitsevat verkon; natiivivienti voi tarvita erillisiä työkaluja.