Salta al contenuto principale

Modelli locali

💡TL;DR
Un server attivo può eseguire inferenza sul dispositivo. Prepara modello e protocollo prima della configurazione. Ricerca Web, endpoint remoti, installazione di dipendenze e attività instradate al cloud non diventano offline.

Preparazione​

Con Ollama installa il server e scarica un modello. In LM Studio carica il modello e avvia l’API. Prepara il deployment OVMS prima di configurarlo. Notemd non installa modelli né avvia questi server.

Scegli il profilo e il nome esatto, prova la connessione e una nota.

Endpoint e autenticazione​

ProfiloURL inizialeModello di esempioProtocollo / accesso
Ollamahttp://localhost:11434/apillama3Ollama nativo; chiave non richiesta
LMStudiohttp://localhost:1234/v1local-modelOpenAI-compatible; chiave facoltativa, valore iniziale EMPTY
OVMShttp://localhost:8000/v3openvino-modelOpenAI-compatible; modello e accesso del deployment

localhost indica il dispositivo che esegue Obsidian. Sul telefono non raggiunge il modello del computer. Un endpoint LAN è un servizio di rete: configura indirizzo e autenticazione, senza esporre un server aperto a reti non fidate.

Modelli​

Ollama elenca tag scaricati tramite /api/tags; LM Studio può esporre /v1/models. OVMS segue il deployment. Un modello elencato non garantisce memoria sufficiente o output strutturato: prova una richiesta reale.

Problemi​

  • Connessione rifiutata: server, interfaccia di ascolto e porta.
  • Modello assente: scarica/carica e usa nome o alias esatto.
  • Autenticazione: imposta un token reale se richiesto.
  • Lentezza o troncamento: memoria, contesto e budget; inizia con una richiesta.
  • Formato errato: verifica protocollo, prompt e modello prima del lotto.

Quando usarlo​

Quando confini dei dati, disponibilità e risultati misurati soddisfano il compito. Prepara dipendenze prima di scollegarti. Rivedi ogni instradamento: anche gli estratti locali possono raggiungere un LLM cloud.

Tavily e DuckDuckGo restano online. Gli esportatori nativi possono richiedere strumenti separati. Un profilo locale non dimostra che tutte le funzioni siano disconnesse.

Passi successivi​