Saltează la conținutul principal

Modele locale

💡TL;DR
Un server pornit poate executa sarcini pe dispozitivul dvs. Pregătiți întâi modelul și protocolul. Cercetarea web, endpoint-urile externe, instalarea dependențelor și sarcinile rutate separat spre cloud nu devin offline.

Pregătire​

Instalați serverul/modelul pentru Ollama sau încărcați modelul și porniți API-ul în LM Studio. Pregătiți separat OVMS. Notemd nu instalează modele și nu pornește aceste servere. Alegeți exact numele/profilul și testați conexiunea și sarcina.

Endpoint și autentificare​

ProfilURL de bazăModel exempluProtocol / acces
Ollamahttp://localhost:11434/apillama3Ollama nativ; cheia nu este obligatorie
LMStudiohttp://localhost:1234/v1local-modelOpenAI-compatible; cheie opțională, implicit EMPTY
OVMShttp://localhost:8000/v3openvino-modelOpenAI-compatible; modelul și accesul depind de instalare

localhost indică dispozitivul cu Obsidian. Telefonul nu accesează astfel serverul calculatorului. Un endpoint LAN cere adresa reală și protecție adecvată. Nu expuneți servere neprotejate în rețele nesigure.

Modele​

Ollama listează taguri prin /api/tags, LM Studio poate oferi /v1/models, iar OVMS urmează instalarea. Lista nu dovedește memorie suficientă sau format de ieșire corect. Testați o cerere reală.

Depanare​

  • Conexiune refuzată: server, adresă de ascultare și port.
  • Model absent: descărcare/încărcare și alias exact.
  • Autentificare: token real unde se cere, nu automat EMPTY.
  • Lent/incomplet: memorie, context și buget; începeți cu o cerere.
  • Format greșit: verificați protocolul, promptul și modelul înaintea optimizării lotului.

Când se potrivește​

Când limitele datelor, accesul și măsurătorile corespund sarcinii. Pregătiți dependențele înainte de deconectare. Verificați toate rutele; fragmente locale pot ajunge la un LLM cloud. Tavily/DuckDuckGo rămân online, iar exportul poate necesita alte instrumente.

În continuare​