स्थानीय मॉडल
तैयारी
Ollama में server/model स्थापित करें। LM Studio में model load करके API शुरू करें। OVMS deployment पहले तैयार करें। Notemd मॉडल install या server start नहीं करता। सही नाम से connection और वास्तविक task जाँचें।
Endpoint और authentication
| Profile | प्रारंभिक URL | उदाहरण model | Protocol / पहुँच |
|---|---|---|---|
| Ollama | http://localhost:11434/api | llama3 | Native Ollama; key अनिवार्य नहीं |
| LMStudio | http://localhost:1234/v1 | local-model | OpenAI-compatible; optional key, शुरुआत EMPTY |
| OVMS | http://localhost:8000/v3 | openvino-model | OpenAI-compatible; deployment के model और access सेट करें |
localhost Obsidian चलाने वाला उपकरण है; फ़ोन का loopback कंप्यूटर के model को नहीं पाता। LAN में सही पता और सुरक्षा दें। बिना authentication server को अविश्वसनीय network में न खोलें।
मॉडल
Ollama /api/tags से pulled tags और LM Studio /v1/models दे सकता है। OVMS deployment नियम अपनाता है। सूची पर्याप्त memory या structured output नहीं सिद्ध करती; वास्तविक request करें।
समस्याएँ
- Connection refused: server, listen address और port।
- Model गायब: download/load और exact alias।
- Authentication: ज़रूरत हो तो असली token,
EMPTYन मानें। - धीमा/अधूरा: memory, context और budget; एक request से शुरू करें।
- गलत format: batch tuning से पहले protocol, prompt और model देखें।
कब उपयोग करें
डेटा सीमा, availability और मापा परिणाम उपयुक्त हों तो। नेटवर्क काटने से पहले dependencies/models तैयार करें और सभी task routes देखें। Local excerpts भी cloud LLM तक जा सकते हैं। Tavily/DuckDuckGo online रहते हैं और native exports को अलग tools लग सकते हैं।