স্থানীয় মডেল
প্রস্তুতি
Ollama-তে server/model install করুন; LM Studio-তে model load করে API start করুন। OVMS deployment আগে তৈরি করুন। Notemd model install বা server start করে না। Exact profile/name-এ connection ও task test করুন।
Endpoint ও authentication
| Profile | প্রাথমিক URL | উদাহরণ model | Protocol / access |
|---|---|---|---|
| Ollama | http://localhost:11434/api | llama3 | Native Ollama; key আবশ্যিক নয় |
| LMStudio | http://localhost:1234/v1 | local-model | OpenAI-compatible; optional key, শুরুতে EMPTY |
| OVMS | http://localhost:8000/v3 | openvino-model | OpenAI-compatible; deployment model ও access সেট করুন |
localhost Obsidian device-কেই বোঝায়। ফোনের loopback কম্পিউটারের model পায় না। LAN-এ সঠিক address ও authentication দিন; অরক্ষিত server অবিশ্বস্ত network-এ খুলবেন না।
মডেল
Ollama /api/tags-এ pulled tags, LM Studio /v1/models দিতে পারে। OVMS deployment rules অনুসরণ করে। তালিকায় থাকা যথেষ্ট memory বা structured output প্রমাণ করে না। বাস্তব request test করুন।
সমস্যা
- Connection refused: server, listen address ও port।
- Model নেই: download/load ও exact alias।
- Authentication: প্রয়োজনমতো বাস্তব token;
EMPTYধরে নয়। - Slow/incomplete: memory, context ও budget, আগে এক request।
- ভুল format: batch tuning-এর আগে protocol, prompt ও model দেখুন।
কখন ব্যবহার করবেন
Data boundary, availability ও measured output উপযুক্ত হলে নিন। Network ছাড়ার আগে model/dependencies প্রস্তুত করুন। সব task route দেখুন; local excerpts cloud LLM-এও যেতে পারে। Tavily/DuckDuckGo online থাকে, native exporters-এর আলাদা tools লাগতে পারে।