লোকাল মডেল
লোকাল প্রোভাইডারগুলো হোস্টেড APIs থেকে নোট কন্টেন্ট রাখে না। বর্তমান লোকাল পাথটি Ollama কে নেটিভ ollama ট্রান্সপোর্ট এবং LMStudio কে OpenAI-সামঞ্জস্যপূর্ণ ট্রান্সপোর্টের মাধ্যমে কভার করে। উভয় পাথের জন্যই API কী প্রয়োজন নয়, তবে লোকাল সার্ভার ও মডেলটি আগে থেকেই চলমান থাকতে হবে.
এটি Obsidian AI Knowledge Management Guide-এর অংশ।
Setup
Ollama এর জন্য Ollama ইনস্টল করুন, আপনি যে মডেলটি চান তা পুল করুন, সার্ভার চালু করুন, এবং Notemd এ Ollama প্রোভাইডার প্রোফাইল যোগ করুন। LMStudio এর জন্য LM Studio-এর লোকাল সার্ভারে একটি মডেল লোড করুন এবং LMStudio প্রোভাইডার প্রোফাইল যোগ করুন.
লোকাল মডেলগুলো শুধুমাত্র সেটিংস নয়, বরং অপারেশনাল নির্ভরতা। Notemd শুধুমাত্র লোকাল প্রসেস যা এক্সপোজ করে তাই কল করতে পারে, তাই প্লাগইন ডিবাগ করার আগে Obsidian এর বাইরে লোকাল মডেলটি যাচাই করুন.
Endpoint And Authentication
| প্রদানকারী | Base URL | ডিফল্ট মডেল | API কী | নোটস |
|---|---|---|---|---|
| Ollama | localhost:11434/api | llama3 | প্রয়োজন নয় | NDJSON স্ট্রিমিং; /api/tags এর মাধ্যমে মডেল ডিসকভারি |
| LMStudio | localhost:1234/v1 | local-model | প্রয়োজন নয় | "EMPTY" কে বেয়ারার টোকেন হিসেবে পাঠায়; OpenAI-সামঞ্জস্যপূর্ণ |
Ollama তার Base URL এর নিচে নেটিভ /chat পাথ ব্যবহার করে। LMStudio OpenAI-সামঞ্জস্যপূর্ণ chat/completions রুট অনুসরণ করে এবং লোকাল সার্ভারে লোড করা মডেল আশা করে.
Model Discovery
Ollama ollama-tags ডিসকভারি মোড ব্যবহার করে এবং লোকালি পুল করা ট্যাগগুলো তালিকাভুক্ত করে। LMStudio যখন তার সার্ভার /v1/models এক্সপোজ করে তখন OpenAI-সামঞ্জস্যপূর্ণ মডেল ডিসকভারি ব্যবহার করে.
যদি ডিসকভারি কিছুই ফেরত না দেয়, তবে সাধারণত এটি লোকাল-সার্ভার স্টেটের সমস্যা: মডেলটি পুল হয়নি, লোড হয়নি, অথবা সার্ভারটি প্রোফাইলের চেয়ে ভিন্ন হোস্ট/পোর্টে বাউন্ড রয়েছে.
সমস্যা সমাধান
- কানেকশন রিজেক্টেড: Ollama বা LM Studio চালু করুন এবং কনফিগার করা পোর্টটি নিশ্চিত করুন.
- মডেল পাওয়া যায়নি: টেস্ট করার আগে Ollama ট্যাগটি পুল করুন অথবা LM Studio মডেলটি লোড করুন.
- ধীর আউটপুট: কনটেক্সট সাইজ কমান, ছোট লোকাল মডেল ব্যবহার করুন, অথবা ভারী টাস্কগুলোকে হোস্টেড প্রোভাইডারে রাউট করুন.
- খালি বা ত্রুটিপূর্ণ রেসপন্স: নির্বাচিত প্রোভাইডার প্রোফাইলটি লোকাল সার্ভার প্রোটোকলের সাথে মিলে যাচ্ছে কিনা তা নিশ্চিত করুন; Ollama এবং LMStudio পরস্পর বিনিময়যোগ্য নয়।
কখন ব্যবহার করবেন
ব্যক্তিগত ভল্ট, অফলাইন কাজ, অথবা সস্তা পুনরাবৃত্তিমূলক কাজের জন্য লোকাল প্রদানকারীদের ব্যবহার করুন। গবেষণা সংশ্লেষণ বা দীর্ঘ যুক্তি প্রক্রিয়ার জন্য লোকাল সিস্টেমই স্বয়ংক্রিয়ভাবে ভালো হবে এমনটা ধরে নেবেন না; মডেলের গুণমান ও হার্ডওয়্যারের সীমাবদ্ধতাই এর মধ্যে বিনিময়ের বিষয়।
পরবর্তী ধাপসমূহ
- LLM প্রদানকারীগণ -- সম্পূর্ণ কনফিগারেশন এবং প্রতিটি কাজের জন্য মডেল সেটআপ
- সমস্যা সমাধান -- যখন লোকাল সার্ভারটি চলছে না তখন connection-refused ত্রুটিগুলো ঠিক করুন