مدل‌های محلی
آماده‌سازی
برای Ollama سرور و مدل را نصب کنید؛ در LM Studio مدل را بارگذاری و API را راه بیندازید. OVMS به deployment آماده نیاز دارد. Notemd مدل نصب یا سرور را شروع نمی‌کند. نام دقیق، اتصال و کار واقعی را بررسی کنید.
نشانی و احراز هویت
| نمایه | نشانی اولیه | مدل نمونه | پروتکل و دسترسی |
|---|---|---|---|
| Ollama | http://localhost:11434/api | llama3 | Ollama بومی؛ کلید اجباری ندارد |
| LMStudio | http://localhost:1234/v1 | local-model | OpenAI-compatible؛ کلید اختیاری، مقدار اولیه EMPTY |
| OVMS | http://localhost:8000/v3 | openvino-model | OpenAI-compatible؛ مدل و دسترسی deployment را تنظیم کنید |
localhost دستگاه Obsidian است. loopback تلفن به مدل رایانه وصل نمی‌شود. برای LAN نشانی واقعی و احراز هویت مناسب بدهید و سرور باز را در شبکهٔ نامطمئن منتشر نکنید.
مدل‌ها
Ollama از /api/tags tag دریافت‌شده را می‌دهد، LM Studio ممکن است /v1/models داشته باشد و OVMS قواعد deployment را دارد. فهرست وجود حافظهٔ کافی یا قالب درست را ثابت نمی‌کند؛ درخواست واقعی آزمایش کنید.
رفع خطا
- اتصال ردشده: سرور، نشانی گوش‌دادن و درگاه.
- مدل غایب: دریافت، بارگذاری و alias دقیق.
- احراز هویت: token واقعی در صورت نیاز؛
EMPTYرا فرض نکنید. - کند یا ناقص: حافظه، زمینه و بودجه، ابتدا یک درخواست.
- قالب غلط: قبل از تنظیم گروه، پروتکل و prompt و مدل را بررسی کنید.
کاربرد مناسب
وقتی محدودهٔ داده، دسترسی و نتیجهٔ اندازه‌گیری‌شده مناسب باشد. مدل و وابستگی را پیش از قطع شبکه آماده و تمام مسیرها را ببینید؛ گزیدهٔ محلی می‌تواند به LLM ابری برود. Tavily و DuckDuckGo آنلاین‌اند و خروجی بومی ابزار جدا ممکن است بخواهد.