الانتقال إلى المحتوى الرئيسي

النماذج المحلية

💡TL;DR

يمكن لخادم نموذج يعمل على جهازك معالجة محتوى المهمة. ثبّت النموذج أو حمّله أولًا وطابق البروتوكول. اختيار مزوّد محلي لا يجعل البحث أو العناوين البعيدة أو تثبيت الاعتمادات أو المهام السحابية دون اتصال.

الإعداد​

مع Ollama ثبّت الخادم ونزّل نموذجًا. مع LM Studio حمّل نموذجًا وشغّل خادم API. جهّز نشر OVMS قبل إضافته.

اختر الإعداد المطابق واستخدم الاسم الفعلي الذي يعلنه الخادم، ثم اختبر الاتصال وملاحظة تجريبية. Notemd لا يثبت هذه النماذج ولا يشغل خوادمها.

العنوان والمصادقة​

الإعدادالعنوان الافتراضياسم أولي للنموذجالبروتوكول والمصادقة
Ollamahttp://localhost:11434/apillama3Ollama الأصلي؛ لا يتطلب مفتاحًا
LMStudiohttp://localhost:1234/v1local-modelOpenAI-compatible؛ مفتاح اختياري، القيمة الجاهزة EMPTY
OVMShttp://localhost:8000/v3openvino-modelOpenAI-compatible؛ اضبط النموذج والوصول بحسب النشر

يشير localhost إلى جهاز Obsidian، لا إلى حاسوب آخر. الهاتف لا يصل إلى نموذج الحاسوب عبر عنوان loopback الخاص بالهاتف. عنوان الشبكة المحلية خدمة شبكية تحتاج عنوانًا صحيحًا ومصادقة مناسبة؛ لا تكشف خادمًا بلا مصادقة لشبكات غير موثوقة.

اكتشاف النماذج​

يعرض Ollama الوسوم عبر /api/tags، ويمكن لـ LM Studio تقديم /v1/models، ولدى OVMS قواعد مرتبطة بالنشر. ظهور النموذج لا يثبت كفاية الذاكرة أو نجاح مهمة منظمة؛ اختبر طلبًا فعليًا.

استكشاف الأخطاء​

  • رفض الاتصال: راجع التشغيل وعنوان الاستماع والمنفذ.
  • النموذج غير متاح: نزّله أو حمّله وحدد الاسم أو الاسم البديل الصحيح.
  • رفض المصادقة: أدخل رمز الخادم بدل افتراض قبول EMPTY.
  • بطء أو نقص: افحص الذاكرة والسياق وحد الإخراج وابدأ بطلب واحد.
  • شكل غير صالح: افحص البروتوكول والمطالبة وقدرة النموذج قبل إعداد الدفعات.

متى تختاره​

استخدم الاستدلال المحلي إذا لبّت حدود الخصوصية والتوافر والنتائج المقاسة حاجتك. جهّز النماذج واعتمادات التصدير قبل قطع الشبكة. راجع كل توجيه خاص واسترجاع محلي؛ قد تُرسل المقاطع إلى LLM سحابي.

يبقى Tavily وDuckDuckGo متصلين بالشبكة، وقد تحتاج أدوات التصدير تثبيتًا منفصلًا. المزوّد المحلي جزء من سير عمل دون اتصال، لا ضمان لجميع الوظائف.

الخطوات التالية​